Apesar do Castelo de Algoso se situar numa zona perdida a nível geográfico, este é considerado como uma das mais importantes fortalezas medievais do Leste Transmontano.
Também conhecida como Igreja de São Sebastião, a sua construção iniciou no final do séc. XVI, tendo sido inaugurada no segundo ano do século séc. XVII.
Representa uma localidade que em tempos foi o ex-libris do poder político e territorial da região e que atualmente representa as ruínas da antiguidade.
Aqui está mais um elemento para realçar a importância de que esta aldeia gozou, e que agora está a tentar recuperar o prestígio que obteve, através do seu Museu Etnográfico.