Foi palco de muitas situações históricas, com mais relevo para as guerras com Leão e para as várias tentativas de D. Afonso Henriques na consolidação desta região e consequentemente na afirmação desta na nacionalidade. Com base em vestígios materiais, há indicação da existência do castelo e seu povoamento antes da Idade Média, passando pelos períodos do calcolítico, proto-histórico e romano.
Contudo o castelo, ou o que resta dele, remonta ao século XII, não se sabendo concretamente o ano, na possibilidade de pertencer entre os reinados de D. Afonso Henriques e do seu filho D. Sancho. O seu construtor foi Mendo Bofino, conforme as inquirições de 1258.
Em tempos em que as povoações e os monumentos eram doados, obtinham direitos e faziam concordatas, o Castelo de Algoso não fugiu à regra e durante muitos séculos foi o que aconteceu. A partir de 1684, como outras estruturas, acabou abandonado e em ruínas.
Sobre um terreno de afloramento rochoso, este castelo foi construído com materiais de alvenaria de xisto, quártzico e granito. Devido ao afloramento rochoso, apresenta uma planta orgânica, ou seja, adaptada ao terreno, em forma quadrangular, acabando por se tornar de pequenas dimensões.
Na muralha norte apresenta-se um portão de arco pleno, que é defendido por um cubelo, atualmente sem os seus merlões. Franqueando-se o portão, surge a praça de armas que por sua vez dá acesso à Torre de Menagem. Esta apresenta três pavimentos, dos quais os dois primeiros se destinam à habitação e o último à defesa.
Está classificado, desde 1955, como Imóvel de Interesse Público.
Se pretender entrar no castelo deve parar na aldeia, no edifício da Junta de Freguesia, onde poderá obter informações, inclusivamente sobre a abertura.