Estando Avô a pertencer a uma zona de rede defensiva a sul do rio Alva da época islâmica na região, as primeiras referências ao castelo desta localidade só aparecem no século XII. A edificação surgiu no início da nacionalidade, conjugando-se com a manutenção da atividade mineira da região.
A atual configuração do castelo remonta ao tempo de D. Dinis, em que foi reconstruído após uma disputa entre os irmãos D. Sancho II e D. Afonso III.
Com as múltiplas transformações que se verificaram, nota-se que a configuração de estilo dionisino se manteve através de uma planta oval na cerca, em polígono irregular, com o acesso por um portal em arco quebrado.
Também está incluída nesta configuração a torre de menagem na muralha defensiva sul da fortificação.
Assim se manteve até ao século XIX, perdendo a importância inicial pela qual foi construído, e assim teve início o desmantelamento deste, à semelhança de outras fortificações da época medieval.
A Torre de Menagem foi um desses elementos devido ao possível desmoronamento, como também desapareceu a maior parte da secção sul das muralhas, servindo as pedras para a construção de uma estrada distrital.
No século XX, e em especial durante o estado-novo, as fortificações foram alvos de obras de restauro, no âmbito de que estas fortificações representam um passado histórico e glorioso.
Esta fortificação está classificada como Imóvel de Interesse Público desde o ano de 1963.
(Distância: 38 m E)
(Distância: 76 m SW)
(Distância: 100 m W)
(Distância: 175 m NE)
(Distância: 215 m NW)
(Distância: 979 m NW)
(Distância: 3 km S)
(Distância: 3 km NE)
(Distância: 3 km NE)
(Distância: 3 km W)