A primeira edificação foi com o Rei Wamba, último Rei dos Visigodos, entre os anos 672-680.
Contudo esta ideia pode ser um pouco contraditória, baseado em novas ideias de autores que acreditam que esta estrutura remonta a uma atalaia da época da invasão muçulmana da Península.
Com a Reconquista Cristã, na Península Ibérica e no contexto da afirmação da Independência de Portugal no século XII, esta estrutura foi reedificado por elementos da Ordem dos Templários. Atualmente, o que resta é a Torre de Menagem e pouco mais.
Como a Capela da Nossa Senhora do Castelo, este monumento é de Interesse Público desde 1993.