Embora possa ter existido um castro pré-histórico neste local, a primeira fortificação de que há registo remonta à Reconquista Cristã, no século XII ou início do século XIII. Teria a denominação, segundo a tradição, de Castillo de la Luna. Não há no entanto vestígios desta estrutura que possivelmente estaria junto da atual Igreja da Misericórdia.
O que hoje podemos encontrar são os restos da fortaleza e cerca edificadas / reconstruídas por Brás Garcia Mascarenhas, no século XVII.
No início do século XVIII houve um projecto para a modernização da fortificação, mas depressa deixou de ter o efeito pois a importância militar da praça era cada vez menor, e consequentemente o investimento deixou de ter interesse.
O castelo apresenta uma dupla cintura de muralhas, ambas em planta quadrangular postas em losango.
O interior apresenta duas torres quadrangulares colocadas em vértices opostos, sendo a Torre de Menagem a de maiores dimensões.
Na fachada principal encontra-se os brasões do Rei D. Manuel entre duas esferas armilares, tal como na janela existente da torre.
Este castelo é Monumento Nacional desde 1982.
