Alguns historiadores acreditam que esta localidade é a terra natal de Wamba, o último grande rei dos godos que governou a Península entre 672 e 682.
Chegando à época da Reconquista Cristã na Península Ibérica, os domínios de Penamacor foram conquistados por D. Sancho, que os doou à Ordem dos Templários na altura chefiada pelo mestre no país, D. Gualdim Pais.
Visando o repovoamento da localidade, uma década mais tarde o soberano concedeu a carta de foral o que, possivelmente, originou o início da edificação do castelo em 1209.
Atualmente, o que resta deste castelo é a Torre de Menagem, indevidamente conhecida como Torre de Vigia, e as muralhas.
Este monumento está classificado como Monumento Nacional.
O castelo, ou o que resta dele, situa-se na zona leste da vila.
