Com a Reconquista Cristâ, em 1165, foi tomado aos muçulmanos e doado à Ordem dos Templários por D. Afonso Henriques, para que a povoasse e defendesse. Entre 1214 e 1230 surgiu em Castelo Branco a primeira muralha, integrando com os Castelos de Almourol, Monsanto, Pombal, Tomar e Zêzere, formando uma defesa denominada de Linha da Raia ou Linha do Tejo.
No Reinado de D. Dinis a Ordem do Cristo deu lugar à do Templo, época em que o monarca mandou erigir a Torre de Menagem, de planta poligonal.
No final do século XIII os muros eram rasgados por quatro portas, a do Ouro, de Santiago, de Pelame e da Traição.
D. Afonso IV mandou erguer novas muralhas para as vilas de Castelo Branco e Nisa, surgindo assim uma segunda muralha, e esta envolvendo a vila.
No reinado D. João I ergueu-se o palácio com vários anexos. A barbacã foi a próxima a ser edificada, no séc. XV.
Finalmente no Reinado de D. Manuel, encontrando-se já no Livro de Armas, as partes dominantes do castelo foram a Torre de Menagem, a dupla cerca, a Torre do Relógio e as oito portas já existentes nesta época. É injusto que, por muito pouco que reste do castelo, ainda não esteja classificado.
