Segundo a lenda, o castelo existe do tempo de Sertório, comandante dos Lusitanos, por volta de 80 a.C., crendo-se no entanto ser do século X.
