O Castelo foi fundado em 955 por iniciativa de São Rosendo. D. Afonso Henriques conquistou este Castelo aos Leonenses em 1140, mandando-o reparar cinco anos mais tarde.
De invocação a Nossa Senhora da Visitação, foi fundado na época pré-românica, embora com grandes modificações na época gótica e outra na segunda metade do século XVIII.
O Pelourinho, datado de 1560, chegou a ser desmantelado em 1860, mas foi reconstruído e remontado no seu local original diante do antigo edifício da Casa da Câmara.
