Crê-se que este pequeno templo religioso tenha sido edificado por um frade, na segunda metade do séc. XVIII, comprovado pelo brasão existente na fachada principal.
Inicialmente foi edificada como Capela de Nossa Senhora das Neves, até que no local, no século XVII, passou a existir um quartel de cavalaria, passando assim o nome da Capela para São Roque.
A história do castelo começa anteriormente à ocupação romana da Península Ibérica, pensa-se talvez dos tempos dos visigodos, em que ainda era um castro.
Este monumento de estrutura militar teve a sua fundação num convento franciscano, tomando o nome de Convento de Nossa Senhora do Rosário, pelo qual o forte também é conhecido.
É considerada uma das mais bonitas da cidade, porém não é a sede dos templos religiosos. Datada do século XVII, este é um dos três templos religiosos da cidade com uma traça marcadamente barroca.
