Na "Memória" do Padre João de São Paio de Freitas, de 20 de maio de 1758, podemos ler que
"Tem mais esta Vila e Freguesia a Ermida do Bom Jesus do Calvário, sita defronte da mesma Vila e do Mosteiro dela para a parte do Norte, em um Monte tão alto e vistoso, que dele se descobre o Mar, e muitas légua de terra, para a parte do Sul, Nascente e Poente. Tem no Altar-Maior a Imagem do Milagroso Bom Jesus, e nos colaterais, em um deles a de Nossa Senhora da Piedade, muito pia e devota, e em outro a Imagem da Gloriosa Santa Rita, e outras mais Imagens de Santos e Santas, todas muito pias e devotas."
Segundo a tradição, uma religiosa do Convento de Cós, ou uma criada do Mosteiro, viu no cimo do monte uma luz. Dirigindo-se a esse local viu uma cruz levantada da terra, que levou para o mosteiro. No entanto essa cruz voltaria misteriosamente para o local onde apareceu, onde está agora a capela, tendo-se repetido este facto alguma vezes.
Tal como em muitos outros casos, estas aparições deram lugar à construção da capela, ou ermida, e à consequente peregrinação. Existe uma Via Sacra que inicia na localidade e sobe até esta Capela do Calvário. O terramoto de 1755 destruiu grande parte do mosteiro, no entanto esta capela foi poupada, ficando sem estragos.
