Com três denominações como Capela de Nossa Senhora da Nazaré ou simplesmente como Capelinha do Sítio para além da Ermida da Memória, crê-se que esteja ligada à lenda da imagem desta mesma Nossa Senhora, que foi esculpida por São José e pintada por São Lucas. Passando por Mérida, tendo sido protegida por um Frei Romano pertencente ao Mosteiro Cauliniana e por D. Rodrigo, chefe dos Godos, foi trazida por estes para Portugal fixando-se no local onde se ergue a actual Ermida num pequeno altar levantado pelo dito Frade. Tudo isto decorria o ano de 714.
Entretanto, 1179 é o ano decisivo para afirmação desta lenda através da história de D. Fuas Roupinho, então alcaide do Castelo de Porto de Mós, em ação de graças a Nossa Senhora da Nazaré por o ter salvo de cair do penhasco quando pretendia caçar um veado, num imenso nevoeiro. Em forma de agradecimento, D. Fuas Roupinho mandou erguer uma ermida, precisamente no local onde existia o pequeno altar com a Nossa Senhora da Nazaré. E assim foi descoberta, 465 anos depois, a suposta imagem de Nossa Senhora. Esta ermida foi edificada aberta sendo somente sustentada por quatro arcos, para que a Nossa Senhora pudesse ser vista pelos quatros lados, estando no mar ou em terra.
Contudo este templo foi sofrendo sucessivas reformas para enobrecer o espaço, no decorrer dos anos, começando por D. Fernando em 1370 que mandou fechar as quatro partes afim de preservar a imagem que estava a deteriorar-se rapidamente. Em 1600 o Frei Bernardo de Brito, monge de Alcobaça, mandou desentulhar a gruta primitiva, reconstruindo-a à fase inicial. Entretanto, no ano de 1628 as obras continuaram, mantendo a ermida fechada e engrandecendo o seu interior com a colocação de azulejos, forrando toda a sua superfície. No exterior também existem uns painéis contando a história da ermida, e na fachada principal, encimada à porta principal, as armas do Rei.
Este pequeno e maravilhoso templo religioso está classificado como Imóvel de Interesse Público.
