Segundo a lenda, a ermida foi construída com a frente virada para o mar com uma imagem de Nossa Senhora que tinha aparecido numa gruta no lado oposto. A imagem era trazida para a capela, mas todas as noites voltava para a gruta onde apareceu. Foi por isso reconstruída a capela, agora com a frente virada para a gruta e não para o mar, ao contrário do que é habitual.
Na capela destaca-se a volumosa torre sineira com o coruchéu cónico e ladeado por pináculos de forma piramidal.