O Sítio situa-se no topo da escarpa chamada de promontório da Nazaré, um espaço que substitui os montes como sítios mais altos para edificação de uma Ermida, neste caso a Ermida da Memória, sendo por isso esta a primeira edificação.
Séculos mais tarde, no reinado de D. Fernando que mandou edificar o Santuário da Nossa Senhora da Nazaré, o desenvolvimento começou a sentir-se, transformando o Sítio num verdadeiro labirinto de pequenas ruas estreitas entre as habitações que ali foram feitas.
No entanto o sítio tornou-se num pequeno encantamento de pequenas casas e de ruas estreitas que levam qualquer visitante a imaginar situações, com a vila de Nazaré aos seus pés.
