Sendo um Mosteiro Beneditino, remonta provavelmente ao século VII. Contudo a sua fundação foi feita no período visigótico. Segundo uma inscrição no claustro, o Mosteiro foi destruído no ano 1000 pelo chefe Árabe Almançor, sendo reconstruído em 1018 sob o patrocínio de Ganfried ou Ganfei, um cavaleiro francês que se tornou santo e que viria a dar o nome ao Mosteiro e povoação.
O Mosteiro de Ganfei apresenta uma planta retangular com dois pisos estando uma parte adossada ao corpo da Igreja. A fachada principal virada a poente é composta por dois tramos delimitados por pilastra central encimada por cruz e os extremos reforçados por cunhais com pináculos. Os vãos são preenchidos por janelas de sacada no andar superior e portas no piso térreo.
A fachada nascente é também subdividida em dois corpos amplamente fenestrados estando um deles reforçado por contrafortes.
Do lado sul do edifício encontra-se a escadaria de um lanço com parapeitos recortados e terminados em estátuas de Leões. Coberturas diferenciadas a quatro e três águas.
O claustro de planta quadrangular subdivide-se em dois pisos, estando o inferior aberto em galeria com arcos plenos sustentados por colunas jónicas e o piso superior fenestrado por janelas de balcão.
A Igreja do Mosteiro atualmente serve de Matriz da freguesia e, como Igreja do Mosteiro, também está classificada como Imóvel de Interesse Público desde 1956.
