Estando Avô a pertencer a uma zona de rede defensiva a sul do rio Alva da época islâmica na região, as primeiras referências ao castelo desta localidade só aparecem no séc. XII.
A antiguidade e a localização da aldeia de Avô permitiu que esta cedo fosse estabelecida como couto, antes da nacionalidade, mantendo-se assim com os mesmos privilégios até 1885.
A aldeia de Avô é atravessada pelo Rio Alva, nascido na Serra da Estrela e afluente do Mondego, que aqui se divide em duas partes, formando uma ilha denominada de Picoto.