A edificação esteve a cargo de Francisco Lopes Sarafana Correia da Silva, com uma hipótese de ter sido sobre uma outra que teria sido residência da Companhia de Jesus. No decorrer do século XIX vários acontecimentos atingiram o edifício, como no início com o abandono dos proprietários a mudarem a residência para Castelo Novo.
Em meados do mesmo século o imóvel é arrendado para o tribunal da Comarca e para o final albergou a tipografia Estrela da Beira, seguindo-se uma unidade assistencial, enquanto o Hospital da Misericórdia realizava algumas obras.
Na segunda metade do século XX, a visita do Governador Civil de Castelo Branco à localidade, desbloqueou fundos para a compra do edifício pela Câmara do Fundão. Entretanto o imóvel passa por um pedido de classificação, pela ocupação pela Liga dos Amigos de Alpedrinha visando a sua recuperação.
Finalmente, em 2001, dá-se a candidatura do Centro de Coordenação da Região Centro, não só para apoios financeiros como para a requalificação do imóvel e instalação do Museu de Arte Sacra, Casa de Arte de Móveis e Embutidos e Artesanato, salas para congressos, exposições, e outos.
A fachada principal, ao centro da qual está o Brasão dos Correia da Silva, está voltada para poente, simétrica de dois pisos limitados por um friso em pedra granítica com três panos rebocados e limitados por pilastras em pedra granítica, com urnas no coroamento e nas centrais gárgulas de canhão.
Esta fachada dá para um pátio quadrado chamado de picadeiro. O Palácio é formado por dois pisos.