Também conhecido como Palácio das Sarzedas, é um edifício do século XVII mandado edificar por D. Luís da Silveira, segundo Conde de Sarzedas, tendo o seu filho Rodrigo feito uns acréscimos como o portão da entrada principal onde estão as armas desta Família.
Este edifício foi palco de residência real, tendo aqui recebido a Rainha D. Maria Francisca Isabel de Saboia para a sua convalescença, e que acabaria por morrer. Também recebeu os príncipes D. António, D. Gaspar (Arcebispo de Braga) e D. José (Inquisidor Geral de Lisboa), todos filhos bastardos mas reconhecidos do Rei D. João V, que foram apelidados de Meninos de Palhavã.
O maior esplendor do palácio aconteceu durante a vida dos príncipes mas, com a morte destes, entrou em decadência e posteriormente as invasões francesas contribuíram ainda mais para essa decadência, entrando mesmo na ruína com as guerras liberais.
Depois desta completa ruína, o palácio e a quinta foram comprados pelo Conde de Azambuja, tendo este vendido para o Governo Espanhol em 1919, fazendo deste a Embaixada Espanhola até 1939, sendo a partir desta data a residência oficial do embaixador espanhol.
Está orientado longitudinalmente, segue uma planta retangular, apresentando-se pela sucessão de dois edifícios correspondentes ao principal,às cocheiras e anexos, formando o pátio de honra numa planta retangular.
