A construção do castelo terá sido iniciada em 1494 e concluída em 1504.
Sendo esta zona ocupada desde o tempo dos romanos, há referências documentais da doação destas terras por D. Afonso III, no século XIII. Após o foral concedido por D. Dinis em 1280, a vila assistiu ao seu desenvolvimento demonstrado pela existência de uma feira anual em 1296.
D. João II concedeu ao barão de Alvito, João Fernandes da Silveira, o direito de ali construir um castelo, atribuindo-lhe o senhorio da vila e das povoações vizinhas. Este direito foi confirmado ainda por D. João II em 1489 e depois por D. Manuel I em 1497. A construção do castelo terá iniciado em 1494, pelo 2º barão de Alvito D. Diogo Lopes da Silveira, e concluída em 1504.
Após o terramoto de 1755, D. Maria Bárbara de Menezes iniciou a reparação dos estragos provocados no castelo e a sua remodelação.
De novo atacado e danificado em 1834, pelas Guerras Liberais, foi mais uma vez reparado e melhorado. O castelo foi vendido ao rei D. Carlos em 1897.
Foi de novo restaurado, reparado e consolidado desde 1941 e novamente em 1980. Em 1983 foi adaptado para pousada.
De planta retangular, mostra quatro torreões cilíndricos nos vértices. A Torre de Menagem, situada a noroeste e mais alta do que o castelo, é de planta quadrada com três pisos com janelas gradeadas.
A muralha é terminada em merlões intervalados pelas seteiras.
O estilo manuelino pode ser identificado pelas janelas maineladas e pela decoração dos capitéis.
Originalmente era protegido por um fosso com uma ponte levadiça.
O castelo está classificado como Monumento Nacional desde 1910. Foi integrado no património da Casa de Bragança em 1915.
Este ponto está situado na localidade Alvito, na freguesia Alvito.
(Distância: 42 m S)
Situado na Praça da República, tendo como pano de fundo o castelo, o Pelourinho de Alvito com traços manuelinos foi construído após o novo foral atribuído por D. Manuel, em 1516. Derrubado no século XIX, foi posteriormente reconstruido com fragmentos do anterior.
(Distância: 96 m S)
Um coreto situado no jardim da Praça da República, de planta octogonal formado por uma base de cimento, com uma porta num dos lados, onde se elevam oito pequenas colunas de ferro que se unem por um gradeamento e que seguram uma cobertura.
(Distância: 111 m E)
O Chafariz do Largo, Fonte do Largo do Roque ou Chafariz do Gado está situado no Largo General Humberto Delgado, adossado ao muro do Castelo, uma edificação do século XIX. Está incluído na zona abrangente do castelo que está classificado como Monumento Nacional.
(Distância: 143 m S)
Uma vila alentejana com presença humana da época do neolítico, da Idade do Cobre, do Bronze e do Ferro, dos romanos, seguindo-se os visigodos, terminando com a passagem dos muçulmanos. Integrou Portugal em 1234, e em 1251 a povoação foi doada a Estêvão Anes, chanceler do reino de Afonso III, tendo este feito o povoamento.
(Distância: 172 m S)
Um concelho do centro alentejano, do Baixo Alentejo, é composto por duas freguesias, Alvito e Vila Nova de Baronia, que totalizam aproximadamente dois mil e seiscentos habitantes. O edifício da atual Câmara Municipal edificou-se em redor da torre do Relógio no século XVI.
(Distância: 183 m SW)
Este conjunto Hospital/Igreja da Santa Casa da Misericórdia e Capela das Candeias está situado na Rua da Misericórdia e próximo da Igreja de Nossa Senhora da Conceição. A sua edificação durou quatro séculos, com o início no século XVI e final no século XIX.
(Distância: 212 m SW)
Com indicação da origem da Igreja de Nossa Senhora da Assunção para os séculos XV, XVI e XVII, provém de séculos anteriores como o XIII. Em 1321 já consta no rol das igrejas. No final do século XV é iniciada a reconstrução da primitiva Igreja ducentista. Entre os anos de 1553/1559 deu-se a reconstrução da capela-mor e da sacristia.
(Distância: 215 m S)
(Distância: 284 m SE)
A Ermida de São Sebastião é uma edificação provavelmente do início do século XVI, sendo que em 1535 já existia referência documental. No século XVII deu-se a execução da pintura mural e no século XIX a reconstrução. Destaca-se a situação no meio do largo.
(Distância: 441 m S)
A Igreja de Santo António é uma construção dos séculos XVII e XVIII. No início do século XVIII realizou-se a campanha azulejar e pintura mural. Esta igreja está classificada como Imóvel de Interesse Público desde o ano de 2012.