O castelo foi construído num local estratégico de onde se avista toda a região até Espanha, sendo a partir daí a última defesa antes de Estremoz e de Vila Viçosa.
No castelo salienta-se a muralha coroada por merlões e percorrida por um largo adarve, a Porta de Elvas ou do Celeiro, a norte, de que hoje ainda existem as duas torres, a Porta de Estremoz, a oeste, onde está uma lápide em mármore que refere a construção do castelo, a Porta da Torre do Relógio, a sul, que perdeu a funcionalidade no século XV ao ser fechada, funcionalidade essa recuperada em 2014, e a Torre da Prisão.
O castelo está considerado como Imóvel de Interesse Público desde 1957.
