A primeira fortaleza era ainda islâmica, anterior à conquista da vila em 1166. Depois de mais de um século, em 1295, D. Dinis mandou remodelar as muralhas e o castelo.
A alcáçova foi parcialmente aproveitada das edificações islâmicas em taipa.
A sua planta aproxima-se do quadrangular, envolvendo a Torre de Menagem, a Igreja de Santa Maria ou Matriz da vila e a atual Torre do Relógio.
Atualmente existem muitas aberturas na cerca, mas na data somente três existiam: a Porta de Beja, a Porta de Moura e finalmente a Porta de Sevilha.
As Muralhas de Serpa estão classificadas como Monumento Nacional desde 1954.
