De origem árabe, reconstruído no século XIII, possuía uma grande parte amuralhada, parte da qual ainda é visível. Este castelo tem três torres albarrã.
Da primeira edificação, grandemente afectada pelo terramoto de 1755, resta o portal gótico, com colunas encimadas por capitéis. Este portal, ou o que resta dele, está classificado como Monumento Nacional.
Esta torre albarrã encontra-se situada na porta de Faro, entrada sul da cidade medieval. É uma das invenções bélicas introduzidas pelos almóadas no século XII.