Il Castello Aragonese è stato costruito in seguito all'invasione turca del 1480 su una preesistenza medievale.
Eretto su pianta poligonale con tre torrioni cilindrici e uno a lancia muniti di cannoniere, è una soluzione mista tra fortificazione "all'antica" e "a la moderna", ed è conosciuto con il nome di Forte a Mare, in quanto venne realizzato a difesa della città dagli invasori che arrivavano nel porto.
È costituito da due sezioni, il Castello Rosso e il Forte, costruito successivamente. Lo spazio interno è dotato di un cortile di forma quadrangolare, perimetrato da un ballatoio raggiungibile con una scala. Il castello è protetto da un fossato.
Il muraglione conserva due stemmi: uno di don Antonio Mendoza e uno di Pietro da Toledo, mentre sul portone di ingresso campeggia lo stemma di Carlo V.