Es uno de los pocos castillos medievales conservados de la región, que junto con las murallas, de las que quedan escasos restos, constituía un punto clave para la defensa de la villa.

Se debió construir como elemento defensivo a finales del siglo XII y principios del XIII. Es de pequeño tamaño de 25 por 15 metros de lado, planta trapezoidal, torres cilíndricas esquinales y un saliente triangular, también rematado en cilindro. En su interior hay una sala abovedada de medio cañón. Actualmente en sus dependencias se desarrollan actos y exposiciones. Además, podemos encontrar el miliario romano de Nero Claudio.

En 1853 se construyó en el torreón sudeste el faro, de planta circular, realizado en sillería, siendo uno de los más antiguos de la región.