Es un conjunto compuesto por diversas edificaciones.

La torre del Vigía (albarrana) está aislada del recinto anexo a la colegiata y está ubicada al sur de este edificio. Es de planta rectangular. Posee unas dimensiones de 4,74 por 5,22 metros, realizada en sillarejo y con la puerta situada en altura, con dintel monolítico bajo arco de descarga.

El castillo se unía a la ciudad mediante una estrecha faja donde aparece la entrada y el recinto fortificado con una cruz de término y rampa escalonada.

La torre del esconjurador se sitúa en la parte exterior de la segunda muralla, anexa a la colegiata. Es de planta cuadrada. Fue recrecida en época moderna, para la colocación como remate de un templete cuadrangular para la realización de rituales contra las tormentas.

El torreón de señales es una torre exenta de planta cuadrangular. Solo se conserva el paño norte, de 6,65 metros, con un espesor de 1,6 metros. El aparejo era de sillarejo en hiladas regulares, ajustado a soga preferentemente, con atizonamientos. La argamasa es de gran dureza, mezcla que incrusta abundantes guijarros menudos y granitos de carbón. Existe un retranqueo de unos 15 centímetros, que recorre todo el muro y facilitaba el asentamiento del primer piso. El aljibe anexo está situado al norte, realizado con sillarejo más rudamente trabajado. Al interior conserva enfosque o lavadura para evitar filtraciones. El techo ha desaparecido.

La torre anexa a la muralla es de planta cuadrada. Está realizada con sillarejo y sillar en las esquinas. Posee actualmente un recrecimiento en ladrillo, posiblemente aprovechando los restos de las almenas, con arquillos ciegos de descarga y vanos cuadrados bajo el alero del tejado. Este alero es de doble fila de ladrillos en esquinilla. El tejado se recubre con teja y es de 4 vertientes.

El recinto amurallado del siglo XI parece conservarse en la parte inferior de la torre campanario de la colegiata y tramos bajos, reducidos y poco claros, del largo y quebrado muro que protege el peñasco por el oeste, único flanco vulnerable del conjunto.

La mayor parte de lo hoy visible data del siglo XVI. Muestra numerosas aspilleras con típica salida vertical estrecha y almenas con remate piramidal, buena parte de ellas embebidas en recrecimiento.