Inserto dentro de la actual torre, se conserva la mayor parte del alminar andalusí, construido por Abd al-Rahman III y que permaneció inalterado hasta el Renacimiento, cuando se le añadió el cuerpo de campanas.
Posteriormente, problemas de estabilidad obligaron a enfundar el alminar árabe en una construcción más robusta a mediados del siglo XVII. En 1664, la torre se coronó con la imagen de San Rafael.

