En el punto más alto de lo que hoy es Alcalá de los Gazules, los musulmanes construyeron la alcazaba que luego sería el castillo de Alcalá. De esta fortaleza medieval, cuyo origen está  datada entre los siglos XII y XIII, tan sólo se conservan algunos lienzos de muralla y la Torre del Homenaje, al menos, parte de ella.  

Los restos del castillo se encuentran muy cerca de la Plaza Alta, lugar que fuera el origen de Alcalá y de los espacios más importantes de la antigua villa al ubicarse en ese enclave ya que, al parecer, el patio de armas del castillo ocupaba en la Edad Media el espacio en el que hoy se sitúa la popularmente conocida como Plaza de San Jorge, que después albergaría la Iglesia de San Jorge, Patrón de la ciudad, y el antiguo Cabildo. 

El Castillo, declarado en 1984 Bien de Interés Cultural, fue objeto de una importante restauración  y puesta en valor en los últimos años, siendo uno de los iconos patrimoniales de Alcalá de los Gazules.