El actual centro cultural está situado en parte de la Casa del Bailío, antigua casa de los Fernández de Córdoba, del siglo XIV, que ocupaba la totalidad de la manzana y que hoy se reparte además entre el antiguo Hospital de San Jacinto y el Hotel Palacio del Bailío.
La Casa del Bailío fue cedida por el rey Fernando III a Pedro Núñez de Herrera, sobrino del Gran Capitán que había sido nombrado Bailío (Caballero profeso de la Orden de San Juan, que tenía cierta encomienda o dignidad). Los Marqueses de Almunia heredaron el palacio y vendieron en 1710 una parte al obispado de Córdoba para que edificara el hospital de San Jacinto y la iglesia de Nuestra Señora de los Dolores.
La portada tardogótica del palacio, que corona la pintoresca Cuesta del Bailío, está atribuida a Hernán Ruiz II y en ella destaca la decoración plateresca del tímpano.
Alberga la Biblioteca Viva de Al Andalus de la Fundación Roger Garaudy.

