El palacio fue construido por Pedro Álvarez de Toledo, V marqués de Villafranca, a los pies de la muralla cristiana con la intención de estar cerca del Alcázar Real.
En este palacio se casó y vivió, junto al XI marqués de Villafranca -José Álvarez de Toledo-, la XIII duquesa de Alba, muy conocida gracias a los retratos que hizo de ella Francisco de Goya.
Aquí se conserva el paño más grande de la antigua muralla cristiana que hay en Madrid (20 metros de largo). Otra de las joyas que se conservan es uno de los antiguos viajes de agua de Madrid. Construido por los árabes en el siglo IX, era el sistema para transportar el agua potable a la villa, siendo el único viaje de agua que se puede visitar desde dentro. Actualmente, el palacio alberga la sede de la Real Academia de Ingeniería.
Bono