Este palacio se empezó a construir en estilo neoclásico por el I duque de Fernán Núñez en 1790. La actual configuración es producto de la remodelación realizada por el Conde de Cervellón, esposo de la hija del I Duque de Fernán Núñez, con el propósito de convertirlo en una de las residencias más sobresalientes del Madrid de mediados del siglo XIX. Desde 1985 es la sede de la Fundación de los Ferrocarriles Españoles.
Este palacio ha llegado hasta nuestros días en perfecto estado y manteniendo su mobiliario, lámparas y adornos originales, como congelado en el tiempo. El palacio cuenta con dos áreas: la noble y la de servicio y caballerizas. La parte noble, que es la que mejor se conserva, está decorada con una abundante producción de alfombras y tapices de la Real Fábrica de Santa Bárbara, algunas réplicas de cartones de Goya, así como taraceas en pisos y techos, lámparas de cristal de Baccarat, tejidos de seda, mármoles, bronces, muebles con profusión de dorados y otros elementos de lujosa factura.