O edificio foi mandado construír polo rei Filipe V sobre as ruínas do antigo Real Alcázar de Madrid despois de que este fose consumido polo lume no ano 1734. As obras comezaron en 1738, e non remataron ate 1892.
Na actualidade está xestionado por Patrimonio Nacional, e pode ser visitado polos turistas. No seu interior hai numerosas obras de arte como cadros pintados por Caravaggio, Velázquez ou Goya.