El palacio fue construido entre 1860 y 1870 por los descendientes del Comandante del Pago de las Conchas y Punta Gorda Carlos Belgrano, los Belgrano Rawson y los Vega Belgrano. Uno de ellos, Joaquín, fallece siendo muy joven y su viuda, doña Josefina Rawson, vende la propiedad al Ingeniero Rómulo Otamendi, quien fija su residencia de verano junto a su esposa Matilde Carballo.

Cuando Matilde fallece, en 1916, el Ingeniero Otamendi dona la casa a la Sociedad de Beneficencia de la Capital. Las Hermanas de los Santos Ángeles Custodios, congregación española fundada por la Beata Rafaela Ibarra de Vilallonga, se hacen cargo en 1936 con la anuencia de la Marquesa Pontifica Adela María Arilaos de Olmos, presidente de la Sociedad. Luego de la esforzada labor apostólica las Hermanas, el palacio pasa a manos del Consejo del Menor y la Familia del Estado Nacional. 

Sus principales financistas fueron en el momento de la construcción Ernesto Tornquist, Luis García y Emilio Mitre (hermano del expresidente Bartolomé Mitre).

Tras la designación de Félix Armesto como presidente de la comisión, se decidió construir la sede del museo. El lugar que se eligió fue el predio ubicado en Paseo Victorica junto al entonces edificio del Tigre Hotel.¹​

El edificio actual está al lado del Tigre Hotel, espacio donde se encuentra actualmente el consejo deliberante. El edificio del Tigre Hotel se quemó en la década de 1930.