Allí se casaron y murieron sus dueños y descendientes. Cuando Elena Unzué y Alfredo Peña contrajeron matrimonio, en la casona se inauguró el sistema de luz eléctrica. Por allí pasaron de visita algunos presidentes argentinos: Mitre, Roca, Quintana, Sáenz Peña.
El Palacio Unzué era un caserón de estilo afrancesado, recostado sobre la medianera de la calle Agüero, con una galería de entrada flanqueada por columnas, con vista al entonces cercano Río de la Plata. Las estatuas que adornaron sus jardines pueden verse hoy en el Parque Lezama.
La casa principal constaba de una edificación suntuosa de dos plantas, emplazada en el centro de un amplio parque, un grupo de garajes, dependencias de servicio, el casino de oficiales de la custodia, un departamento a tal fin y edificaciones independientes para vivienda del personal. Se erguía, igual que la mayoría de las edificaciones adyacentes, en una superficie elevada, una barranca natural que se defendía de las inundaciones provocadas por el desborde del Río de la Plata.
El jardín fue diseñado y realizado por Rubén Darío. De estilo poético, con toques románticos y exóticos, era el marco adecuado para tal palacio. A los pies de la escalera de acceso, el poeta colocó plantas de ámbar, que al florecer perfumaban la entrada y le otorgaban prestancia con sus grandes flores blancas. Formó un pequeño oasis con veinte palmeras junto al pequeño estanque. Llamaba la atención un pino que crecía inclinado, paralelo a la tierra, en cuyo tronco nacían claveles del aire. Aún puede verse el inmenso gomero que se plantó sobre la calle Austria.
Luego de la crisis de 1930, muchos de los lujosos palacios pertenecientes a destacadas familias porteñas fueron expropiados, muchas veces por una discretamente encubierta falta de dinero para su mantenimiento. Así pasaron a manos del Estado el palacio Anchorena (hoy sede del Ministerio de Relaciones Exteriores) y el Errázuriz (hoy Museo de Arte Decorativo). Muchas de las casas del aristocrático barrio Grand Bourg se convirtieron en embajadas.
En enero de 1937, la Cámara de Diputados aprobó, en una polémica sesión, la expropiación de la quinta de la familia Unzué. El diputado Enrique Dickman fue uno de los que se opuso con mayor fuerza a esa medida, por considerarla como un método de salvación económica de esas familias en crisis.
A pesar de esto, la casa y su frondoso parque pasaron a manos del Estado. Luego de la muerte del presidente Roberto M. Ortiz, en 1943, quien vivió sus últimos días en el caserón de la calle Suipacha 1034, la residencia fue destinada para uso presidencial. A excepción del presidente Gral. Edelmiro J. Farrell, que solía pernoctar en el palacio, el primer mandatario que vivió allí con continuidad, fue el general Juan Domingo Perón.
La planta baja no era demasiado utilizada. Perón y Evita se instalaron en el primer piso, donde estaba el dormitorio principal y un cuarto de huéspedes, vestidores, biblioteca, escritorio y un pequeño comedor diario, además de las dependencias de servicio y de las administrativas. La escalera de mármol tenía forma de “Y”, y llevaba a las alas derecha e izquierda de la planta, que se asomaban a un balcón desde el cual podía observarse la planta baja de la mansión. También había un ascensor que se encontraba del otro lado de la casa, entre la biblioteca y el salón dorado.
Fue en esa casa donde Evita otorgaba entrevistas y donde murió, en 1952. Allí vivió Perón hasta su derrocamiento, en 1955, por la Revolución Libertadora, cuando la casa sufrió un sospechoso conato de incendio.
El 28 de enero de 1958, el gobierno de Aramburu decretó la demolición de la residencia, y en 1960, el gobierno de Arturo Frondizi decretó que en el solar se levante la Biblioteca Nacional, que hasta entonces funcionaba en un viejo edificio de la calle México.
Uno de los edificios linderos a la residencia se salvó de la destrucción. Allí es donde funciona, desde 1997, el Instituto Nacional “Juan Domingo Perón” de Estudios e Investigaciones Históricas, Sociales y Políticas.