该地是北京保存较完好的一座王府之一，这座大院早期的主人是康熙王朝较有影响力的权臣纳兰明珠，纳兰明珠的儿子、历史上赫赫有名的诗词作者纳兰性德也曾经在这里居住成长，“人生若只如初见，何事秋风悲画扇”，这句诗句就出自他的手笔。到了晚晴时期，醇亲王爱新觉罗·奕譞也搬到了这里，奕譞的儿子正是幼年即位、命运多舛的光绪皇帝。奕譞本有另一座王府，就是因为光绪继位，他小时候住过的地方就成为了皇帝潜邸，哪怕是自己的父亲也不能居住，奕譞就搬到了这里。