在清嘉庆十九年（1814年），此六院被合并，取名“以文家塾”，又称“南湖书院”。曾任清政府内阁中书，民国时驻英、日公使，代总理大臣的汪大燮、当代著名的科学家。澳星发射研制专家之一的李小鹃等学者，都是在这里启蒙的。