翁氏故居始建于明代成化、弘治年间，是一座具有典型江南建筑风格的官绅宅第，本为翁同龢之父买下作为孝养母亲之所，取二十四孝中老来子彩衣娱亲之意，称綵衣堂。 故居包括綵衣堂、轿厅、玉兰轩、知止斋、后堂楼、双桂轩、晋阳书屋、思永堂、柏古轩等。其主厅“綵衣堂”有江南地区保存较好的明代大厅，集雕、塑、绘于一体，内容丰富，艺术价值高。馆内还设有介绍翁同龢生平事迹和翁氏一门书法等展览。