司徒氏家族以"教以人伦"为族训，一贯重视文化教育事业。近代本族华侨在海外谋生的艰难屈辱，使他们更加体会到发展文教，开启民智的重要。但是，由于中国长期的封建专制统治，国弱民穷，百姓愚昧，因而国强民富必须以发展文化教育为基础。为了广开民智，司徒氏的海外乡亲在民国初年倡议创办家族图书馆，为青年人提供学习场地和文化资讯。民国九年（1920），司徒氏首先租借下埠联兴街福音堂设立了一个阅览室，利用海外乡亲的捐款购置了一批书刊，开展借阅服务。镇民反映之好之活跃，给海外和赤坎本族父老极大的鼓舞，于是旅居美国和加拿大的司徒懿慈、司徒懿衍、司徒章谋、司徒继敏、司徒宣业和旅居菲律宾的司徒有桥提出要集资选址另辟新馆。这个倡议得到家乡族老的率先响应。海外的倡议人积极在国外司徒乡亲中筹款集资，家乡的族老发动包括香港、澳门在内的同胞有钱出钱，有力出力，并创办了族刊《教伦月报》以加强宣传工作，使创办家族的壮举做到家喻户晓。有感于司徒氏兴办文教事业意义之重大，海外一些外姓华侨也捐款襄助。民国十一年（1992）便筹得银圆四万多元，这些钱主要来自海外，新建就这样水到渠成了。民国十二年（1923）选址在下埠东头潭江边奠基。司徒懿森受海外捐款者之托，专程从美国回来监督捐款的使用和工程的进度。承担建设项目的是广州市永和建筑公司。历经两年的高质量施工，钢筋混凝土结构的司徒氏通俗图书馆于民国十四年（1925）落成。楼前建立了通向潭江的码头，楼高三层，楼体高耸，造型典雅大气，整体建筑具有比较鲜明的葡萄牙建筑的风格。第一层高大的窗户两边是红砖垒砌的西式窗柱，古罗马的三角形突出窗楣与西式窗柱相结合，既使窗户的整体造型稳重端庄，在视觉上很好地起到了向第二层过渡的作用，又丰富了一楼立面的装饰。第二、三层有一个内走廊，六根贯通二、三层的葡萄牙式立柱与古罗马的拱券相连，立柱之间设置了镂空的护栏，给图书馆带来了舒展开放的气息。第三层楼顶的正中是由民国时期著名书法家谭延闿题写的"司徒氏图书馆"匾额，这是一种中国传统建筑的装饰艺术。图书馆的楼顶为一平台，登高四望，赤坎古镇尽收眼底。楼内每层的地面是做工精细的彩色意大利水磨石，至今平展如初，没有裂缝和漏水现象发生，可见当年建筑工艺之高精。