在东佘山东南坡，秀水环绕处有一石呈矶状，突起河边，酷似仙人们钓鱼或奕棋的地方。据史书记载：明代末年，29岁的文学家、书画家陈继儒（号眉公）焚烧了儒生衣冠，隐居小昆山。59岁那年，因母丧葬于辰山，遂移居东佘山，闭门著书治学，功习金石书画。闲时常以垂钓为乐，此矶石便是眉公垂钓处，故名之。另有“白石山庄”位于眉公钓鱼矶以东，山石错落有致，可惜遗址已废。