杨家花园又称“萼园”，兴建于光绪二年(公元1876年)，乃清朝福建巡抚杨健之孙杨澍所建。该园坐落于珠晖区栗家码头，占地约七十五亩，入园门即有厅屋一座，三开间，名曰“馀滋山房”，房屋半临塘边，窗明几净，引人入胜，坪亭广阔，奇花异草，繁花似锦，回廊有船亭一座，筑一船行，

 

　　夏季凭栏，格外清爽，荷花盛开，清香回溢。出亭前行，经假山下曲径回壁抵达“月洞”，洞内题词甚多，游客诗人，流连忘返，时有佳句。由月洞右侧上石阶三十余级至“绮爽阁”，楼共三层，登高远眺，遍览全市。下楼观花圃，“馀滋山房”更是美丽，罗汉松、含羞花、水蜜桃等赏心悦目。再东行，过石板桥，俯视塘内，游鱼清晰可见。每到重阳，菊花盛开，美景醉人。

　　“萼园”开放，任人游览，所以常委会议场所，如清末之“三学会”即在此活动。

　　1944年衡阳沦陷，名园悉遭摧残，逐渐荒芜。1949年，“杨家花园”被完全拆除，但杨家花园之地名一直沿用至今。