南朝梁天监十二年（513），衡阳市南区回雁峰山上建云禅寺，隋改名为雁峰寺。唐建寿佛殿，供无量寿佛像。明修有望岳亭、宫室寺、此君轩、望江楼等。清建大雄宝殿、大悲阁、摩云舍、望雁楼、指月寮等建筑。峰前有烟雨池，“雁峰烟雨”为古城衡阳八景之一。
　　
　　1944年，日军侵入衡阳，山上古林殿阁惨遭焚毁，仅存一座寺门和半间佛殿，寺门上“上达”二字相传为清代一高僧所书。1985年，回雁峰被辟为公园，占地约0、19平方公里。峰前新开辟的雁峰广场中心建有大雁雕塑，高10米，为衡阳市城徽。广场正面是一座雕梁画栋的仿古门厅，匾额"南岳第一峰"为赵朴初题写。峰上重修望岳台、雁峰寺，复原观天池、此君轩。