地名由来：因境内有一座大庵山，原名叫舜歌山，后在附近建起小集，得名舜山集，取其前两字命名，故得名。

2022年2月，安徽省爱国卫生运动委员会命名舜山镇为2021年度安徽省卫生乡镇（街道）。

2014年9月，环境保护部授予舜山镇2012年—2013年度国家级生态乡镇称号。

舜山乡位于来安县北部10公里，辖19个行政村何2个街道，总人口35296人，其中农业人口31086人；总面积141.7平方公里，其中耕地面积约5000亩。

舜山乡属亚热带湿润型气候，年均温度15℃，相对湿度77％，年降雨量为995毫米，全年无霜期220天。舜山乡水源充足，境内有小Ι型水库2座、县属四百万方水库2座、一亿立方米水库1座、两万方当家塘坝105面，可用水总量六千万方。自流灌溉、土地肥沃，土壤结构为细颗粒橙白土。

舜山乡农业产业化已初具规模，特色显著。以林桥村为龙头的10000亩花木基地是典型的生态农业基地，是皖东花木资源最丰富和种类最多的地区。以炮咀、红卫、枣树三村为主体的5000亩杂交稻稻种生产基地是合肥丰乐钟业在皖东最大的杂交稻制种基地；另外，4000亩的商品蔬菜基地，3000亩的地膜鲜食玉米、花生基地，3000亩的小林果（桃、杏、李、樱桃）基地，不仅形成了规模，而且经济效益明显。

舜山乡矿产资源丰富，储量丰厚。是安徽省钾石最丰富的地区之一。

舜山乡风景宜人、历史文化底蕴浓厚。境内有万亩森林，林间有“皖东太平湖”之称的练子山水库，山水环绕，风景秀美，春夏两季有万只白鹭在此繁衍栖息，自由盘桓，场面蔚蔚壮观；大安山上清代达作家曹雪芹祖父捐建的大安寺遗址犹在；江北名刹－－孔雀寺安逸静谧令人流连忘返.

历史沿革：

1949年建立舜山乡；1958年更名舜山公社；1983年3月置舜山乡；2001年复兴集并入舜山乡；2007年改制为舜山镇。