地名由来：相传有几户张姓住在西龙山与西洋山附近的一高坡处以做生意为生。以后村庄逐步扩大成为贸易集镇，故名张山集。

2022年2月，安徽省爱国卫生运动委员会命名张山镇为2021年度安徽省卫生乡镇（街道）。

2020年4月，张山镇上榜第五届安徽省文明村镇名录。

张山镇位于安徽省来安县城北郊，由原张山乡和长山乡合并而成。面积98.4平方公里，低山丘陵占33%，耕地39850亩，其中水田21000亩。境内交通便利，村村通公路，并有滁天公路由南向北从境内穿过。下辖15个自治村，2个街道居委会，20个企事业单位，有26300人口。乡党委下辖39个党支部，有952名党员，其中农民党员630人。乡民遵纪守法，勤劳质朴，热情好客。近年来，在乡党委领导下，全乡“三个文明”建设得到进一步加强，尤其加快了全面建设小康社会步伐，为建设社会主义新农村奠定了坚实的物质基础。

张山镇现有95.4平方公里，低山丘陵占三分之一，平原台三分之二，山青水秀，环境优美，境内农业特产丰富，养殖业发展迅速，年出存栏黄牛5000头，山羊10000号，上规模大棚饲养闵麻青脚鸡200万只，水面养殖发展较快，农户散养猪、家禽品质优良，境内长山街道草鸡、草鸡蛋等畜禽商品营养丰富，已形成远近有名的特产销售市场，种植业特产发展迅速，特产生产已自发形式桃花村定点家产品特产销售市场产品远销杨州、南京、合肥、上海等地，其中境内生产油桃10000亩，亩创收4000元；生产苔韭10000亩，亩创收6000元，生产双季茭白6000亩，亩创收4000亩，冬季大棚韭菜生产规模不断扩大，此外，草莓等果品生产也在不断发展。

历史沿革：

1949年成立张山区。

1950年改为张山乡。

1958年9月，成立张山公社。

1983年3月，更名为张山乡。

2018年行政区划调整改为张山镇。