地名由来：古为来往行人的歇脚点，开有饭店，因有一东西向小山横亘于店南，山名横山，村名横山店。明万历年间，有一道士路过，指着横山对村民说：“此山有玉，何不名为玉山”。故改称玉山。村因以更名。

2021年12月，河南省爱卫办命名玉山镇为2021年度河南省健康乡镇。

玉山镇地处遂平县西北部18公里处，遂嵖公路穿境而过，东临107国道、京广铁路、京珠高速公路，西有风景秀丽的人间仙景----嵖岈山，自古是遂平西部重镇，人杰地灵，商贾云集，1998年撤乡建镇，现为市级重点镇，已完成省级重点镇中招工作，有望跻身省级重点镇。总面积69平方公里，人口31000人，街道宽阔、基础设施配套，交通电力、通讯等设施完善；资源丰富，养殖业、种植业、乡镇企业发达；投资环境优越，区位优势明显。

全国乡镇企业东西合作会以来，玉山镇把东西合作、招商引资工作作为迅速扩张经济总量，加快镇域经济快速发展，实施开放带动战略的核心内容，积极拓宽合作领域，使合作的层次和质量不断提高，取得明显成效。截止去年12月底，全镇乡镇企业实现总产值3.65亿元，同比增长15.8％，安排了大量剩余劳动力，从业人员增幅在3％以上，实现了农业种植结构调整和畜牧养殖业的重大突破，乡镇企业结构得到优化，经济效益和社会效益十分显著。

2002年全镇共发展烟叶1500亩，以烟叶作为突破口，同时带动了林果、红薯、花卉、药材、瓜果、蔬菜面积的扩大，占地近百亩的玉山镇花卉苗圃示范园成为全镇种植结构调整的盆景。在稳定发展猪、鸡的同时，加快发展节粮食草型畜禽，购进秸杆机35部，建造标准青贮池1万立方米，青贮秸秆0.5万亩。投资50万元建成了玉山镇肉牛育肥场，发展肉牛繁育、育肥户400多户；投资20万元建成了玉山镇波尔山羊繁育基地，同时巩固了年出栏50万只肉鸡的玉山镇养鸡场的龙头地位。

经过几年的努力，玉山镇已形成东西、南北两条主干街道，并形成交易市场，在此基础上，我们投资28万元在全县率先建成了镇中心幼儿园，投资70万元建造了镇中宿舍楼，2001年完成了贾庄小集镇的拆迁、规划和建设，小集镇已初具规模。同时镇里成立了市场服务中心和市容保洁队，加大了镇区的环境整治工作，小集镇建设步伐加快。

全国乡镇企业东西合作会以来，玉山镇把东西合作、招商引资工作作为迅速扩张经济总量的措施。本着“以情招商、以诚招商、以厂招商、以镇招商、以地招商”的五大原则，加快镇域经济快速发展，实施开放带动战略的核心内容，强化措施，狠抓落实，加大招商引资力度，拓宽合作领域，使合作的层次和质量不断提高，取得了明显成效。

历史沿革：

明、清属遂平县。

1931年属五区（玉山）。

1936年属第四区。

1941年建玉山镇。

1949年分属二区（沈寨）、三区（玉山）。

1955年建玉山中心乡。

1959年成立玉山人民公社。

1983年改设玉山乡。

1997年设玉山镇。