迴溪村始建于1022年，（洪氏宗谱证明）。因村中有一小溪，河床较低，每遇涨水季节，出口处率水水位反比小河水位高，导致小河河水回流，故此得名迴溪。迴溪村共有4个自然村，在小溪上游有一自然村叫上迴溪，因该自然村以吕姓首居又叫吕家，与吕家毗邻的一个自然村（约距迴溪1公里）叫台子上，是元末明初名儒朱升故里，约离迴溪2公里处，还有一自然村以韩氏为主故得名韩村。

迴溪村有洪、朱、吕、韩、宋、方、崔、项、宁、占、汪等姓氏。2005年总户数378户，1307人。主姓洪氏，始迁祖洪元怡于唐朝因子孙繁衍从休宁黄石迁入。他属于洪氏十一世后裔，又于宋朝时分为前、后两门，前门以十六世祖洪克度为支祖，后门以洪克已为支祖，至今子孙前门已繁衍至45代，后门已繁衍至43代，2005年约存世380余人，南宋时期建立了洪家宗祠，元末时期分别建有前、后门和上、下门支堂，下门洪家厅建厅日期为朱升所择，照壁上“紫微高照”四个大字和照壁柱上，“竖柱喜逢黄道日，上梁恰遇紫微星”的对联也始于朱升所书。朱升，字允升，号枫林，迴溪村台子上人，生于1299年，死于洪武三年公元1370年，是明朝开国皇帝朱元璋的高级谋臣，他为明王朝的建立立下了汗马功劳。他向朱元璋献的“高筑墙、广积粮，缓称王”九字策，相隔600多年后被一代伟人毛泽东所借鉴，弘扬了“九字策”精髓，号召全国人民深挖洞、广积粮、不称霸”深刻阐明了他一贯主张的政治、军事、外交思想。

洪氏家族中历史上有十六世洪克已生于绍兴丁已年（1137年）登南宋进士、授永州教谕。十八世洪延年字明六，生于1208年，登元进士。二十世洪佛佑字善祥，生于1361年，明洪武十五年举乡贡任广东韶州府乐昌县丞，有德政、邑入名宦，祠后被考察天下清廉第一，调监造南京城，嗣将大用以迪功郎。二十九世洪德新名九经字君常号古雪生于万历七年已丙（公元1580年），九月殁于康熙壬寅年（公元1663年），为明朝内阁中书改授郡司马，康熙戊辰年恩赐绢米肉绵，深得好评，还精纂刻玉晶图章，善诗文书法、晚年书法更苍健入神。

客姓宗祠有朱家厅，宋家厅、方家厅等。

村中现存有2棵约千年左右树龄的大红豆杉树和一棵二百年左右的大杉树，水口还有一棵百年左右的大银杏树，原有水碓3个，（现已不存在）。水口有一条宽约25米的小河，两边是高山，原有一条石板路，是休婺道的必经之路，1982年建成乡级公路现为乡道四级沥清路。村中有一座始建于乾隆年间的古石拱桥名成溪桥，长8米，宽4米，现保存完好。解放前有私塾1所，现为迴溪中心小学，该小学始建于1950年8月，首任校长洪观好（又名洪兴良）。村口原有尼姑庵1座，对面有和尚庙1座，分别建于清朝年间，现已拆毁。原有八角亭1个（始建于宋朝），吕家大圣亭和韩村阴山亭各1座，均始建于清朝年间，也已拆毁。

台子上自然村有“望星台”胜迹，为朱升早年所筑，传说朱升夜间常登台望星斗，察看天象，因此该村得名“台子上”。还有“钓鱼台”，传说朱升小时候到迴溪村读私塾放假时，常在此钓鱼，还有“笔架石”、“砚台石”等遗迹。

迴溪自然村中有“大贤庙”和“避贤台”等遗迹。传说朱元璋攻打婺源时，久战不下，便拜访朱升，朱升留下锦囊计后，躲在迴溪一个庙中，又怕被人发现，便又躲在河对面一个大石壁底下，地面是一块大平石，看到朱元璋等人走后才回到家中，后人将该庙取名为“大览庙”，将大平石板取名“避贤台”。韩村自然村有一条通往溪口镇祖源村的石岭，朱元璋曾路过此，为思念朱升，他便将此岭取名为“思贤岭”。

1952年4月迴溪乡曾设在此村，1961年又在该村设立人民公社。1983年至1991年和1996至2004年曾两次在该村设立乡政府。

该村1968年曾发生过震惊原徽州地区的迴溪“七一二”事件，有46人受株连，31名无辜群众遭到非法关押，受到了捆、绑、跪、吊、打等残酷折磨，时间最长者达120多天，还有1人自缢身亡。1969年原徽州地区派出联合调查组，对事件的-进行调查后，给予平反昭雪，制造事件的原迴溪公社主要领导和直接责任人均受到了党纪政纪处分。