辉山社区四周被辉山村环绕。距思聪街道办事处大约四公里，社区占地面积2.5平方公里，有715户居民，户籍人口3210人，常住人口1320人。下设四个村民小组，现有党员260人，下设五个党支部。社区设有一个文化站。

辉山社区与清水社区、火车站社区、深塘村、左垅村、茶冲村、思聪村、辉山村、红桥村、下清村、龙溪村、三华村、清水村相邻。

辉山社区附近有茶陵县工农兵政府旧址、茶陵云阳山、云阳大峡谷茶乡花海景区、中华茶祖文化园、洣江书院、卧龙山庄景区等旅游景点，有茶陵黄牛、茶陵大蒜、茶陵豆腐乳、茶陵紫皮大蒜、茶陵生姜、茶陵脐橙等特产，有云阳山南岳宫庙会、茶陵湘剧、客家火龙、炎帝陵祭典、炎帝传说等民俗文化。