灵芝社区位于县城北面，南面以灵芝路为界，东至递铺港，西北至古鄣路，区域面积约1.3平方公里，辖有宁馨花园、汇丰北苑、新嘉园、嘉和苑、翰林阁等小区，以及油化厂宿舍、杨家花厅及应家谭等散居户。社区现有户籍户数1786户，人口4128余人，实际居住4241户，人口12723人。社区党组织建制为党支部，社区专职工作者7人，其中党员6人，女性4人，平均年龄38.5岁，文化程度大专以上6人、高中1人，现有在册党员77人，在职党员475人。其中：60周岁以上老人307人，70周岁以上老人82人，80周岁以上老人25人，低保户2户，已经办理二代残疾证的25人。近年来，社区先后获得了市级法治小区、市级民主法治社区、市级绿色社区、省级体育俱乐部、湖州市文明社区等荣誉称号。

灵芝社区与广场社区、凤凰社区、昌硕社区、余墩社区、桃园社区、铜山桥社区、芝里社区、天目社区、山头社区、上郎社区、玉磬社区、穆王城社区、新街桥社区、范潭社区相邻。

灵芝社区附近有安吉竹子博览园、江南天池（天荒坪电站）天荒坪抽水蓄能电站、浙江自然博物院安吉馆、中南百草原、安吉中国大竹海、安吉天使小镇等旅游景点，有安吉白茶、安吉竹笋、安吉竹林鸡、安吉冬笋、安吉竹盆景、安吉冬笋等特产，有项家皮影戏、安吉白茶制作技艺、长兴百叶龙、蚕桑习俗（扫蚕花地）、项家皮影戏等民俗文化。