小衢山位于岛扎北面，由红山岙、大南岙、小南岙及红毛岗墩，大、小凉帽山组成。小衢山隶属岱山县衢山镇，故名。小衢山于光绪年间属蓬莱乡衢山庄，民国年间先后属定海县，赢洲县之岛斗乡。解放后，除1954-1958年间置小衢乡外，余皆属岛斗乡或岛斗公社，2001年7月并入衢山镇。丘陵走向：呈东西走向。陆域面积为1.837平方公里，其中大部分为丘陵。海岸线长8.77公里。最高点海拔200.8米。小衢山岛海岸线曲折，有5个岙口，其中东北的红山岙，纵深300米，宽200米，南部有大南岙，长120米，宽200米。岛南岸有水深10米以上的岸线1.2公里，后方有小片海涂可围。土坯粗骨土，坡度15°。植被硬阔树种，种植松树为主。岛上设2个行政村，辖3个自然村。

1949年属岛斗乡十三保；1950年解放初属岛斗乡十三村；1953年属小衢乡；1956年属小衢乡衢一渔业生产社；1958年建立小衢渔业大队，属衢山公社太平管理区；1961年属岛斗公社；1984年小衢渔业大队划分成红山岙、大南岙两个村民委员会，属岛斗镇；后于2003年7月25日将小衢红山岙、小衢南岙两村合并成立小衢村，2017年3月变为小衢社区村。

2010年小衢岛被上海柘中集团征用，征用土地1954.75亩，892.85亩被租赁，后又拍卖给浙江金鑫集团至今。现在小衢岛正在被金鑫集团开发，开采矿石。原社区村委座落于衢山镇望海路62号，现在的新社区村委位于衢山镇小塘岙(老水泥厂北面)(于2016年11月17日搬迁暨农历十月十八)；距镇政府驻地0.7千米。

自从1995年执行“小岛迁大岛建”的精神，小衢岛上的居民陆续迁居到衢山本岛的各个村，自己买房居住。现在小衢社区村户籍人口有1539人，668户；设有党支部一个，有中共党员41名，预备党员1名；五保户4户；4人；低保户24户，计32人；低保边缘1户，2人；残疾人56人；小衢村是一个以纯渔业为主的行政村，大小渔船共有60艘；其中帆张网作业渔船24艘，拖虾作业渔船2艘，流刺网作业渔船5艘，油运辅助船1艘，小型张网渔船21艘，接驳船7艘。