湖山乡位于遂昌县城西南部，乌溪江上游。东临金竹镇，东南连大柘镇、石练镇，南毗黄沙腰镇、蔡源乡、焦滩乡，西、北接衢县。乡人民政府驻地湖山，海拔 240米，距县城约46公里。总面积187平方公里。其中耕地面积455.7公顷，山林面积5548公顷，茶叶面积370公顷，板栗面积1467公顷。同名的还有福建省龙岩市永定县湖山乡。