秦始皇二十六年（前221）后，设衡山郡，郡治邾县（今湖北黄冈市北禹王城，禹王城古称邾城、邾王城）。郡以今潜山县境内的天柱山，秦时名衡山为名，汉改天柱山。相当今鄂、豫、皖交界大别山脉周围一带。