西汉高祖四年（前203年），置汝南郡。最初治所在上蔡县（今河南省驻马店市上蔡县西南），辖境相当今河南省颍河、淮河之间，京广铁路西侧一线以东，安徽省茨河、西淝河以西、淮河以北地区。东汉时期郡治地迁至平舆县(今河南平舆县北)。三国曹魏时期郡治迁至新息县(即今河南省信阳市息县)，直至东晋时期郡治迁至悬瓠城(即今河南省汝南县)。唐乾元元年（758年），改汝南郡为豫州。