济阴，因在济水之南而得名。景帝中元六年(公元前144年)从 梁国分出定陶国， 汉武帝建元三年（前138年）改定陶国为济阴郡， 汉宣帝甘露二年(公元前52年)更名为定陶国，哀帝建平二年(公元前5年)又改为济阴郡，属兖州，治所在定陶（今山东 菏泽市定陶区）   。 东汉时期， 济阴郡属 兖州八郡国之一。唐武德四年改为曹州。济阴郡从汉至明存在1500多年，是中原地区的政治、经济、军事、文化重镇。

汉高祖五年，刘邦封彭越于梁国，都定陶，封域约同秦砀郡。彭越被杀后又封刘恢、吕产、刘太、刘揖、刘武为梁王。刘武时期梁国迁都睢阳，刘武死后梁国一分为五，于定陶置济阴国，济阴王刘不识死后济阴国改为济阴郡。