国立安徽大学的前身是1928年创立于安徽省原省会安庆的 省立安徽大学。省立安徽大学是 国民革命的风云中，顺应安徽高等教育形势发展需要的结晶，是民国初年安徽境内唯一的高等学府。时有“于京沪（指当时的 南京上海）一带，仅次于上海 同济大学”之誉。抗日战争中，安庆沦陷，原“ 省立安徽大学”被迫停办。

抗日战争胜利后， 中华民国国民政府决定由“省立安徽大学”的元老 朱光潜、 杨亮功、 程演生、陶因等人在原“省立安徽大学”位于安庆的旧校址上重建安徽大学，并改称“国立安徽大学”，由 中华民国教育部直属管理。1949年4月，安庆解放，国立安徽大学由解放军南京 军管会接管。  

1949年12月，因长江洪水泛滥，国立安徽大学从安庆迁往 芜湖，与省立安徽学院合并组建成解放后安徽省唯一的学科门类齐全的综合性大学——新安徽大学。1950年至1953年，全国 高等学校院系调整，安徽大学历经了三次院系调整，调整后的安徽大学仅由两个学院组成：师范学院和农学院。

1954年2月，中央决定：“撤销安徽大学校名和建制，其所属师范学院、农学院分别独立为安徽师范学院、安徽农学院”。同年4月，安徽省政府决定安徽农学院迁往合肥办学。安徽师范学院和安徽农学院经过多年发展，成为现在的 安徽师范大学（芜湖）和 安徽农业大学（合肥）。