征夷大将军在 日本历史上，原为大和朝廷为对抗 虾夷族所设立的临时的高级 军官职位，本应于停战时即功成身退。“ 夷”其实是指曾在 本州和 北海道居住的 虾夷族（ 阿伊努族），而“ 将军”一词指 军阶中的高级领导职。征夷大将军的 衙门称为幕府，故中文俗称征夷大将军为“ 幕府将军”，也常简称其为“将军”。

12世纪末，幕府将军转为所有 武士与 军人的 首领、总代表。1192年， 源赖朝于消灭把持朝政的武家政权 伊势平氏及东北豪族 奥州藤原氏之后出任征夷大将军，创立 镰仓幕府，一时间能够统领各地 诸侯与 军人，故一直保留着将军之 头衔，以后的幕府将军皆袭用“征夷大将军”之官位。由1192年开始，大部分幕府将军或武家取代 日本皇室与 天皇，掌握日本实际 政权，直到1868年 明治维新为止，相关政治地位日后由 太政大臣及 日本内阁总理大臣取而代之。

由于将军为首的幕府掌握实际政权， 明朝 朝廷也封一部分 室町幕府将军为“ 日本国王”（例如 足利义满）。而 镰仓幕府和 江户幕府将军时不受封日本国王，江户幕府将军大多自号“ 日本国大君”。在 欧美，由于将军的长期 世袭统治，到后来 欧洲人执访日本，一直误以为将军就是天皇；直到 江户幕府末年， 美国派到日本的特使也还没有弄清楚。