以父荫为左亲侍。好读书,尤喜兵法,与
杨玄感友善。
大业九年(613年),参预玄感起兵反隋,兵败被捕,于押送途中逃脱,隐匿民间。十二年,投瓦岗
翟让军,联合附近各小股义军,破金堤关,于荥阳大海寺设伏,击杀隋将
张须陀。颇受翟让信任,自统军,号蒲山公营。次年,克兴洛仓,散粮济贫,百姓纷纷来投。众至数十万,占领河南大部郡县。被翟让推为主,据
洛口(今
河南省
巩义市),称魏公,年号
永平。发布檄文,声讨炀帝十大罪状。又攻占回洛、黎阳仓,围困
洛阳,败隋将
王世充。据守黎阳仓,起用降官降将。后设计杀翟让,部众离心。