殷浩上表北伐，进攻许昌、洛阳。于是命淮南太守陈逵、兖州刺史蔡裔为前锋，谢尚和荀羡为督统，并开长江以西一千多顷水田作为军粮储备。但殷浩到许昌时，因谢尚不能安抚新归降的张遇，张遇于是在许昌据城叛变，并派兵进据洛阳和进攻晋军所据的仓垣，亦令殷浩军受阻。谢尚和新降的姚襄于是一同进攻张遇，但谢尚大败，退回淮南。殷浩知道谢尚兵败后亦退还寿春。

殷浩这次因张遇而无功而还，随即使打算再起兵。殷浩又驻屯泗口，派河南太守戴施据守石门，荥阳太守刘遁据守仓垣，更罢太学，积极预备北伐。

后殷浩暗中以关右的管辖权利诱苻健大臣梁安和雷弱儿等人杀死当年割据关中并称帝的苻健。不久，苻健杀大臣，其侄儿苻眉则离开洛阳前赴关中，殷浩因而以为苻健已被梁安等人所杀，于是请求进屯洛阳，修复园陵。

殷浩率七万大军大举北伐，中军大帐内，殷浩坐在中央，满面春光的说：“据回报苻健已死，关中大乱，今我们北伐必成。谁可为先锋。”

帐下一将起身回应到：“未将愿率本部，为将军前去清扫敌军。”

殷浩大喜到说：“姚将军英勇过人，今肯率本部为先锋，必可大破敌军。”

那将拿了先锋令转身离开大帐，司马丕站起来说到：“殷帅，这姚襄只是个新投降的胡人，只是被苻健逼的没办法才投我大晋，是否真心愿为我大晋所用还否知，今把先锋大任交给这个投将，末将觉得还是不妥。”

殷浩说到：“他在走投无路之下，我大晋不计前嫌收留了他的部族，此人必会感恩我王的恩德，不会做出大逆不道之事。”

司马丕说到：“胡人出生荒蛮之地，习性反复无常，不能用孔孟仁义之道去衡量他们。”

殷浩大笑到：“琅琊王所言也有道理，但今符健刚亡，关中大乱，我军士气高昂，兵强马壮，姚襄就算有二心也不敢现在背叛我大晋。”

司马丕摇摇头说到：“那请殷帅分本王一万人马，走在大军右边，以防不测。”

殷浩说到：“琅琊王心思缜密，将来必成为我朝的英才栋梁，本帅就分一万人马给你，保护大军的右侧。”

司马丕说到：“未将尊命。”说完上前领了殷浩的令牌。

姚襄回到羌军大帐中，对着部将说到：“投降晋朝实属无奈，今传苻健已死，关中氐人相互抢地夺权，秦已乱。我等可以西归抢回我们的土地，我们的子民，我们的牛羊，我们的一切。”

姚襄的羌军三日后先行开拔，来到了山桑时，先行埋伏起来。

殷浩中军两天后快到山桑时，天色渐暗，正准备安营下帐时，突然接到姚襄军报说：部众看到旧地思乡心切，不少人夜间逃亡，希望殷帅大军与其汇合，安定人心。

殷浩立即下令全军轻装前行，但到山桑时遭到姚襄军攻击，殷浩大败，晋军死亡无数，并弃辎重而逃到谯城。姚襄在后面一直追杀殷浩，殷浩身边只剩下数百人，这时突然前面灰尘飞扬，殷浩跌落马下，大呼到：“天要亡我呀！”从腰间抽出一把刀，准备自刎殉国，边上的部将连忙拉住了他。

只见大军到了殷浩面前，为首一将下马说到：“未将来迟了，殷帅快撤，本王来断后。”

殷浩苦笑的说到：“悔当初不听琅琊王之言，才有今日之惨败。”

司马丕说到：“殷帅无需再自责了，是姚襄太奸诈。”

殷浩带几百人先行离开了，姚襄见突然多出这么多晋军，急令调转马头撤出去了。

姚襄在此战中俘杀晋军一万多人，所有军需物资都被他夺去。

不久殷浩收拢残部，决心复仇，又派部将刘启和王彬之进攻姚襄兄姚益守的山桑，但被姚襄所败，二人都被杀。