三月初，张悌军渡江后，于杨荷（今安徽和县）正遇王浑部将城阳都尉张乔率七千兵马赶到，张悌军随即将张乔军包围，张乔兵微势弱，便闭寨请降。副军师诸葛靓认为，张乔是以假投降行缓兵之计，拖延时日，等待后援，应急速进兵予以歼灭。但张悌却主张放过他们，因为强敌在前，不可因小敌而出战。于是接受张乔投降后，率兵继续前进，随即与王浑主力部队之司马孙畴和扬州刺史周浚军列阵相对。吴将沈莹首先率领五千精锐向晋军攻击，三次冲击均未奏效，被晋军斩首二将，不得不退兵。
晋军则乘吴军退兵混乱之机，以将军薛胜、蒋班率军追杀，吴军大败。此时，伪降之张乔军又从背后杀来，吴军溃败而逃。诸葛靓见大势已去，收集败兵数百逃回江南。张悌不肯逃走，与沈莹、孙震力战而死，吴军三万多人，被斩近八千人，余皆逃散，晋军遂胜利推进至江边。此时，扬州别驾何恽向扬州刺史周浚建议说：“张悌率东吴三万精兵，被我歼灭，吴国上下震惊，现龙骧将军王濬已攻下武昌，乘胜东下，所向皆克，吴已呈土崩瓦解之势，我应速挥军渡江，直捣建业，大军突然而至，定能不战而逼降东吴。”
但王浑听到这一建议后则认为晋武帝只命他出兵江北，以抗吴军，如果渡过长江，就是违背君命，即使作战获胜，也难以获赏；但若失败，必获重罪。于是，王浑坚持按原诏令，就地等待王濬军的到达，然后再统一节制王濬等军渡江作战。何恽再次向王浑建议说，将军身为上将，当见机而进，岂有事事等待诏命之理。王浑仍不听从。
琅邪王司马伷所率的一路大军，自正月出兵以来，迅速进至涂中后，令琅邪相刘弘率兵进抵长江，与建业隔江相峙，以牵制吴军；同时派长史王恒率诸军渡过长江，直攻建业。王恒军进展顺利，一一击破吴沿江守军，歼灭吴军五六万人，俘获吴督蔡机。王濬军在长江上中游获胜之后，便挥军顺流而下，三月十四日到达牛渚。当进至距建业西南五十里时，吴主孙皓才派遣游击将军张象率水军一万前往迎击；但吴军此时已成惊弓之鸟，张象的部队一望见晋军的旌旗便不战而降。王濬的兵甲布满长江，旌旗映亮天空，声势十分盛大，继续向前推进。
原先吴主孙皓派往交趾征讨郭马的将军陶濬，行至武昌时，听到晋军大举进攻的消息，便停止去交趾，返回了建业。此时，吴主孙皓便授其符节，命其率军二万，迎击晋军。结果，二万军队出兵前夜便逃散一空。
