防守洛阳的第15军及第94师共7个团的兵力3个守备区，第94师担任城厢区守备，第65师担任邙岭区守备，第64师担任西工区守备。日军在第12军及第1军追击第一战区各部期间，对洛阳采取了“封锁”措施，第12军在洛阳周围的部队和炮兵等，凡属不参加洛河追击的部队，全部配属给菊兵团，负责执行此项任务。
1944年5月17日，菊兵团各部队全部到达洛阳周围。兵团长野副昌德决定18日开始进攻洛阳。当天，除城北邙岭区仍为第65师防守外，城西、南、东三面日军均已迫近城垣。在守军坚强抵抗下，日军的多次突击均被击退，激战终日，毫无进展。“华北方面军”于20日晚下达命令：“应以目前态势继续进攻，并纳入第12军司令官指挥。”21日至23日，日军先后攻占邙岭区内后洞、上清宫、苗家岭等各要点，守军退入城中。
1944年5月24日13时，日军在航空兵、炮兵及坦克支援下，对城垣发起猛攻。激战约1小时，日军战车第3师团及其机动步兵即突破城西北角。17时，第63师团亦突破城东北角。18时20分左右，日军的坦克冲入城内，中、日双方军队展开激烈的巷战。第15军军长武庭麟下令各部队各自夺路突围。黄昏后，大部撤出，未接到命令及未及撤离的官兵仍英勇地进行逐屋争夺战。激战彻夜，至25日8时，日军完全占领洛阳。至此，豫中会战结束。从4月22日郑洲失陷至5月25日日军占洛阳，河南战役结束。
短短37天国军失城38座，损兵20余万，1944年，豫中会战沦陷市县统计：郑州、荥阳、汜水（县治已撤销）、新郑、蔚氏、洧川（县治已撤销）、巩县、广武（县治已经撤销）、密县、嵩县、长葛、许昌、临颍、临汝、郾城、鄢陵、西平、遂平、上蔡、汝南、确山、禹县、登封、襄城、郏县、宝丰、鲁山、伊川、伊阳（县治已撤销）、巩县、渑池、偃师、新安、韩城（该地不是县治，是一个大市镇）、洛宁、宜阳、卢氏、孟津洛阳。
