秦桧欲双管齐下将岳飞和韩世忠一网打尽，关键时候岳飞再一次保全了韩世忠。但他个人却遭到了秦桧党羽万俟卨、罗汝楫的弹劾，以援淮西“逗留不进”、主张“弃守山阳”之罪，罢枢密副使，充“万寿观使”，经此，岳飞已经是无兵无权之人，可是对他的迫害却仍在步步紧逼。这个时候，与岳飞共同抗金军多年的张俊见风使舵，倒戈秦桧，成了迫害岳飞的主要帮凶。
秦桧与张俊等人知道要彻底整死岳飞，就必须要先瓦解他背后的岳家军。而作为岳飞心腹主将的王贵，首当其冲成为主和派争取的对象，岳飞被解除兵权之时，王贵代其掌管岳家军。
此时，王贵对身处逆境的岳飞还是非常着急的，他很想救主帅于险境，便亲往镇江会见枢密使张俊，而张俊此时已经倒戈向秦桧，他与岳家将也素来有隙，王贵来见，张俊知是为岳飞而来，但他早就知道王贵早前在“偃城大捷”中畏战撤军，只是岳飞匿而不报，王贵才免受朝廷处置。
张俊对王贵的隐私了然于心，便当场以此为要挟，王贵仍以大义为重，坚决不从张俊，表示：“为大将宁免以赏罚用人，苟以为怨，将不胜其怨。”不过，王贵临阵畏战撤军是真，这终究是他逃不掉的一个罪名，在张俊的软硬兼施下，为自己的前途计，王贵不得不选择与张俊合作，参与到构陷岳飞的阴谋当中。
很快的，王贵便递呈了岳飞部将王俊所写之诬告状纸于张俊处，得此状纸秦桧和张俊可谓是如获至宝，如此“铁证”，岳飞是在劫难逃了。绍兴十一年十二月二十九日（1142年1月27日），经宋高宗批准，岳飞被杀害于大理寺狱中，王贵与张俊同下狱，当然，作为反叛者的王贵最终还是得到了免死，结果是张宪一人随岳飞父子赴难，王贵却得免死脱身。
王贵结局
可以说在岳飞冤案中，王贵为保全自己的名禄所表现出来的苟且偷生出卖主帅的行为是令人可耻的。岳飞遇害后，王贵作为岳家军的主要将领，仍难免遭到猜忌，他自知处境艰难，便引咎辞职以求脱身。
不过，秦桧等人对于王贵“识时务”还是予以回报的，王贵虽解除了兵权，但宋廷仍于绍兴十二年（1142年）授其添差福建路马、步军副都总管（按照宋制，凡官名前带“添差”二字者才是实职），并授予侍卫亲军步军副都指挥使的虚衔。另外又由枢密使张俊的亲信田师中接任都统制，接管岳飞旧部，王贵至此算是彻底与岳家将脱离了关系。
绍兴十五年（公元1145年）五月，王贵的官衔去“添差”两字，为福建路马、步军副都总管，跟之前一样，仍属只领俸禄不管实事的闲官。王贵一直活到了绍兴二十三（1153年）八月才去世，寿享不祥，绍兴二十八年（1158年），孝宗即位后为岳飞平反，并追赠王贵为宁国军节度使。
王贵身为岳家将的主要将领，岳飞的生死兄弟，本应与岳飞共进退，但他却为了自己的富贵前途着想，背叛自己的昔日兄弟，做出了令人寒心之举，其行为实在令人不齿。王贵虽在岳飞冤案中全身而退，却也名节尽失，为后世所唾弃。
