王贵与岳飞的关系大家是很清楚的，在评书和小说里面是结拜兄弟，在历史上也是一起出生入死的袍泽兄弟。在岳飞单独领军初期，王贵是岳飞最重要的帮手，没有之一。特别是岳飞军与牛皋部合并之前，王贵可以说是岳飞军的二当家，地位非常高。
后来宋高宗赵构重新整合军队，将撤离南下的牛皋部与岳飞军合并，也就成了完整的岳家军。两军合并后岳飞为首，牛皋为次，他们的任务是南下至湖北一线防御金兵，同时也要负责清除两湖地域内的乱兵和土匪。
当时牛皋本人的军职不在岳飞之下，年龄比岳飞大，作战经历也比岳飞丰富，所以安排作为岳飞副手其实有些屈才的。但当时宋高宗赵构特别看重岳飞，而岳飞在牛头山作战取得了辉煌的战绩，所以牛皋对当岳飞的副手并无异议。
但如此一来王贵就尴尬了，他本来是岳家军二当家，但牛皋一来就变成三当家了。而王贵本人在各个方面都不如牛皋的，所以他也没本事跟牛皋争，只能带着一肚子怨气当三当家。当然王贵这个三当家还是很值钱的，毕竟是南宋精锐的三当家，拿二线部队的大当家也都换不来的。
在岳家军抗金后期，岳飞非常注重培养人才，很多岳家军的年轻人由此崛起。其中张宪和岳云的崛起对王贵的地位产生了威胁。张宪的老爹张所是岳飞的伯乐，是宗泽手下的大将，也是岳飞最尊敬的将领之一。张所受李纲牵连被迫害后，张宪流落四方。后来岳飞设法遭到张宪，悉心培养，视如己出，使其成长成为岳家军中年轻将领中的NO.1。
张宪在军事上很有天才，天赋还在岳云之上，成长非常迅速，很快就能独当一面。岳飞把岳家军最精锐的两支部队交给张宪指挥，那便是大名鼎鼎的背嵬军和游奕军。当时岳云虽然也非常卓越，而且是岳飞长子，但也只能作为张宪的副手带领背嵬军作战。由此可见，岳飞对张宪的看重和培养。
张宪也没有辜负岳飞所托，在多场大战中展现出不下于岳飞的能力。被很多粉丝认为是南宋第一门将的杨再兴，两次带兵与张宪作战，皆全军覆灭，他自己还在第二次作战中被张宪俘虏。郾城大战中与牛皋分两路进兵，遇到金兀术的主力部队。在杨再兴战死小商桥的情况下，他带兵逆流而上，直接将金兀术的主力军打残。实际上岳飞的大军还未抵达战场，金军主力已经不存在了。
由于张宪和岳云的卓越表现，宋高宗赵构也对其反复表彰。到了岳家军后期张宪和岳云的组合基本上能替代原先岳飞和牛皋的职能，岳家军对金作战未尝一败，彻底成了金兀术的苦主。可以说基本完成新老交替的岳家军，比岳飞和牛皋合并之初强大不知多少。
然而这种情况下王贵就更尴尬了，他从岳家军的三当家成了实质上的五当家。虽然名义上的还是三当家，却没有什么实际指挥作战的机会，大多数都在搞后勤。而且按这样的趋势发展，如果岳飞和牛皋入朝，张宪和岳云必然接替他们作为一线指挥。王贵作为长辈，被两个年轻人骑在头上，自然是不愿意的。
当秦桧和张俊阴谋对付岳飞时，就考虑道拿下岳飞怎么控制岳家军的事情。正好当时管后勤的王贵处于养老状态，在张俊的煽动下立刻反水，成了压死岳飞的最后一根稻草。实际上如果没有王贵帮忙控制岳家军，以岳飞在军队的影响力和岳家军的力量，再加上韩世充旁敲侧击，宋高宗赵构也不敢对岳飞下死手。
岳飞遇害后，王贵自知处境危困，遂引疾辞职。
绍兴十二年（公元1142年）三月，宋廷发表武安军承宣使、权鄂州都统制王贵添差福建路马、步军副都总管，并授予侍卫亲军步军副都指挥使的虚衔，离军赋闲，由张俊亲信田师中接任都统制。王贵改官制词说：“典禁旅之严，内则资其扈怀；总兵符之重，外则薄其威名。兼此异恩，属吾骁将。具官某早亲行阵，素习韬钤。抚众甚宽，列营驯其号令；临机必果，强敌避其锋棱。屡收斩获之功，方倚训齐之证。胡抗章而自列，遽引疾以为辞。载畴盟府之战多，参领瓯闽之军律。仍升侍卫之职，以壮董兵之权。服我宠荣，毋忘报称。”
