第二次直奉战争结束后，吴佩孚从“时代的宠儿”一下跌到人生的低谷，率残部两千余人败走天津，想从水路乘船南逃武汉。
沿途除受到阎锡山、冯玉祥及奉军的追击外，还遭到山东督理、湖北督军等拒绝入境。在生命攸关之时，其部下建议逃入租界保性命，吴佩孚却以“堂堂军官，托庇外人，有伤国体”为由，未曾向外国人求救，危急之下避难鄂豫交界的鸡公山。其间，遭到冯玉祥一个多月的围困，段祺瑞还乘机暗派杀手对他进行暗杀，吴佩孚头发一夜全白。
就在吴佩孚险象环生之际，1925年春，浙江、江苏、湖南三省督军孙传芳、齐燮元、赵恒惕联名致电吴佩孚，愿一如既往地跟随其后。于是吴佩孚率“决川号”和“睿蜀号”两艘军舰前往岳州赵恒惕处。10月孙传芳发动反奉战争，应孙传芳之邀吴佩孚赴武汉出任“十四省讨贼联军总司令”。至此吴佩孚结束了寄身于兵舰7个半月的水上漂泊生涯。
虽然“讨贼联军”本应对付的是奉张，但吴佩孚为报冯玉祥反目之仇，与张作霜把手言和。在吴、张夹击下，冯玉祥被迫撤出北京。
趁北方军阀混战，1926年7月，南方国民革.命军以蒋介石为总司令誓师北伐。吴佩孚地处两湖，事实上成为了北伐军的头号目标。汀泗桥、贺胜桥、武昌血战后，吴佩孚兵败两湖。
为躲避蒋介石、冯玉祥的追杀，吴佩孚打电报给曾受过其重恩的四川军阀杨森说：“我已无路可走，不论你允许与否，我都只有入川一途了。”从此，吴佩孚流亡入川，受到杨森的庇护。
直到1931年春，蒋介石已巩固了自己的证权，才允许吴佩孚离开四川。吴佩孚屡次兵败，已心灰意冷。在结束了四年流寓生活后，同年秋，应张学良以子侄身份的邀请定居北平，住在张学良赠送的东四什锦花园胡同的大宅院，每月接受张学良馈赠的4000元维持生活。
自“九一八事变”以来，日本为加快侵略中国的步伐，用尽一切办法收买汉奸为其服务。吴佩孚作为北洋军阀中继袁世凯、段祺瑞之后的中心人物自然成为日本特务的焦点。日本竟然在北平、汉口分别设立主要对吴佩孚进行策反活动的大伯机关和竹机关。
对日本的侵略罪恶，吴佩孚是深恶痛绝的。即便流落四川有东山再起之意时，日本特务头子荒木代表日本愿奉送“步枪十万支、机枪二千挺、大炮五百门，子弹若干，此外并助款百万”，但他拒而不受。就在张学良到北平火车站来迎接他时，他质问张学良“九一八事变”为何不抵抗。不久又通电揭露伪满洲国成立的本质：“伪称满洲独立国，实际为日本附庸，阳辞占领之名，阴行掠夺之实。”
当得知南京大屠杀的消息后，为表示抗议，他整整绝食一天。国民當军炸开花园口黄河大堤，他为淹死很多日本人而喜，但又为无家可归的140万中国人而悲。日本特务头子土肥原、川本等采取拉拢、威逼各种手段都未能让吴佩孚放弃民族气节。
董必武在《日本企图搬新傀儡》一书中对吴佩孚作出了中肯评价：作为军阀，吴佩孚“有两点却和其他的军阀截然不同。第一，他生平崇拜我国历史上伟大的人物关、岳，他在失败时，也不出洋，不居租界自失。第二，吴氏做官数十年，统治过几省的地盘，带领过几十万的大兵，他没有私蓄，也没置田产，有清廉名，比较他同时的那些军阀腰缠千百万，总算难能可贵”。
1939年12月4日，戎马半生的吴佩孚因牙疾复发、高烧不退，请日本牙医看病后卒死。人们普遍认为吴佩孚死得蹊跷，但由于缺乏资料的佐证，吴佩孚是自然病亡还是被日本人害死至今仍是个谜。
抗战胜利后，为表彰其保持晚节，国民证府追赠他为陆军一级上将。
