九一八事变爆发后，冯玉祥力主抗日。但蒋的不抵抗政策，使其满怀悲愤，避居一隅。到泰山后，冯潜心学习革命理论，重温古籍经典，思想转向进步。
１９３０年中原大混战冯军集团土崩瓦解后，冯玉祥成了一个名副其实的光杆司令，他由郑州退到晋城，再转到晋祠，最后定居在汾阳峪道河，随同他前往的，只有西北军官学校的残部和刘田的一个团。这时，得意了的国民党大员无人理睬他，只有共｜｜产党和国民党左派人士不断与他联系接触，以促使他转向进步。
１９３１年９月１８日，日本关东军进兵的号角和炮火响彻东北。９月２０日，孔祥熙给冯玉祥发来专电，告知九一八事变消息，冯玉祥看后肝胆欲裂。冯自小就对日本有极深的仇恨，后来他就是一向以日本为“假想敌”来练兵的。而此时，日本铁蹄已进家门，但蒋介石却来个什么“攘外必先安内”，根本不予抵抗，这怎能不使冯玉祥感到痛心！
９月２３日，冯发出通电，谴责蒋介石穷兵黩武、媚外误国和执行不抵抗政策的罪行。而且他还认为南京政府依赖国联以求公道的做法无异于与虎谋皮，自欺欺人。这一点，冯玉祥是看准了，也说定了。当时，全国各地都掀起了抗日救亡的高潮，在此推动下，１０月２１日，冯再次发出通电，提出了他关于抗日救亡的１３项主张，要求迁都备战，保障自由、民主等，反映了他经过学习之后在政治上有了明显的进步。
九一八事变后的全国抗日浪潮，直接冲击着蒋介石的统治，再加上广东国民政府的要求，１２月１５日，蒋不得不通电下野。但蒋、汪二人早有默契，汪当时的一切费用，都由蒋的妻哥宋子文供给，冯玉祥对此一概不知，且仍念及他与汪阎共同讨蒋时的“情谊”，因此在对汪邀他前往南京的回电中还表示：“救亡定倾，纠纷万端，弟一切尊重先生主张，愿同进止。”
紧接着，胡汉民、孙科、邹鲁等也屡电冯、阎，促其到南京出席国民党四届一中全会。失意的冯玉祥顿时又成了香饽饽，在阎锡山的“欢送”声中，１９３１年１２月２６日，冯玉祥由平汉转津浦南下，从此结束了在峪道河的生活。途经济南时，韩复榘亲到车站迎冯玉祥往山东省政府留住一宿，并表示悔悟，这就为冯以后住泰山埋下了伏线。
冯玉祥到了上海后，胡汉民已经到广西去了，他前往会晤汪精卫，却被汪借病拒绝见面，可第二天汪却到浙江谒见蒋介石去了，这好像是给了冯一记耳光，使冯恍然大悟，知道了汪蒋勾结的真面目。紧接着，上海爆发了一二八抗战，不久即上台的蒋再次执行不抵抗政策，不仅如此，他还多方掣肘第十九路军的抗战，汪精卫则助纣为虐。开始时，军事委员会只设常务委员，蒋、冯、李为委员，李济深为办公厅主任。因此这时期军事委员会的决议案，都是赞成抗战和支持第十九路军的，蒋对此又恼又恨却又无可奈何。
淞沪抗战爆发后，南京政府慌忙迁都洛阳，在那里举行的“国难会议”上，汪精卫乘机提出军事委员会设委员长，他自己则为行政院长，于是汪、蒋开始狼狈为奸，大胆执行其投降路线，上海抗战被出卖了。冯玉祥一心主张的抗战，完全成了泡影，他称病离开南京到徐州，准备移住泰山。这时，汪精卫以高官厚禄诱惑，由郭春涛从中奔走，请冯出任内政部长，并赠以两万元，但这些都为冯所拒绝，冯并发电痛斥汪蒋狼狈为奸的投降路线和对内穷兵黩武、敲诈鱼肉百姓。至此，冯汪彻底决裂，冯怀着愤懑的心情到了泰山。
到了泰山后，冯玉祥组织了研究室，学习革命理论，还重温了左传、易经等古籍，其思想继续转向进步。但风景美丽的泰山并未使冯玉祥忘掉抗日，他一心想再有一支军队、一块地盘以实现他的抗日主张，可这在泰山是无法实现的。此时，中国共｜｜产党又通过王梓木等人，劝说冯玉祥不能把抗日停留在嘴上，应发动民众做实际行动。适逢宋哲元出任察哈尔省政府主席，宋当时的部下张自忠、冯治安、刘汝明等与冯的关系较为深厚，冯玉祥希望能在他们的掩护下积蓄力量与共｜｜产党合作，进行抗日活动，开创他的新局面。当时宋本人在北平，留驻张家口的是彭国政的一个团，彭表示欢迎冯去张家口，并愿听冯指挥参加抗战，１９３２年１０月９日，冯从泰山移住张家口。
此时，日本侵略军已从东北出发，大举进犯热河、平、津及察哈尔，冯玉祥的抗战决心也越来越坚决。他到张家口后，便与共｜｜产党合作，积极准备组织民众抗日同盟军。１９３３年５月２６日，冯玉祥在张家口通电成立察哈尔民众抗日同盟军，自任总司令，各地的义勇军纷纷投奔。
在冯玉祥、方振武、吉鸿昌的率领下，抗日同盟军作战异常勇敢，出兵几个月便连复察东各地，康保、宝昌、沽源、多伦等相继收回。
但坐镇南京的蒋汪对冯玉祥的抗日活动感到非常惊恐，害怕冯惹恼了日本，对他们不利。他们先是许以冯高官厚禄，劝冯离开张家口，停止抗日，而冯则坚决回对：“谁要是亲日妥协，谁就是我的敌人，决无合作之可能。”软的不行，蒋汪便计划从武力上分离瓦解冯的抗日同盟军。他们调集１６个整师、钢甲车８列、飞机２队，包围张家口，封锁平绥线交通，同时，又令庞炳勋、孙殿英、冯钦哉等率军包围、分割同盟军，并从内部收买瓦解同盟军。在大敌当前之际，国民政府不仅不对侵略军宣战，相反却调集军队来对付打击侵略军的民众组织。冯玉祥怕将宋哲元的地盘断送，引起旧部对他的不满。为了保全宋的地盘，冯决定以宋哲元回察接收各部和保障抗日同盟军一切人员的安全为条件，宣告结束抗日同盟军。轰轰烈烈的一场反日斗争，一支抗日军队，不是败在了日本侵略军手下，而是死在了自己人的手中！８月４日，冯玉祥于无奈之中离开察哈尔，重赴泰山。
冯玉祥此次上泰山，思想转变更为迅速，学习范围也更为广泛。而且还利用寒暑假期，聘请若干教育界知名人士到泰山为他讲学，有辩证唯物主义、历史唯物主义、政治经济学、政治学原理等，如李达、邓初民、许德珩、陶行知等均到过泰山，使冯学到了不少新的东西，比起第一次上泰山来，这次收获更大。
冯玉祥还对住在周围的农民特别关心。他首先请范明枢、张雪门两先生在小王庄一带办了１５所小学，收容农村贫苦儿童入学，由他担负经常的开支，并筹备基金创办作为小学生习艺的小手工场，购置土地种茶、果及榆柳等树数十万株，都划归学校，把所有的学校一律命名为武训小学，还设立小型图书馆、科学馆。
每到逢年过节之时，冯还派人送米面、钱到周围贫苦农民家中，以解一时之苦。冯玉祥喜欢与农民接触，了解农民的疾苦，进一步懂得了应当实行“耕者有其田”，但怎样才能达到耕者有其田，他却很少考虑，他在泰山只是以帮助和施与的方式惠及附近的贫苦劳动人民，他的思想仍然停留在自上而下的变革，而不是自下而上地发动群众自己解放自己。
冯玉祥是被蒋介石解除武装的，因此到了泰山后，他念念不忘的仍是反蒋，也因此他继续联络各方反蒋力量和所属旧部。而各方面来访的也不少，如孙科、陈公博、王懋功、王造时、曾琦等。汪精卫夫人陈璧君也于１９３５年１月１９日拜访过一次。蒋的连襟孔祥熙也曾来电准备到泰山，当时正值黄河水灾，冯玉祥马上回复了一个电报欢迎他来赈灾，并代千万灾民向孔祥熙三叩首，吓得孔不敢来了，以后也再未敢言上泰山。
来泰山最多的是李烈钧，他经常带着眷属到泰山常住。李烈钧对冯很为敬重和关心，况且他是以反蒋抗日姿态出现的，劝冯事事忍耐，并说蒋固可恶，何应钦则更坏，这些都很投合冯的心意，二人虽有过意见不合之时，但作为朋友，他们之间却从无二心，因此冯认为李烈钧是朋友中最真心爱护他的人。
冯玉祥组织察哈尔民众抗日同盟军，进行抗日斗争。后又困处国民党中央，任空头副委员长。全面抗战爆发后，冯再赴戎机，曾一度主持淞沪战役。一贯坚持抗日，反对投降。
１９３５年４月，冯玉祥被南京国民政府授为陆军一级上将。７月２０日，李烈钧来信，劝冯玉祥借召开国民党全会的机会到南京，从南京政府的内部团结抗日力量，同时又可作主张抗日的在野派以及各杂牌力量的代言人，使南京政府不致完全陷于不抵抗的投降政策。此时，共｜｜产党又提出了抗日民族统一战线的政策，因此，李烈钧的意见使冯玉祥有所动心。但鉴于以前李济深、胡汉民被囚和邓演达被杀的教训，他不能不有所顾虑。后几经考虑，他还是决定到南京。１０月３１日，冯玉祥离开居住两年多的泰山南下到南京，第二次泰山之行也就结束，开始了新的奋斗历程。
冯玉祥自泰山到南京以后，竭力促进国民党上层人物的团结，以图一致抗日，并长时期对蒋介石心存幻想，他总认为蒋介石所作的坏事，大多是被左右欺骗所致，不然，不会坏到那种程度。抗战开始后，他多次以个人名义或与阎锡山、李烈钧等联名用函电敦请胡汉民、李宗仁、白崇禧等人晋京，共赴国难。又一再向旧部宋哲元、韩复榘说明蒋介石是要抗日的，希望他们服从中央，勿生他虞，保持统一。
１２月１８日，冯玉祥被任命为国民政府军事委员会副委员长。为尊崇冯，蒋介石特授意在南京大行宫头条巷设立副委员长办公厅。实际上是不要他整日到军事委员会去问事、办公，副委员长不过是个有名无权、有职无权的装饰品而已。对于冯的活动，蒋介石虽未公开干涉，然而却设立特务机关，暗中监视。冯曾激烈反蒋抗日，但他认为，此时若再内战，只会被日本利用，所谓亲者痛仇者快，因此，为顾大局，暂且待以时机。
１９３６年１１月下旬，国民党政府以“危害民国”的罪名，逮捕了全国救国联合会领袖沈钧儒、邹韬奋、李公仆、王造时、沙千里、史良、章乃器等７人。当日，冯玉祥从孙晓村处知晓后，立即表示：“爱国的人们心中苦闷极了，真是伤心之至”。为营救“七君子”，冯玉祥给在洛阳的蒋介石发去电报，电文曰：“窃以章等热心国事，祥亦素有所闻，尚非如报纸宣传之为共｜｜产党及捣乱者，且其设立救国会宣传救国，立论容有偏激，其存心为一帮人所谅解，今若羁押，未免引起社会之反感，而为日人挑拨离间之口实。拟请电令释放，以示宽大。”
１２月初，蒋介石复电冯玉祥说：“七君子”蛊惑人心，山东罢工，并且执迷不悟，不予释放。冯玉祥再次致电要求释放，最后蒋让陈布雷转告冯玉祥说：“不久一定会放出来。”
１２月１２日，张学良、杨虎城在西安发动了震惊中外的西安事变。冯玉祥得知后，为和平解决西安事变而不辞劳苦、不辍奔走。１４日，冯玉祥对中央社记者发表谈话说：“当此外来祸患，犹复未已，收复失土，初有成绩之日，犹需正确之策略与统一之指导。因此，保护最高军政领袖之安全，实为全国军民最大之责任。”在国民党上层有识之士和中国共｜｜产党的大力周旋调停下，西安事变终以蒋介石答应“停止内战，一致抗日”为条件获得和平解决。
西安事变和平解决后，确实在国难方殷的关键时刻起到了“挽狂澜于即至，扶大厦之将倾”的神奇功效。蒋介石政府的政策也不得不进行调整，逐渐转向抗日，这一切使冯有机会再赴战场，抗日报国。
七七卢沟桥事变爆发后，日本发动了全面侵华战争，１０日，冯玉祥发表了对卢沟桥事变谈话，认为，“我国固望和平，但断不能容忍侵略事态之继续与扩大……全国军民应团结一致，为民族生存，为国家复兴而坚决奋斗。”后冯玉祥被蒋介石委任为第六战区司令长官，然而，第六战区组建不到两个月，就被撤销了。
冯玉祥全家福
同时，冯玉祥还十分痛恨投降派。１９３８年１０月，冯玉祥到武昌参加最高国防会议，会后与汪精卫、白崇禧在一起聊天。汪精卫问冯玉祥：“焕章先生，什么叫抗战到底？”他回答说：“把所有的失地都收回来，不但东北四省，就是台湾和琉球各岛，都要交给我们，并且日本帝国主义无条件的投降，这就是抗战到底。”接着他又反问汪：“你喜欢这个样子吗？”汪精卫气得连叫“做梦！做梦！”冯玉祥拍案而起，厉声说道：“做梦？你知道有人做梦是当主人，有的人做梦是当奴才！”这一骂真是淋漓尽致，大快人心。汪精卫投敌叛国后，冯玉祥写了声讨汪精卫的蜀道菜花黄一诗，有力地鞭挞了这个民族败类认贼作父的无耻嘴脸。
但是，时局的发展，蒋、汪对冯玉祥的遏制，使冯几经宦海沉浮，历尽世事沧桑。年事渐高的冯玉祥渐渐对现实有了更为深刻的了解，对蒋记政权的本质有了更为清醒的人事。但是，冯玉祥抗日救国的热情和决心始终没有减退和动摇，发起献金救国运动，力倡“利他”，呼吁国民积极捐献，共赴国难。
战争的残酷与惨烈不仅仅在于对武装者肉体的消灭和摧残，更因它涂炭生灵、殃及无辜。八年抗战，日本侵略军的铁蹄践踏华夏，中华民族遭受了无比惨重的伤害，由此引发了有如洪水般的难民潮。
为拯救从沦陷区逃到后方的难民，冯玉祥发起了献金救国运动。对于救济难民，国民党政府该管却撒手不管，冯心中始终不满又十分着急，因此他主张发动基督徒募捐来办这件事情，他认为基督徒的社会阶层面广，有做这类事的经验。
１９４２年１２月１９日，“全国基督徒节约献金总会”正式成立，随后各地也陆续成立了分会。献金的用途也由救济难民逐渐扩大为“慰劳抗战将士和充裕国库，建军建国”。初期主要捐献地点是在重庆，收获不大，但慢慢地献金范围由基督徒扩大到全体国民。１９４３年１０月１４日，冯玉祥将“全国基督徒节约献金总会”改为“中国国民节约献金运动会”。
为发动节约献金运动，冯玉祥带头卖字鬻画。凡是向他乞字求画的，一概索取笔资，作为抗日献金。１９４３年冬季，侵华日军进入贵州独山，直逼国民政府陪都重庆，全国人民掀起了如火如荼的抗日救亡运动。时任“国民节约献金抗日救亡运动总会”会长的冯玉祥将军，亲赴四川省的自贡、乐山等地，进行献金抗日救国运动宣传。１９４４年年初，他自乐山乘船返回重庆途中，为激发人民群众的爱国抗日热情，用宣纸书写了“还我河山”四个字，并沿江寻觅刻字之处。
自１９４２年１１月到１９４５年２月，在冯玉祥躬亲参与下的重庆、四川多个县市，广泛发动献金救国运动。他把各地群众的爱国热情和参加献金运动的种种表现，写成１４封公开信，到处散发，以扩大宣传。冯玉祥亲自到各县主持献金大会，发表公开演讲，仅在成都２０多天就讲话１００多次，掀起了各地节约献金的高潮。
总之，冯玉祥为抗日战争作出了突出的贡献，受到中国共｜｜产党人和全国人民的高度赞扬。周恩来在贺冯玉祥６０寿辰时，称誉冯玉祥“为人所不敢为，说人所不敢说”，“屹然成为抗战的中流砥柱”，“丰功伟业，已举世闻名”。
抗战胜利后，１９４６年，在马歇尔帮助下，冯远渡重洋，赴美考察水利，在美进行反蒋拥共活动。１９４８年９月，在回国参加新政协途中，在黑海上因轮船失火，遇难。
抗战胜利后，１９４６年１月，国共双方签署停战协议，政治协商会议在重庆举行。然而国民党当局为破坏政治协商会议，在１９４６年一二月间，相继制造了沧白堂和校场口事件，冯玉祥对此极为愤慨，写下校场口一诗，以揭露国民党当局的这一罪行。在诗中，冯玉祥还为蒋介石本人开脱了几句。但蒋介石却不管这些，他对这位冯兄已是恨之入骨，早想早一点除掉他。冯玉祥呢，对他的这位兄弟才算有了比较清醒的认识，他感到自己再呆在国内，既无所事事又不安全，因此开始打算出国。
当时冯玉祥与美国人马歇尔有一些交往，马歇尔曾向冯大谈其担任防护田纳西河流域的水利工程，并表示愿意赞助冯到美国考察该项工程，而且冯要出国，只有到美国，才有可能获得蒋介石的同意。在李济深等人的催促下，９月２日，冯玉祥以特派考察水利专使的名义，带着两位水利专家，一名秘书，一名翻译和一名勤务员出国赴美。
临行前，冯玉祥在上海大公报上发表了他的临别赠言——上蒋主席书，文中从国际国内需要和平；开发国家资源，解决民生贫困；效法华盛顿，实行民主改革；言论自由；整饬吏制、军纪等五个方面发表了自己的看法后，最后说：“整装待发，未能面辞，故扼要直陈，以渎清听。此次承蒙明令退伍，觉得十分光荣，亦十分感谢。祥虽远离，如有电召，当即归来，临别诚不胜恋恋之情，端肃，敬颂钧安。冯玉祥启。”
亲自步入美国社会后，冯玉祥才觉得美国也并非他想像的那么好，美国也绝非是什么“好人”，而是借刀杀人的刽子手。１０月１６日，冯玉祥就曾对旁人讲：“不要以为人家（美国）完全不赞成我们打内战。恐怕我们越打得厉害，人家是从内心里越快活。可是他们口里还说，哎呀！怎么又打起来了啊！”真是绝妙的揭露！对于美援，冯也是坚决反对的，他大声疾呼：“不用美国的武器来杀中国的百姓，只要这一条做到了，我们中国好了，全世界也好了！”
虽远在国外，冯玉祥对国内政局的发展还是特别关心，蒋介石在国内到处镇压革命活动，镇压进步人士，冯发表大量演讲、文章来谴责蒋政权。此外，冯玉祥还印发了为什么要反对援蒋和我为什么与蒋介石破裂两个小册子，并写了我所认识的蒋介石一书（去世后出版），来阐述他自己反蒋的态度和主张。
冯玉祥在纽约街头进行反蒋演说
冯的这些活动，当然逃不过蒋介石特务们的眼睛，蒋介石也不会放过他的，他首先将冯玉祥开除出国民党，后又吊销了冯的护照，美国移民局马上控告冯无居留权，要传讯他。但他们的阴谋未得逞，在苏驻美大使潘又新的帮助下，１９４８年７月３１日，冯玉祥离开美国，搭苏联“胜利”号客轮赴苏，以便转回祖国的解放区。
但不幸的事终于还是发生了。８月２２日，“胜利”号离开亚历山大港，向巴统驶去，在八月最后的几天靠上了巴统的码头。８月３１日，“胜利”号折返向西，驶向敖德萨港口。
９月１日，“胜利”号班轮驶经新罗西斯克后，继续驶向敖德萨港口时，轮船失火，冯玉祥被浓烟熏倒，窒息而死，与他随行的一个女儿冯晓达一起遇难。船上共有２００多名旅客在大火中丧生，和冯玉祥同住头等舱的４位苏共中央委员，３人遇难，一人重伤。
冯玉祥海上遇难的噩耗震惊中外。中共中央毛泽东主席和人民解放军朱德总司令发出唁电：“惊悉冯先生及令嫒不幸遇难，至深痛悼，冯先生置身民主，功在国家。尚希勉抑哀思，并为实现冯先生遗志而奋斗。”
一年后，中共中央在北京为冯玉祥举行了隆重的追悼会，毛泽东亲笔题词：“冯玉祥将军逝世周年纪念谨致悼意！”周恩来致悼词：“冯玉祥先生，从一个典型的旧军人，转变成一个民主的军人，他经过曲折的道路，最后走向新民主主义的中国。冯先生生前曾进行反蒋，尤其在美国最后一幕与美帝国主义曾进行了正面的斗争。”
为了永久的纪念，中共中央决定将冯玉祥的骨灰安葬于他曾两次居住过的泰山。墓分三层，为金刚石砌成，墓壁是汉白玉的，庄严肃穆，巍巍壮观，上有郭沫若题字：冯玉祥先生之墓。中间嵌有冯玉祥的鎏金铜像，并刻有冯玉祥生前所写自题诗（１９４０年５月２４日作）：
我
平民生平民活
不讲美不讲阔
只求为民只求为国
奋斗不懈守诚守拙
此志不移誓死抗倭
尽心尽力我写我说
咬紧牙关我便是我
努力努力一点不错
曾经叱咤风云的冯玉祥，终于在巍巍泰山的宽阔怀抱中静静地安息了。