冯玉祥出身行伍，早年因不满淮军腐败而转投袁世凯新编练的陆军。作为一个贫家子弟，冯玉祥若要起家颇为困难，好在袁世凯的心腹陆建章相中了他，并将侄女刘德贞嫁给了他。从此，冯玉祥开始平步青云。1910年，冯玉祥升任第二十镇八十标第三营管带，此时他初步笼络了一部分人才，如韩复榘、石敬亭、张之江等。1912年—1913年，冯玉祥先后前往景县、郾城招兵，石友三、孙良诚、刘汝明、佟麟阁、冯治安、韩占元、孙连仲、曹福林、吉鸿昌、梁冠英、程心明、赵选廷、田金凯等由此进入冯玉祥集团。冯玉祥才真正有了自己的团体。不过，陆建章对冯玉祥所部的影响还在。冯玉祥知道，若要真正壮大，必须排除陆建章的影响。
1914年10月，冯玉祥部改编为第十六混成旅，奉命剿办河南白朗起义军。此期间，冯玉祥开始有意识的培养忠于自己的干部。1915年，护国战争爆发，冯玉祥又奉命入川作战。他暗中与蔡锷议和停战，因此被免去第16混成旅旅长职。经过陆建章等人的斡旋以及冯部官兵的反对，北洋军阀不得已重新启用冯玉祥。当年7月，冯玉祥率部参加讨伐张勋辫子军后，恢复旅长原职。当时南北军阀正激烈混战，冯玉祥部奉命率部前往南方作战。作为一个小军阀，冯玉祥不愿拿自己多年积攒的本钱为别人卖命。到了前线后，冯玉祥通电全国，主张议和罢兵。由此，冯玉祥赢得了百姓的颇多赞誉。迫于冯玉祥部小有实力，段祺瑞唯恐逼反冯部，便将冯玉祥远远地派到了湖南常德，让他担任湘西镇守使。这是冯玉祥第一次取得了较大的地盘。在这里，远离军阀混战的冯玉祥开始大刀阔斧地改编军队，一方面招募新兵和有学识的干部，一方面尽力排挤陆建章的亲信。不到一年，冯玉祥所部名义上虽仍是个混成旅，但实际上却拥有了4个步兵团、一个炮兵团、一个骑兵营和一个工兵营。此外，全部军官都是冯玉祥的亲信，冯玉祥集团初具规模。
1920年，直皖战争爆发，冯玉祥所部遭到攻击被迫离开湖南，并辗转来到河南信阳。由于失去地盘，冯玉祥部财源断绝，官兵的温饱成了难题。不得已，冯玉祥只好重新投靠直系。1921年8月，冯玉祥奉命攻击陕西陈树藩，并顺利收编了靖国军。但是陕西地区财源不广，即使冯玉祥竭力维持，亦不能使部队再度扩充。于是，冯玉祥将目光对准了河南。1922年，第一次直奉战争爆发（张作霖、段祺瑞和孙中山联盟对抗直系曹锟、吴佩孚），冯玉祥率部出陕援直，击败河南督军赵倜。同年5月，冯玉祥调任河南督军。正在冯玉祥打算进一步扩充部队时，直系军阀吴佩孚不甘坐视冯玉祥壮大，挑唆总统黎元洪将冯玉祥调往北京就任陆军简阅使，驻扎南苑。陆军检阅使是个没有油水的差事，冯玉祥托人弄到崇文门税监后才初步缓解了部队粮饷不足的问题。这一段驻兵南苑的时期是冯玉祥集团的黄金时期，冯部许多顽强的战斗作风即是此时培养出来的。
1924年，吴佩孚已经控制了黄河以北绝大部分区域，关外的张作霖也完成了东北的整顿。于是，二人开始了逐鹿。正在直奉战争最紧要的关头，不满长期受压制的冯玉祥毅然倒戈，发动了著名的“首都革.命”，推翻了靠贿选上位的总统曹锟、驱逐了紫禁城中的溥仪。北京证变后，冯玉祥得到了苏联的军火支持，其部队再度扩大，炮兵、钢甲车、空军、兵工厂的设立使冯部的编制更加完善。此外，冯玉祥部开始吸收新成分，如甘肃的马福祥、唐之道等部纷纷加入，这使得冯玉祥部的成分开始复杂起来，为日后分裂埋下伏笔。北京证变后，张作霖见为他人做了嫁衣，遂联络段祺瑞合兵攻击冯玉祥。冯玉祥以退为进，宣布下野。因为冯部实力犹在，新成立的北京证府不愿将这颗定时炸弹放在卧榻之侧，遂请冯玉祥出山，并命他为西北边防督办，让他率部进驻陕西。经过多年的拼搏，冯玉祥终于明白乱世中有一块稳定地盘的重要性。于是，他抛弃之前对陕西贫瘠的成见，开始努力经营，也就是从此时起，冯玉祥所部被人称为“西北军”。
