与北洋系的其他巨头相比，段祺瑞一生为官清廉如水，不事敛财，更不用人唯亲，有“六不总理”的美名（不贪污肥己、不卖官鬻爵、不抽大烟、不酗酒、不嫖娼、不赌钱），但在娶妻纳妾一项上，段祺瑞也未能免俗，一生先后娶妻二人，纳妾五人。
段祺瑞原配夫人吴氏，江苏宿迁人，1886年进段家门，时年十九岁，与段祺瑞算是患难夫妻。那时候，段祺瑞父母双亡，段祺瑞在天津武备学堂学习炮科，在后来的十多年时间里，段祺瑞先是在旅顺监修炮台，接着留学德国学习军事，回国后又先后在威海武备学堂任教习，在小站袁世凯麾下练兵，随袁世凯驻防山东。
那十多年，段祺瑞在外奔前程，段家里里外外全靠吴氏独立支撑，她为段祺瑞生有一儿一女，即段家长子段宏业，长女段宏淑，只可惜这么一个贤惠的女人，没能看到丈夫大发迹的时候，1900年她死在了济南，只有三十三岁。
吴氏死后，1901年，经袁世凯做媒，段祺瑞娶了袁世凯义女、陕西泾阳人张佩蘅为续弦夫人，虽然张佩蘅为段祺瑞生了五个女儿，但两人的夫妻感情始终有微妙的地方，张佩蘅心向袁世凯，很多时候都在充当袁世凯眼线，为此，段祺瑞曾扇过张佩蘅耳光，严格地说，两人应该不算真心恩爱。
也许是因为这一层缘故，加之张佩蘅没生过儿子，段祺瑞后来又陆续纳了五房姨太太，依次分别是陈氏、边氏、刘氏（刘三）、刘氏（刘四）、李氏（李五）。
大姨太陈氏为段祺瑞生过一儿一女，但均未长成，早夭了，陈氏本人也在1914年去世了。
刘三、刘四、李五，这三位姨太太都出身北京小户人家，是段祺瑞花几百块大洋买来的。在天津租界居住时期，这三个姨太太常常背着段祺瑞，外出看电影、听戏。段祺瑞去大连后，这三位姨太太没有跟着去，在天津整天瞎逛，惹出了不少风流韵事，给段祺瑞戴了好几顶绿帽子。
一怒之下，段祺瑞休了这三位水性杨火的姨太太，但段祺瑞很有人情味，据说在休了这三位姨太太后，每月还分别给她们三十块大洋的生活费。
三姨太给段祺瑞生过一对双胞胎儿子，也就是次子段宏谟、三子段宏范，但段宏谟也是早夭，再加上早夭的五女段宏英，算下来，段祺瑞长大成年人的儿女有七个，两儿，五女，在大家族中应该算不上人丁兴旺。
在段祺瑞的这七个儿女中，知名度最高是长子段宏业，民国四公子各种排名中，经常有他，但段宏业是个纨绔子弟，虽然没少掺和北洋证治，也鼓弄过皖系太子當，但从未搞出过什么名堂，甚至比张学良都要差一大截。
段宏业心脏不好，到冬天还有气喘，1949年年底，解放军找他谈了一次话，也可能是感到了压力，也可能是受到了惊吓，回来没几天就死了。
段家另一个儿子、三子段宏范，一直遵循父训“不从商、不从证、不从军”，解放前每月靠老蒋给的两千块大洋生活。1949年后生活无着落，找到章士钊，章士钊向证府说起此事，找相关部门批了个条子，让段宏范夫妻二人到小学教书。
后来，段宏范因不擅与孩子打交道，自己在北京市东城区房管局找了份工作，直到退休。大概是动荡见多了，段宏范胆子特别小，在生活中几乎将自己的姓氏抹掉了，海外来人，他不敢让子女相见，子女问起家族历史，从来都不详说，总之，只求平淡、平安地活着。
再来说说段祺瑞的五个女儿。
