黎元洪被迫辞了职，冯国璋虽然受命代理中华民国的大总统，却迟迟不肯到北京去上任。原因是北京属皖系军阀的地盘，皖系军阀首领段祺瑞因讨伐张勋复辟有功劳，被称为三造共和的元勋，再次成为了中华民国的国务总理，执掌国务院。段祺瑞虽接二连三地拍电报邀请冯国璋速来北京就任中华民国大总统，冯国璋却是推三阻四地借故不肯进北京。北京政府是中华民国政府，大总统不肯到北京去上任，政府还叫啥政府？1917年7月23日，段祺瑞派靳云鹏为特使，率各界代表六十多人前往南京促驾，靳云鹏见到冯国璋诚恳地说：“京师状况业已如常，庶务纷纭，亟待整理。段总理与各部总长企望企节，几若大旱之望云霓，一切内政外交诸要政每苦于无所禀承，虽能一一电承，然转折往返诸多不便，总理致意恳请您从速启行。”

又经多方呼吁，多番协调，冯国璋调江西督军李纯到南京接替他留下的江苏督军，又调陈光远接替李纯为江西督军，南京是冯国璋的大本营，安排好了南京的事，冯国璋才极不情愿地辞去江苏总督，由南京到北京去上任。

8月1日，冯国璋的专列到达北京，段祺瑞亲自率领军政要员早早就到火车站恭迎，两人见面亲热的很，久久握住对方的手，互致问候，段祺瑞握着冯国璋的手高兴地说：“四哥来了，愚弟非常高兴，今后许多事情也好就近请教四哥您了。”

冯国璋忙谦虚地摆手说：“哪里话，哪里话，今后的事还要靠你以总其成，没有你的帮衬，我这个总统是一天也做不了的。”

两人一直手拉着手无比亲热地走出火车站。府院之间一直悬着的对德国宣战一事，很快就顺利地通过了，如今的府院之间气氛融洽，气象一新。

早年，袁世凯在天津小站操练新军的时候，手下出了三员大将，冯国璋、段祺瑞、王士珍并称为北洋三杰，他们在袁世凯手下一起共事多年，称兄道弟，熟得很，谁都了解谁，谁都知道谁。袁世凯去世后，手下这些手掌重兵的将领便互不服气，为了各自的利益闹起了矛盾，主要分成了直系和皖系两大派。直系以冯国璋为首，代表人物有曹锟、吴佩孚、齐䕫元、孙传芳，主要将领李纯、王占元、萧辉南、陈光远，占据着江苏省、江西省、湖北省、河南省、直隶省，受英国政府和美国政府支持。皖系军阀以段祺瑞为首，主要将领徐树铮、靳云鹏、段芝贵、傅良佐、倪嗣冲，占据安徽省、山东省、上海市、浙江省、福建省、陕西省，北京市、受日本政府支持。

这时候，协约国英国、法国经过了三年的欧州战争，本来就不大的国家在战场上损失惨重，特别是人力短缺到了无法支持战争的地步，英国政府和法国政府瞄准了世界东方的中国和日本，英国政府和法国政府秘密许诺日本对德国宣战，承认德国在中国的一切权利归于日本，日本因此宣布对德国宣战。英国政府和法国政府许诺中国对德国宣战，战胜后将以大国相待，中国政府当然是求之不得的愿意，可是派谁的部队去参战呢？成了一个很大的问题，中国的各大派系一下就陷入了僵局。中国人就是聪明，脑子转的特别的快，既然各个派系的军队都不愿意去欧洲参加战争，有人便想出了一个以工代兵的妙计，英国和法国不就是缺人吗？中国的壮小伙子有的是，只要英国法国肯出钱，从中国招募工人，出口劳动力就是了，这样既为英国和法国解了缺少人力的燃眉之急，也算是中国政府堂而皇之地出人参加了协约国在欧洲的战争，于是，有十四万中国劳工以挖煤、修路的名义被中国政府送上了欧洲战场。

冯国璋和段祺瑞组织的北京政府是北洋军阀政府，由于国会早已解散，云南军阀唐继尧，广西军阀陆荣廷反对北京政府，孙中山也在广州成立了护法军政府与北京政府作对。在对待这个问题上，中华民国大总统冯国璋的立场与黎元洪相似，因为与西南各军阀暗中有些联系，主张与南方各派通过谈判和解，避免战争，以和平的方式实现南北方统一；国务总理段祺瑞则坚持袁世凯的政治立场，以西南各派为叛逆势力，主张用武力消灭南方各派，尽快统一全国。两个人的主张代表了直系军阀和皖系军阀的两种思想，经过多次交涉，两种主张互不相让，两种思想猛烈的碰撞，矛盾愈加激烈起来，两派军阀之间对立的矛盾越来越深。由于西南方面一直以来对黎元洪的支持和同情，对段祺瑞解散国会，废除约法的行为从失望而至反对，段祺瑞对西南方面实行武力统一的态度也就更加坚决了。西南方面对冯国璋还抱有一线希望，于是频频向冯国璋示好，增强了冯国璋对西南各派军阀可以和平争取的信心。冯国璋认为若能以谈判的方式和平解决南北方的分歧，就没有必要发动战争。于是，冯国璋以中华民国大总统的权力，力争要以和平谈判的方式实现国家的统一，避免战争给国家带来破坏，给百姓带来灾难。

虽说冯国璋是中华民国大总统，权利至高无上，但是国务总理段祺瑞掌控着民国政府的实权。1917年8月，段祺瑞坚持武力统一中国，派遣傅良佐为湖南督军，调北洋直系第八师、第二十师进入湖南，拉开了南北战争的序幕。11月，正当湖南战事继续向好的时候，北洋军直系第八师、第二十师突然发出通电，主张停战议和，紧接着直系长江三大督军和直隶督军联名发表通电，响应停战议和，冯国璋发总统令，罢兵停战，准备议和。因为在前线作战的部队都是直系军队，根本不听段祺瑞指挥，段祺瑞对冯国璋的停战令非常气愤，一怒之下，提出辞去国务总理之职。段祺瑞请辞国务总理，正如了冯国璋之意，11月26日，冯国璋大总统批准段祺瑞的请辞，请出陆军总长王士珍署理国务总理。

下野后的段祺瑞回到天津，离开了民国政府，却咽不下这口恶气，12月2日，他策动北方十大督军：曹锟、张怀芝、张作霖、倪嗣冲、阎锡山、陈树藩、赵倜、杨善德、卢永祥、张敬尧在天津举行督军团会议。12月6日，北方十大督军联名电请冯国璋明令讨伐西南军阀，早日结束南北方的对峙，实现国家统一。冯国璋惹不起北方十大督军，只得顺应民意，做出让步，为了消除皖系军队的不满情绪，任命段祺瑞为参军督办，任命皖军将领段芝贵为陆军总长，决定以武力消灭西南军阀势力，实现国家的统一。此时，西南军阀陆荣廷向北京政府表示拥护冯国璋继任大总统，提出民国政府应恢复国会，停止向广东、湖南进兵，作为取消两广独立的条件。冯国璋接受了陆荣廷的提议，认为南北双方若能通过和平谈判解决争端，实现国家的统一，就没有必要发动战争取得国家统一，于是发布了停战布告，责成南北两军停止敌对行动，准备以和平谈判的方式解决南北统一问题。12月31日，北方十大督军再次发表通电，坚决反对恢复旧国会，主张以皖系控制的临时参议会代行国会的权职，选举正式大总统，企图以合法的形式推翻继任的代理大总统冯国璋。冯国璋万万没有想到段祺瑞还有这么毒辣的一手儿，这下可让他慌了神儿，他感到了自己的总统地位不保，立即发表声明顺应形势，要亲自率部出征，讨伐西南军阀，尽快实现国家一统。大总统即刻率拱卫军第一旅登上专列沿津浦铁路急速南下，目的是返回到直系大本营南京。不料专列开到蚌埠，被安徽督军倪嗣冲拦截下来，不准南行，迫使大总统冯国璋不得不掉头再返回北京。这时候，段祺瑞与张作霖联合了起来，张作霖率奉系军队进入关内要实行兵谏，冯国璋没有办法，只得请出段祺瑞再次出任国务总理。

段祺瑞再次担任国务总理，冯国璋大总统的地位和声望可是一落千丈，皖系将领更加看不上冯国璋大总统，士兵也不断制造事端，冯国璋和他的卫队被皖系军队团团包围着，皖系军队已经控制了大总统府。冯国璋大总统虽然受着皖系军阀的控制，受着段祺瑞及皖系军队的窝囊气，冯国璋大总统毕竟不是黎元洪大总统，手下无兵，冯大总统有英美帝国的支持，手握直系大军，占据着半个中国，占据着中原战略要地。软禁了中华民国大总统，皖系军阀的这一举动激起了直系将领的强烈反应，直系将领调兵遣将，与皖系军队拔弩张弓，一场大战一触即发。

为了避免一场血战给直系和皖系带来的巨大伤害，在全国人民强烈反对内战的一片声讨中，又经过国内国外多方势力的调解，1918年8月13日，段祺瑞和冯国璋同时发出通电，宣布双双下野。冯国璋下野，回到河间老家去养老。段祺瑞下野后一直掌握着皖系的军权，依然活跃在社会上。