1928年6月2日，奉系军阀头目张作霖经不住蒋介石、冯玉祥、阎锡山和李宗仁四支“北伐”军的攻击，发表出关通电，拱手交出北京政权。从6日开始，蒋、冯、阎、李四路大军分别进驻京津，15日，南京国民政府发布“北伐”成功，“统一告成”宣言。但各派新军阀利尽交恶，很快又互成仇敌，蒋介石的“统一”不过昙花一现。在这种形势下，多疑的蒋介石还不放心把第一路军的全部资本交给何应钦经营，并未履行诺言，依然将何应钦束之高阁。对何应钦来说，对上帝他只需用虔诚的忏悔便可求得宽恕，而对主宰他命运的蒋介石，必须用切实的行动才能赎罪。他接受了蒋介石给他的“整编”军队的重任，拟具了《军事善后案》和《军事整理案》，以增强蒋的实力，削弱冯、阎、李的兵权，希望求得蒋的重新信用。

1928年6月28日，在上海召开的全国经济会议上，宋子文、吴稚晖等公开提出《请政府克期裁兵从事建设案》，通电裁兵，并立即停止招收新兵。蒋介石也随之开动宣传机器，刮起了一阵“裁兵”的旋风。“裁兵”的风源来自蒋介石，而兴风狂啸者，何应钦是最理想的人选。首先，他有战功，有声望，曾经统率过黄埔嫡系及当时的第一集团军的前身；而今，他孑然一身，除警卫之外，无一兵一卒，正好以超然的姿态来裁抑别人。其次，何应钦虽是蒋介石的嫡系，但与云、贵、川、桂等地方实力派有渊源关系；他不是南京国民政府的核心——江浙集团中人，由他出面，可避江浙集团兼并异己之嫌。当然，以何应钦主持“裁军”，既可考验他对蒋介石的忠诚，又可离间他与冯、阎、李等的关系。因此，何应钦主持“国军编遣”工作，人虽仍在冷落之中，但又蕴涵着蒋的期许与信任。

何应钦对待裁军强兵、撙节经费之事，倒是极其认真。当时的客观情势，兵多且滥，民不堪负担，国家财力也难承受，裁军如能真正实现，确也是利国福民之事。但是，不独蒋介石，当时任何一个统兵大员都不愿因裁军而有损自己的实力地位。因此，无论何应钦真心实意还是三心二意，都只能按蒋介石的意志，把裁军变成剪除异己的手段。这也决定了裁军计划的失败及假公济私的性质。

在裁军问题上，由于何应钦一边倒，坚决贯彻了蒋的裁别人、留自己，多裁别人、少裁自己的意图，以减弱各地方实力派与蒋抗衡的资本，何、蒋关系的温度开始回升。10月1日，何应钦被任命为兼浙江省政府主席。10日，又被任命为16个国民政府委员之一，仍负责“国军编遣”。当时，全国既已“统一”，各军名称均为国民革命军，亟需统一训练，使之成为蒋军。10月18日，蒋介石宣布军事委员会结束，成立军政部、参谋部和训练总监部，以何应钦为训练总监部总监，不再兼浙江省政府主席。

1929年1月1日，经过何应钦苦心筹备，“国军编遣会议”在南京召开。由于与会者各逞私心，开了26天的马拉松式的编遣会议只有相互指摘和吵嚷，不了了之。

由于编遣方案明显不公，引发了蒋桂战争。2月，桂系的叶琪、夏威率兵袭击长沙，逐走湖南省政府主席鲁涤平，制造了“湘案”。蒋以此作向桂系开刀的理由，事前策反李明瑞阵前倒戈，瓦解驻武汉的李宗仁部；囚禁李济深，撤散粤桂联盟；扶持唐生智，打击白崇禧。何应钦替蒋出面，拉拢冯玉祥出兵六个师，许诺打败桂系后，给冯玉祥行政院长和两湖地盘。何又利用云、贵、川的地方实力派亟思扩张的心理，要川军出兵攻鄂，滇、黔军出兵攻桂，陷桂系于四面楚歌之中。3月26日，国民政府下令攻桂，蒋介石任总司令，何应钦为总参谋长，给了何一个洗刷前衍的机会。在28日召开的国民党三全大会上，何被选为中央执行委员，并直接指挥蒋军向武汉的桂系主力进攻。经过一番战斗，到4月5日，胡宗铎、陶钧、夏威三员桂系战将联名通电下野，所部由何应钦委人改编。