长城抗战失败以后，蒋介石起用臭名昭著的亲日分子黄郛到北平，协助何应钦对日谈判。5月3日，黄郛任委员长的“北平政务整理委员会”出笼，作为对日交涉的窗口，并对日表示：将包括河北、山东、山西、察哈尔、绥远五省及北平、青岛两市在内的地区作为“特殊化”的第一步，“冀能利用其他手段，以试探弭兵息争之可能性。”

5月22日午夜，黄郛的秘书李择一接到日本大使馆海军武官藤原喜代间的电话，要黄郛立即不带任何人前往面谈。黄郛从电话上告知何应钦已有“停战”希望之后，只身前往藤原住所，彻夜谈判，次日即接受了日方提出的四项条件。

黄郛离开藤原住所后，立即赶到居仁堂，向早已等候在那里的何应钦说明交涉经过和内容。何应钦听后，明白日方条件的要害是使中国军队撤离山海关以南约200公里的地区。

此事关系重大，他便立即邀黄绍竑、张群、熊斌等会商。有人主张“坚守北平”，有人提议“退守保定”，争论不休。熊斌认为“北平为文化古都，必须保全，倘轻易放弃，责任太大。似宜忍辱负重，姑且派员试行接触”。此话正中何应钦下怀，众意也认可。于是，何应钦仍叫黄郛去转告藤原，表示“同意”，又亲笔写一信交黄郛出示日公使馆武官永津佐比重。随后，何应钦密电南京请示。南京国防会议认为战无把握，和又屈辱太甚，只好决定在“可战可和两面肆应”。24日，汪精卫电示何应钦：“与日方洽商停战，以不用文字规定为原则。如万不得已，只可作为军事协定，不涉政治。”何应钦又致电在庐山的蒋介石，诉其苦衷：“熟权利害轻重，与其放弃平、津，使傀儡得资以组织伪政府，陷华北于万劫不复，何若协商停战，保守华北，徐图休养生息，以固党国之根基，较为利多害少。……遵照汪院长迭电指示之意旨，由应钦答复日代办，对其所提四项条件，完全接受。……职等为党国，为地方人民着想，唯有牺牲个人，以求顾全大局，是非毁誉，所不计也。”

蒋介石接电后，不无犹豫，但也立即回电，虽担心“停战而形诸文字，总以为不妥”，“甚或东北三省及热河字样亦必杂见其中，无异割让之承认。”但表示：“事已至此，委曲求全，原非得已，中正自当负责。”蒋介石理解何应钦的矛盾遑遽心情，当天在日记中写道：“今闻竟接受其要求矣！前途交涉，艰难必多。唯敢毅然承当此任，其心苦矣，亦甚可佳！故余复电：仍由余负责，勿使其为难。”蒋、汪均已表示负责，虽对妥协范围有所限制，但不过文字游戏而已，何应钦遂可放胆进行妥协。

日军为了加重谈判的筹码，于5月24日迫近顺义、通州、香河，北平已处于三面被困之中。日本军用飞机在北平上空飞来飞去示威。日方代表要求25日凌晨2时以前必须给予明确答复。何应钦认为北平的失陷已经不可避免，准备将北平军分会撤到长辛店以南办公，然后再派军使进行谈判。何还作好了当夜11时在西便门跑马厂小火车站上车南撤的准备。后因黄绍竑坚决反对，提醒何应钦注意：蒋介石只同意妥协，未明说可放弃北平，要是怪罪下来，谁个担当得起？何才坚定下来，要黄郛先与日本驻北平武官处取得联系，商量选派军使及谈判事宜。

充当乞求停战的谈判军使，必将落下千古骂名，谁也不愿去。最后何应钦只好指定军分会作战处上校徐祖诒为军使。25日凌晨5时许，徐祖诒在日军武官的监护下，到密云会见关东军第八师团长西义一。所谓“谈判”，不过是徐祖诒硬着头皮在“关东军司令官意志”的备忘录上签字而已。然后，西义一告知徐祖诒，给予何应钦与国民党政府五天时间进行磋商，然后正式签订停战协定。