得到曾国藩的允准，李鸿章大喜，立即催常胜军尽快开出，他说最好上午接信，下午就上船出发，“惟盼风利不泊，直下石头城，以为快慰”。他又致函吴煦：“常胜军调援金陵之说，中外皆知，即使英美领事意存阻挠，无论轮船多少，人数增减，必须成行，愈速则愈密，愈密则愈妙。” 迫不及待之情，表露无遗。

但这时金陵外围的战况，已发生变化。曾国荃在水师的支援下，坚守了四十六天，没有崩溃。十月初五清晨，湘军反攻，迫使太平军撤围。曾国藩奏报：“自辰至巳，扫平贼垒数十座，擒贼近四百人，毙殿后悍贼七千人……时阅四十六日，以寡御众，出死入生，卒能挽回危机，保全大局。” 曾国藩又马上写信给李鸿章说：“金陵极危险之时已早过……白齐文之军既未启行，即可竟作罢论。”他怕李鸿章还不死心，几天后又写信说：

常胜军不来金陵亦自无害，来亦未必果有裨益。九洑洲、下关各贼垒似非轮舟炸炮所能遽破，鄙尝疑用兵之道在人而不在器，忠逆之攻金陵官营，亦有炸炮，亦雇洋人在内，官军不因此而震骇，舍弟亦还以炸炮御之，彼亦不因此而动……鄙意求胜于洋，在中国官不要钱，兵不儿戏，不仅在税饷之盈绌，尤不在体制之崇卑。

曾国藩又在老调重弹，从常胜军去不去金陵，扯到洋人武器没什么了不起、中国体制并不输于洋人之类的宏大议题，李鸿章接信亦只能唯唯而已。但这时白齐文已整装待发。作为雇佣军，必须打仗才有钱收，所以白齐文借出兵为由，缠着吴煦、杨坊要钱，逼杨坊立即发还拖欠的军饷。

十一月十四日，白齐文率领一伙常胜军，擅自关闭了松江城门，准备强行劫取饷银，闹得城里鸡飞狗跳。知府方传书、参将李恒嵩赶来，好言相劝，承诺发还欠饷，白齐文还是不依不饶，揎拳捋袖，恨声不绝。翌日，他竟带着数十名官兵，到上海兴师问罪，气势汹汹直闯杨坊家中，把杨坊痛殴一顿，打得杨坊鼻梁折断、吐血不止，随后抢走了洋银四万余元。

李鸿章正愁常胜军赴金陵一事泡汤，不知如何把白齐文送出门，没想到白齐文自己倒持泰阿，把理由送上来了，李鸿章正好把他解决，并顺带把吴煦也端掉。他一边奏请朝廷撤了白齐文的职，并悬赏五万两通缉；一边向曾国藩报告：“吴道适自镇江回，求鸿章斥革白齐文，商请英国士提督（士迪佛立）出头弹压。常胜军弁目百数十人均系外国流氓，畏英国之威，英兵官四人在该营帮同教练，已与士提督商议定，中外各派一员接管（已派李恒嵩会同英员），粮饷调发由中国官员主持。该勇如再犷悍，应酌量裁遣。”

李鸿章又写信给吴煦：“英法与我会防，乃任流氓美人猖獗至此，阁下与憩堂（杨坊）必须设法挽回，若酿成重案，不独吾兄等无词自解，即外国带兵各官面上皆不好看也。” 这封信，为追究吴煦、杨坊责任，埋下伏笔。

十一月十八日，李鸿章向朝廷参奏吴煦、杨坊二人：“至二品顶戴、苏松太道吴煦，二品顶戴、前苏松粮道杨坊，本愿带常胜军赴援金陵，屡次延误，实由白齐文不遵调遣，杨坊并被白齐文殴伤，尚非纵容逗留。然该道等创募此军，及换人接带，始终主谋，又有督带之责，不能实力制，办理不善，咎亦难辞。应请旨将吴煦、杨坊暂行革职，仍令妥筹接办事宜，以观后效。” 朝廷准奏。吴煦、杨坊的仕途，至此“行人止步”。

李鸿章旋向士迪佛立提出交涉，常胜军应由中国人会同管带。士迪佛立初不愿意，双方反复争辩，乃至舌敝唇焦，最后签订了“统带常胜军协议十六条”。规定常胜军暂以奥伦为管带，李恒嵩会同管带；裁至三千人，削减杂项开支及长夫额数；不得私购军火；惩办士兵由中方做主；松江地方事务外国人不得干涉；将来征得英国政府同意后，改由戈登统带。