楚军成军后，拉到城郊金盆岭训练。练兵为了打仗，当时前线正在处处血战，因此左宗棠对新兵的训练很严格，偷懒者重打四十军棍，开小差者斩。紧张训练一个多月后，于咸丰十年八月八日（1860年9月22日），左宗棠奉命率楚军开赴江西。从此他就由幕后指挥策划而杀上了镇压农民起义的第一线。

还在左宗棠招募楚军的时候，太平天国翼王石达开部由贵州进入四川，清廷因左宗棠善于用兵，拟派左宗棠率部入川，阻击石达开。但是左宗棠考虑到楚军刚刚组建，人数不多，而四川军政大权又掌握在总督满洲贵族崇实手中，人地两生，自己“资望既浅，事权不属，欲提数千之众专讨贼之事，是何异以寸胶而救黄河之昏乎”，他决不愿将自己的这点血本白白送掉，特向胡林翼明确表示：“我志在平吴，不在入蜀。”其时曾国藩已实授两江总督，欲留左宗棠相助，自然也不同意派左军入川。胡林翼也认为他们的事业在长江下游，所以写信给左宗棠说：“公入蜀则恐气类孤而功不成”，又写信给郭嵩焘说：“季公得林翼与涤丈左右辅翼，必成大功，独入蜀中非所宜也。”于是，曾、胡等人纷纷陈奏。在这些实力派的反对下，清廷准其按原定方案留在湖南镇压太平天国，改派湖南巡抚骆秉章督办四川军务。

当时的形势急迫，湘军与太平军的战斗达到了白热化，哪一方稍微松懈，都将导致全线瓦解。

自太平军陈玉成、李秀成两员年轻将领统军，咸丰八年八月大败江北大营德兴阿、胜保军，歼敌5 000人；随后进军浦口，歼敌万余，破了清军的江北大营。十月，陈、李两军进攻安徽当时省会庐州，在三河镇全歼湘军大将李续宾湘军精锐7 000人，光被皇帝加封的官员就被打死400多人。咸丰九年，陈、李两部向皖南纵深发展，占领了皖南所有乡镇。而杨秀清之弟杨辅清部也由福建挺入江西，围攻景德镇，支援皖南，图谋江西。

咸丰十年初，干王洪仁玕、忠王李秀成、英王陈玉成、侍王李世贤等，定下围魏救赵之策，派李秀成兵进杭州，牵动江南大营，然后回师进攻江南大营。

果不其然，这么一打，清军迅速回师江南大营，咸丰十年二月，李秀成兵进杭州，打死巡抚罗遵殿，江南大营分兵救杭州。李秀成回师，与陈玉成、李世贤、杨辅清合攻江南大营，一举攻破，钦差大臣和春、提督张国梁、巡抚王有壬败死。江南、江北大营瓦解，李秀成经营苏南和浙北、陈玉成兵进安徽、杨辅清等回师江西。太平军的战斗，又出现了如咸丰六年前的一个大好局面。

江南大营被攻破之时，左宗棠尚在宿松大营。左、曾对此事有过议论，曾国藩向来喜怒不形言表，只说四五万人马，经营七八年，十多天被毁了，不堪设想呀！

左宗棠却直言：“有何遗憾的！这个脓包早晚要被点穿，早点戳破太好了！”

曾国藩的三角眼直望着左宗棠。左宗棠话既出口便收不住：“江南大营早已腐败不堪，将官贪侵，士兵嫖赌。两江总督何桂清想借之成为中兴名臣，朝廷倚之为干城，却把湘军不当回事。真是蝉翼为重，千钧为轻。如今江南大营覆灭，我看他皇帝老子还依靠谁去！”