这样安稳的日子一直延续到美国内战才被战争的烟火打乱。林肯当选总统后，南北的局势顿时骤然加剧，整个南方要求独立的呼声越来越高，在路易斯安那自然也不例外。大学生们群情激昂，成为宣传独立的先锋队，纷纷扯下合众国国旗换上邦联十字旗，上街游行发表演说等活动。作为一个土生土长的北方人来说，谢尔曼当然被视为了异类，他已意识自己待在这里不会再有任何前途，而且局势还有进一步恶化的可能。1861年2月，谢尔曼带着家眷返回了家乡俄亥俄州，在家乡逗留了一个月后又举家到了密苏里的圣路易斯。这期间他并没有闲着，而是凭着杰出的管理才能被聘为了第五铁路公司的业务总长。

军涯生活崭露头角

无情的战火如燎原之势在美国各地蔓延，民众的情绪也不断地高涨。作为民兵预备役，谢尔曼理所当然地受到了征召，按照规定至少得为联邦服役三个月。这时谢尔曼竟然出乎外人意料地写信给军部长，主动要求把他的服役期从三个月延长到三年。因为在他看来，要么不回到军队，要么就要战斗到底。因为这位与军事阔别已久的军校毕业生的心中并未忘记自己的军人身份。1861年6月20日，谢尔曼再次正式回到了军营，被授予上校军衔，成为了密苏里第13步兵团的指挥官，很快由于自己的才能又被提拔为麦克莱伦军第一师的代理旅长。

谢尔曼率领自己的部队参加了第一次公牛跑战役，他的旅遭到了南军加农火炮的猛烈炮击，损失异常惨重，成为了一段痛苦的回忆。当时，他的部队被安排在一个裸露的山脊上成为了南军最明显的炮击对象，而上司又不允许他移动，结果就这样活活被炮击了2个小时，三分之二的人员伤亡，第一次参加战斗的谢尔曼便受到了严峻的考验。

谢尔曼由于这次惨重的经历被调离了东线，被授予准将军衔派往了肯塔基州负责防务工作。当时谢尔曼毛遂自荐地写信给军部部长卡梅伦说，如果给他6万人，他就可以把南军赶出肯塔基；如果给他20万人，他就可以结束这场战争。但是阴差阳错的是这封信被捅给了新闻界，登在了报纸上。结果，这个并没有名气的小人物的“畅想”被舆论指责为狂妄自大和痴心妄想，甚至有人公开评论他为“疯子”。

到了11月，格兰特被任命为西部战场的总司令，同时组建了田纳西方面军，而谢尔曼幸运地成为了第一师师长。田纳西方面军在夏伊洛迎来了他们的首次战役。刚开始，北军显然无法适应南军的迅猛打击，没有充分的准备便迎战的结果自然是大败而归。之后，谢尔曼的部队赶到了战场，这使得他总算有了机会洗刷先前的耻辱和外界的嘲讽和挖苦，有了证明自己的机会。谢尔曼在南军迅速向先前溃退的北军追击的时候，出其不意地从斜里杀出猛击了对方的侧翼。南军遭到了这一出其不意的打击，顿时乱作一团，败退中的北军又趁势大杀回马枪，将南军彻底击溃，人们也开始慢慢地对谢尔曼这个名字开始熟悉。

1862年7月，谢尔曼被任命为孟菲斯军官区总司令，负责对南军的坚强据点威克斯堡发动进攻。但是由于兵力严重不足，部队并没有取得实质性的进展，战局陷入僵持。直到格兰特的大部队赶到并加入了攻略战役。格兰特以不计伤亡地攻击和连续数月的大规模炮击，于1863年7月攻下了这个战略位置极为关键的城市。结果由于不惜代价的狂轰滥炸，造成了大量平民死亡。