曾国藩以礼治国、治军，另一个重要做法是用儒家思想来团结士民、号召朴实农民，组织湘军，教育士兵。湖南自宋代以来即号称理学之乡，嘉庆、道光以来理学思想得到充分的发扬，当时的岳麓书院、城南书院是理学的根据地，三个学术流派——今人学派、桐城学派、义理学派，其中今人学派、义理学派的代表人物魏源、唐鉴、罗泽兰都是湖南人。魏源辑录的《皇朝经世文编》一书,对湖南的学风影响很大。黄睿著《花随人圣摭忆》中曰:“三湘学人,诵习成风,士皆有用世之志。”出现了一批经世致用的理学家，包括王义清、罗典、欧阳厚钧、丁善庆、邓显鹤、贺长龄、贺熙龄等。所以曾国藩创军之初，就有一大批的具有理学思想的士绅加入进来，成为军队的领导者与中坚力量。罗泽兰、王鑫、李续宜、李续宾、彭雪琴、郭嵩焘、郭意诚这些都是一些“忠义血性”之士。长期以来，湖南山区的农民深受传统儒家思想的影响，思想单纯，性格古朴，待人厚道，吃苦耐劳，很容易被曾国藩招募到军中效劳。王鑫在湘乡创办团练的时候，为了凝聚士气，白天练兵，晚上讲课。讲课的内容是儒家的四书五经。这种过去只在课堂上有的教育，现在进入了军队，可以说是一个创举，开创了军队教育的先河。曾国藩吸纳了王鑫这一好的做法，使用在他的军队教育上，在军队中推行礼的教育，把军队办成一所学校。他认为“用恩莫如仁，施威莫如礼”，在军队开展儒家思想、宋明理学的教育，以对抗太平天国的天主教义，让士兵懂得为什么而战；积极推行营规、家规的教育，教育士兵遵守营规，做到不赌博、戒游惰、慎言语、敬尊长。教育方法上，曾国藩不仅亲自起草《爱民歌》、水师陆军《得胜歌》，教会士兵背诵，而且亲自讲课，“每次与诸弁勇讲说，至一时数刻之久，虽不敢云说法点顽石之头，亦诚欲以苦口滴杜鹃之血。”因此湘军常常是一边战鼓声声，一边书声朗朗；或者“朝出鏖兵，暮归讲道”。曾国藩与一般的下级将领来往书信，也以教育他们如何做人为主。他认为对将士的爱护，重要的是保护他们的美好名声，让他们成为有道德、明理的君子，比推荐他们做大官更重要。那些过去不爱读书、不懂得礼的重要性的领导者，在他的教育下，也会不断改变自己，像杨载福、鲍超等，都在他的教育下成为一代名将。思想教育的结果，在很短的时间内提高了战斗力，使湘军成为一支精锐部队。