湘潭之战后，曾国藩一方面在长沙整军，补充人员和粮草，修缮战船；另一方面，也对自己的所作所为进行了深刻的反思。修整一番后，湘军恢复了元气。曾国藩也在这段时间确立了湘军下一步的军事重点，那就是，继续率军北上，将战场锁定在长江沿线。在曾国藩看来，长江是一条龙，湖北是龙头，安徽是龙身，江苏是龙尾，至于金陵，则是龙心；要擒缚太平天国这条苍龙，就必须先打龙头，后摘龙尾，然后直刺龙心。战略思想明确之后，曾国藩率领着部队出湘了，矛头直指江西和湖北。曾国藩兵分三路，以岳州为进攻重点：派江忠淑、林源恩率楚勇及湘勇的一部为东路，由平江向通城、崇阳进攻，切断岳州守军后路，并阻止湖北太平军支援；以胡林翼为西路，专攻太平天国西征军所克之常德、龙阳、沅陵等地；中路主力由塔齐布率领，进攻岳州，同时又由褚汝航、彭玉麟、杨载福、夏銮等率湘军水师两千余人，由水路配合塔齐布进攻岳州。在太平天国西征军由常德退入岳州后，曾国藩又令西路周凤山增援岳州，罗泽南率湘勇一千人，魁联率一千人随援岳州。至此，在岳州城下，共聚集了湘军水陆部队两万多人。
战争远比曾国藩想象得艰苦和惨烈，双方进入了你死我活的拉锯状况。岳州之战自1854年6月17日塔齐布攻新墙开始，至8月25日太平军放弃岳州败退武汉结束，历时两个多月。双方反复争夺，大战数次，小战无数。鏖战的详细过程是这样的——6月17日，塔齐布向新墙进攻，太平天国西征军虽进行了顽强抵抗，但因湘军攻势太猛，新墙失陷，岳州门户大开。到了7月中旬，湘军水师赶到，水陆并进，太平天国西征军招架不住，湘军进入岳州。8月，太平军反攻岳州，西征军将领韦俊、石镇仑、陈玉成等先后率水营大军增援，在岳州，击毙了湘军水师统领道员褚汝航以及岳州总兵陈辉龙。湘军同样还以颜色，在城陵矶战役中，击毙了太平军的猛将曾天养……双方像两块海绵一样，争相吸摄对方的水分。在这样的对垒之中，曾国藩和湘军执拗而挺拔的气质起到作用了，倔强的曾国藩就像一个坚强无比的拳击手一样，有着非凡的抗击打能力。尽管他一次次倒下，被击打得鼻青眼肿、遍体鳞伤，但他仍摇摇晃晃地站起来，向对手发起一轮又一轮还击。一种精神力量支撑着湘军奄奄一息的躯体，直到对手轰然倒下。
战局很快像喷溅出的血迹一样，向四周扩散开来。湘军开始赢得一个又一个胜利了。在朝廷正规军绿营和八旗一败涂地的情况下，这支民兵性质的武装力量迅速成为长江一带抗击太平军最重要的力量，成为主要战场的主力军。湖南人坚韧的性格，太平军得以充分领略。很快，曾国藩的湘军随着战势的推进，走出了湖南，北上到了长江流域。在取得岳阳战役的胜利后，曾国藩又接连攻下鄱阳湖和洞庭湖附近的重镇；然后，主力继续北上，聚集在武汉附近，部署进攻武汉三镇。曾国藩根据武汉的特点，制订相应的策略：让水师清理江面，割断武汉三镇之间太平军的联系，并且，由水师协助陆营，用炮火攻击沿岸太平军营垒；在陆地，数万湘军集中起来，全力进攻武昌；汉阳则由魁玉等湖北兵勇围攻。在经历一系列的战役之后，曾国藩指挥战争已经变得越来越得心应手了。在他看来，军事调度就如同对弈一样，只要心中有韬略，同样可以指点江山、激扬文字。