虽然皖南的形势得到了缓解，危机并没有解除。不久，太平军又先后兵分两路进军祁门，这一次，是太平天国主将陈玉成亲自率领人马。形势变得异常紧急：在北面，太平军攻到了仅离祁门二十里的地方；在南面，太平军李世贤部攻克景德镇，皖南镇总兵陈大富战死；在东面，李秀成部也从浙江境内掉转方向，再次向徽州发起攻击。曾国藩又一次陷入了包围之中。1861年4月，曾国藩由祁门赴休宁，调集徽州境内的各军进攻徽州府，以期打开通前往浙江之路，徽州府的太平军乘夜出城偷袭，湘军大败溃散，太平军乘胜追击，将曾国藩围困在休宁。高度危机之时，曾国藩只好坐在大帐之中，再次给儿子纪泽、纪鸿写信。从这封信中，我们看不到慌乱，却能感受到事态的危急；还可以管窥曾国藩的真实思想——很明显，这已算是一封遗书了：
接到你们二月二十三日来信，知道家中兄弟五房都很平安，心中很安慰。我在初三日到达安徽休宁县，就听到景德镇失守的消息。初四日所写的家书，托你们九叔曾国荃寄回湖南老家，已经讲到此地的局势十分危急，恐怕难以支持下去。但还想到可以强攻徽州，如果得手，还是一条生路。初五日强攻徽州，强中营和湘前营在西门受到一次挫败；十二日再攻，未能引诱敌人出城一战；当夜二更天，敌人偷偷出城打劫营寨村庄，强中营和湘前营大败。……目前的局势更加紧急，四面都被阻塞，外面的接济已断绝。经过这次大败，军心受到很大的震动。我所盼望的是左宗棠的军队可以打败景德镇和乐平的敌人，鲍超的军队能从江西湖口迅速来救援，事情或许可能有转机，不然的话，这里就不堪设想了。
我自从投入军事以来，即抱着一种临危受命的志向。丁巳和戊午那两年在家养病，常常怕自己突然在家中去世，违背我的初志，失信于天下人。后来起复再出山打仗，意志尤其坚定。这次即使遇到什么不测之祸，我也毫无牵恋的了。回想我自己，从小贫穷无知，现在能官至一品大员，年龄也已过五十，在外面也稍有点名声，又手握兵权，占据了高位，还有什么可遗憾的呢？只是我对古文和诗歌，都花了不少精力，苦苦地加以探索，但是没有好好地创作，在这方面施展才华，打开一条大路。我对古文的研究尤其有根源和依据，如果现在突然死了，那么我的一些心得，就永远无人领会了。我的书法用功较浅，但近年也深入了一些。这三方面一无所成，心中不免耿耿于怀。
至于行军打仗，本来不是我的专长。因为打仗要用奇兵，而我的性格太平易；打仗要欺骗对方，而我的性格太直，这怎么能对付兵势滔天的敌人？以前虽然有些胜利的捷报，那也是侥幸，并不是我应得的战果。你们兄弟长大之后，切切不可涉足于军队之间，这种事难以见功业，而且容易造下大孽，尤其会留给后代人非难的口实。我长久地在行军中生活，每天如同坐在针毡上一样。稍可安慰的是我没有辜负我最初的愿望，没有辜负我的学问，没有一刻忘掉仁政爱民的心愿。近来我的阅历更多，深深体会到带领军队的痛苦。你们都要一心一意地读书，将来不能从军，也不必出去做官。