徽州的战斗差一点让曾国藩身败名裂。这个时候，曾国藩的主力部队一部分在安庆城下，一部分在江西境内，战线拉得过长。一万多人进入徽州后，一下子掉入太平军的包围圈中——当时，在皖南的东北面，由太平军李秀成据守；在南面，则是太平军李世贤部；在西北，太平军英王陈玉成的大军一直在长江沿岸，总兵力在五万左右。置身这样的局面，无疑岌岌可危。湘军在徽州的崇山峻岭中一再受阻，通向浙江的道路无法打开。这当中，最严酷的战争是徽州府的失陷。1860年10月，太平军两路夹击，一路从北到南，从宁国方向杀向祁门；另一路则由南至北，从景德镇方向杀来。从宁国方向杀来的太平军连续攻克旌德、绩溪，兵临徽州府城下。曾国藩下令徽州府的将领李元度坚守不出，李元度违背命令，轻易出城，结果被打得大败。徽州府失守，李元度无脸见曾国藩，南下逃走。曾国藩勃然大怒，要将李元度军法治罪，李鸿章等一帮幕僚苦苦相劝。为此，曾国藩还跟李鸿章翻了脸，致使李鸿章后来出走南昌。
危机之时，一件意想不到的事情发生了——第二次鸦片战争爆发，英法联军侵犯天津、北京，击败僧格林沁的军队。咸丰只好带着皇妃、皇太子及亲信大臣肃顺、载垣、端华等逃往热河承德避暑山庄。十万火急中，咸丰降旨，要曾国藩速派鲍超率精兵数千拱卫京师。接到诏书，曾国藩和胡林翼一下子慌了神，此时此刻的曾国藩正是泥菩萨过江自身难保，正指望鲍超军从江西赶往皖南救援，如果鲍超军此时转赴京城，皖南的战局将彻底崩溃。如果不派部队进京，曾国藩又会背上一个“抗旨”罪名，同样也承担不起。情急之下，曾国藩赶忙召集幕僚商议，李鸿章的一个建议解了燃眉之急，那就是采取“拖”的方式——派人送信给朝廷，堂皇地建议：鲍超人地生疏，断不能去，是否由曾国藩和胡林翼二人中酌派一人进京，这一招，明显的是给朝廷出难题，因为朝廷最忌讳手握重兵的“节度使”进京。这样，朝廷当然不同意，还会下诏来调人。这样，信在路上一来一往，就会占用很长时间——也就达到了争取时间、调集人马的作用。这一招果然有效——不久，京城的事态得到了有效缓解，曾国藩接到朝廷新旨：清廷与八国联军已议和，鲍超军不用北上。
一个危机躲过去了，另一个危险接踵而至。1860年12月，太平天国忠王李秀成部由羊栈岭进山，攻克黟县，距祁门湘军大营仅有六十里。此时此刻，祁门已是一座空城，除了大营内的一些亲兵之外，其他湘军全距祁门很远，曾国藩想调集部队回援已不可能。曾国藩长叹一声，准备原地等死。那天晚上，曾国藩努力克制自己的情绪，将亲兵全打发到内室之外，一个人在灯下安静地写自己的遗嘱，让人连夜送往湖南老家。天亮之时，一个好消息传来，湘军鲍超部和张运兰部昼夜行军，赶到祁门附近，全力抵挡李秀成部的进攻。由于李秀成不知道曾国藩的大本营在祁门，没有全力进军祁门，部队退出了羊栈岭，绕道进了浙江。