1860年5月5日，李秀成、陈玉成的十万兵马突然出现在清军江南大营前，只有数万人的江南大营溃不成军，太平军一上午就歼灭清军一万余人。江南大营统帅和春、张国梁等败逃江苏丹阳。李秀成紧追不舍，指挥太平军全力攻克丹阳，击毙江南大营帮办张国梁。两江总督何桂清逃往上海；和春继续败逃到苏州城郊之后，又惊又怕，自缢身亡。李秀成一直追到上海城下。6月2日，李秀成又会合李世贤军攻占苏州，清江苏巡抚徐有壬战死。这一次太平军大获全胜，不仅顺利地解除了金陵之围，而且使东南局势发生了根本变化，清军经营了很多年的局面一下子逆转。
太平军攻打江南大营之时，曾国藩的湘军大营正驻扎在安徽宿松县，全力准备安庆战役。所部万余，分布在潜山、太湖、宿松一带；李续宜近一万人，也驻扎在桐城西南，掩护包围安庆的曾国荃部。小小的皖西，一下子聚集了这么多兵马，到处都是黑压压的一片，人喧马嘶，鸡犬不宁。江南大营被攻破的消息传来之时，曾国藩正和部下们在宿松罗家祠堂悼念战死的浙江巡抚罗遵殿。罗遵殿是安徽宿松人，也是胡林翼的好友，前一年，他先从湖北藩司的位置上调任福建巡抚，数月后，又调任浙江巡抚。没想到此番调动，竟遭此噩运。罗遵殿的灵堂一派肃杀气象，高高悬挂的挽联由曾国藩亲笔题写：“孤军断外援，差同许远城中事；万马迎忠骨，新自岳王坟畔来。”现在，江南大营二次被破的消息，无疑雪上加霜，在曾国藩看来，这样的错误完全不应该犯下，绿营是朝廷的正规军，无论是装备还是筹饷上，都远远超过湘军，更何况朝廷对于绿营一直很重视，要钱给钱，要人给人。这样的失败，明显是因为指挥失误、官兵怕死造成的。江南大营一破，太平军必定会重新集结人马，将主攻目标对准南京上游。这意味着湘军的压力会继续增大，湘军弟兄们会因此加倍牺牲。
吊唁之后，曾国藩会同胡林翼等湘军高级将领在宿松召开了一次会议。这是一次具有非凡意义的会议。曾国藩和众将领在分析了军事形势之后，坚信战争的最终胜利一定属于湘军。而且，绿营一败，朝廷肯定会重用汉臣，形势将会有根本性的转机。在此之前，湘军在长江中游取得了一系列的胜利后，虽然受到朝廷的重用，但湘军毕竟是“体制外的军队”，始终没有纳入最可依赖的圈子。曾国藩知道朝廷的真实想法，那就是：让湘军在长江中游与太平军鏖战拼消耗，而让绿营在金陵地区集结，这样，硬仗由湘军来打，胜利果实则由绿营来摘取。但朝廷没有料到的是，民兵部队湘军越打越强，逐渐占了优势；正规军绿营却屡战屡败，不堪一击。江南、江北大营连续被攻破，特别是这一次江南大营惨败，朝廷肯定会调整有关政策——半月以后，湘军大营收到消息，对于江南大营被破事件，咸丰非常愤怒，下旨将逃到上海的何桂清革职逮问；军机大臣彭蕴章革职。听到这样的消息，曾国藩稍稍愉快一些，何桂清一直跟曾国藩不和，彭蕴章更是一个嫉贤妒能的小人。这些人不在台上，对曾国藩当然是好事。