1860年7月3日，滂沱大雨中，曾国藩按照朝廷的旨意，从宿松开往皖南。28日，到达徽州祁门县。祁门是安徽最南部的一个县，跟江西景德镇交界，是南京和南昌之间的必经之地，地理位置非常重要，也是湘军和太平军的重要粮道。曾国藩把自己的大营设在县城敦仁里弄堂的洪家大院里，这座大屋建于清代中期，原为一洪姓大茶商的私宅，坐北朝南，由承恩堂、养心斋、承泽堂、思补斋四部分组成，房房相连，屋屋相通，是驻扎军队的理想之地。曾国藩在洪家大屋巡视了一番后，决定将行辕设置在后花厅之中。然后吩咐笔墨伺候，亲自撰写了一副对联，让人贴在柱子上：
虽贤哲难免过差，原诸君谠论忠言，常攻吾短；
凡堂属略同师弟，使僚友行修名立，乃尽我心。
每到一个地方，曾国藩往往都会亲自撰写楹联。在楹联中，往往能看出那一段时间曾国藩在想些什么，努力避免什么。祁门洪家大屋的楹联显示，到祁门时，曾国藩的心情不错。
在祁门的那段时间，曾国藩主要是部署防务，查视营垒，巡视岭防，督战徽城。白天繁忙的军务停歇下来之后，每天晚上，曾国藩就要一个人在堂前凝神屏息端坐一会，这样，就可以让白天的喧嚣和烦躁如尘埃般慢慢落下，内心的涟漪也如微风掠过后的湖面一样，重新归于平静。曾国藩喜欢在这样的静谧中，汲取神秘的力量。然后，曾国藩会继续抖擞精神，处理大量的来往公文。有时候，在公文处理的闲暇，曾国藩会认认真真地写一些私人信件，这些信件就像候鸟一样，顺着蛛网般的驿道飞向四面八方，当它们飞回来的时候，又带来了各地的消息。写信，是曾国藩多年养成的习惯了，既是曾国藩的安慰，也是他情绪的通风口。当曾国藩提笔写信的时候，他就不再是一个大臣，不是一个杀人机器，一个暴徒；他只是一个父亲，一个兄长，一个朋友。曾国藩写信对象最多的，就是几个兄弟，还有儿子曾纪泽和曾纪鸿。在曾国藩看来，自己的几个兄弟，国潢生性疏阔，国荃豪爽任侠，至于曾国华和曾贞幹（国葆），曾国藩一直担心他们“气太清”，气太清，就容易单薄，所以每次曾国藩都要嘱咐他们多读书，只有深厚的思想和扎实的学问，才能弥补气质的轻薄。当然，曾氏兄弟在通信当中，有很多家长里短的私事。在曾国藩看来，家事与国事，同样重要，疏忽不得。咸丰九年底，曾国藩写信给曾国荃，安排他回老家全权主持兄弟之间的分家。曾国荃回了老家荷叶塘一趟，把兄长的意思向大家转达了。这次分家，几个兄弟互相谦让，姿态都非常高。在宿松驻扎的曾国藩收到了妻子从老家来的信，告知他分家的情况：