1835年顺天会试的考题很不对曾国藩的胃口，曾国藩云里雾里地阐述了一番观点之后，出考场时神情颓然。当年，因为皇太后六十大寿，朝廷决定例加恩科一次，这样，就还有第二次机会。曾国藩决定会试后继续留京读书，准备接下来的恩科考试。第二年在北京的恩科考试，曾国藩同样名落孙山。对于踌躇满志的曾国藩来说，两次落第，无疑从头浇了两盆凉水。曾国藩觉得自己就如科举考试长鞭驱使下的一头无助的羔羊一样，而功名则如天边的火烧云一样遥远。此时，在京城住了两年的曾国藩在经济上也已山穷水尽。落第让曾国藩对景仰不已的京城失去了幻想，甚至，还暗暗滋生出怨恨和愤懑。当然，这个湖南青年更多的是他面对高大红墙的不屈。曾国藩的人生就是这样走到了一个隘口。对于此时的曾国藩来说，除了回到湖南，已别无他途。
落第的曾国藩只好带着满腹惆怅踏上了归程。由于心情不好，曾国藩顺着大运河一路游历。到了江苏境内，曾国藩想起老乡易卓梅正在睢宁县当知县，便去拜望。易卓梅见到了曾国藩，非常高兴。曾国藩从易卓梅处借了百两银子后，经清江、扬州，溯长江西上而归。过金陵时，曾国藩在夫子庙看到书肆里有一套《二十三史》，不由为之心动。一数囊中银两，如买书，回家的路费就不够了。曾国藩不由望洋兴叹，几欲离去，却又恋恋不舍。最后，曾国藩将自己所带的四季衣物全典当出去，这才背着重重的一套书回到了湖南老家。由于是借钱，回家后，曾国藩一直不好意思跟父亲说这件事。不久，曾麟书得知原委后，不仅没有责怪儿子，反而很高兴儿子的举动。曾国藩更受激励了，整日呆在屋子里，足不出户，晨钟暮鼓，读遍诸子百家。
1837年，正在家读书的曾国藩听说附近的浏阳孔庙祭祀活动准备演奏古乐，这让他非常兴奋。对于周礼，曾国藩从小就有一种天生的亲近感，也非常喜爱和关注。于是，曾国藩专程赶赴浏阳，与当地举人贺以南一同到该庙考研古乐的源流。在浏阳，曾国藩听到了真正的古乐，那真是一种天籁之声，它传达的，是天地的浑然正气，以及人在天地间的一种沉着和浩然。曾国藩恍然明白音乐的涵义了：德、清、圆、匀、静，人力或可强为；而透、润、奇、古，则属于天定。这样的古乐，就是属于“天定”的范畴——它们已不是简单地发泄日常的悲喜之心，娱人娱己，而是天、地、人精神沟通的一种工具。
对于古乐的溯源，让曾国藩内心充满了喜悦，就像洗过一个天然温泉浴一样，浑身上下有说不明白的舒爽。冥冥之中，曾国藩似乎也从古乐中获取了力量，好像突然一下子变得透彻了。从浏阳回来时经过长沙，曾国藩又通过正在省城应试的老朋友刘蓉的介绍，认识了后来的第一高参郭嵩焘，两人一见如故。当时，曾国藩二十六岁，刘蓉二十一岁，郭嵩焘只有十九岁。三个湖南年轻人意气风发，纵谈古今，指点江山。他们朝夕相处，一同登岳麓山，漫步橘子州，在湘江中流击水，时间长达一个多月。分手时，三个人疲惫而满足。自此，三人之间，开始了长达数十年的手足之情。