其实那个时候的曾国藩比谁都更灰心，比谁都更绝望。在听闻徽州兵败的当天晚上，他“浩然长叹，不知天意如何”，第二天白天一件事都干不了，晚上还噩梦连连。
看到短时间内攻克徽州、景德镇无望，粮路不知何时才能打通，大家全都慌了。曾国藩的幕友们多为文人，更是议论纷纷，对曾国藩进言说祁门处于万山丛中，一旦被太平军攻入，实为绝地，不如退至东流。
正向祁门进军的李世贤战略眼光欠缺，闻听所部败于乐平，他居然放弃了可直捣祁门的大好机会，掉转头向乐平发动全力猛攻。左宗棠依旧在地形上做文章，他在乐平城东南掘外壕十余里，引水塞堰，并设下伏兵。李世贤一来就中了埋伏，李部号称十万，却被六七千人的楚军杀得大败，这是左宗棠自宝庆保卫战后创造的又一经典战例，楚军也由此知名，成为湘军中的一支九-九-藏-书-网劲旅。
另一方面，曾国藩非常清楚自己的职责和使命，他是一方统帅，在敌军进逼之际，哪怕内心再灰心再绝望，在部下和士卒面前，也必须表现出坚忍和镇定，也必须“打脱牙齿和血吞”。这就是《挺经》的真谛！
变化是从太平军一方首先开始的。让太平军改变的不是某个将帅的主观意志，而是战场上的严峻形势，换句话说，一旦他们意识到与敌人势均力敌，无法进行碾压，就会思考战争手段的改进。
一天，曾国藩忽然传下令来：“贼（太平军）势如此，有打算暂时离开的，支给三个月薪水，事平后仍可以来营，我不会介意。”众人心思被点破，不禁既感动又惭愧，谁还好意思再议论逃离的事？祁门大营的人心反而安定下来。
乐平之战把一度威风凛凛的李世贤给打回了原形，他被迫向东撤退。左宗棠乘99liｂ.neｔ势收复景德镇等地，在重新恢复祁门粮道的基础上，进一步巩固了祁门后路。曾国藩大喜过望，在家书中说：“凡祁门之后路，一律肃清，余方欣欣有喜色，以为可安枕而卧。”
太平军进军苏常时，与前两江总督何桂清交好的浙江巡抚王有龄曾去信给他，让他不要离开所驻节的常州，因为何桂清身为守土有责的封疆大吏，“一举足则人心瓦解”。可是何桂清贪生怕死，仍然选择弃城而逃，事后不仅弄到身败名裂，也终究未能保住自家性命。
曾国藩对这一切都看在眼里，但他依旧神色不变，每天除了处理公务外，还下下棋，写写字，坚定从容的样子简直让部下幕僚们不敢相信。
就在曾国藩几乎要坐以待毙的时候，左宗棠卷图重来。左宗棠在指挥军事上有一个突出的优点，即对军事地理学造诣很深。清初顾祖禹写过一部《读九九藏书 史方舆纪要》，被称为军事地理学上的“千古绝作”，左宗棠十八岁时就读过这部大作，其他地理名著也读了不少，因此他打仗很注重借助地形。景德镇一战后，楚军败退至乐平，乐平城久已坍废，但左宗棠利用此地背山面河的有利地形，不仅使本部在休整中恢复了战力，而且连续多次击败李世贤所属的部队。
在一种绝望心情的支配下，曾国藩给家里寄去了两千余字的遗嘱，遗嘱中自怨自艾：“行军本非余所长，兵贵奇而余太平，兵贵诈而余太直，岂能办此滔天之贼？”他觉得从军之路太过艰辛凄惨，因此还嘱咐儿子们一心读书，以后不可从军，也不要做官。
他发誓要与祁门共存亡。众人说“涤帅（曾国藩）”你任重道远，决不应该殉身于祁门。曾国藩听了笑道：“何根云（何桂清字根云）去常州时，大约左右亦如此说。”
这时有
９９ｌｉb•nｅt人倒羡慕起了李鸿章，瞧瞧人家，走的都是时候！幕友程尚斋有气无力地对曾国藩的老友欧阳兆熊说：“死在一堆如何？”幕友们一听都心领神会，大家暗暗地将行李置于舟中，准备一旦情况危急，就赶紧坐船逃命。
1859年底，胡林翼向朝廷奏报，太平军杨辅清等部“施放洋枪，子落如雨”。这是太平军在战场上使用洋枪的最早记载，说明太平军已经放弃原有的落后观念，开始逐步装备洋枪，而当曾国藩指挥所部进攻徽州时，驻守徽州的太平军大部分使用的都是新式洋枪。
东流濒临长江，可兼顾南北两岸，换句话说皖南这里顶不住，还可以逃到皖北去。曾国藩却拒绝撤往东流或移营别处：“我初次进兵，倘若遇险即退，以后的事还能寄予希望吗？我可以断定，只要我离开祁门一步，就可能死无葬身之地！”
装备洋枪洋炮最具立竿见影的效果，同九-九-藏-书-网时对于长期在东南沿海活动的太平军而言，武器也并不难获得。虽然西方国家限制武器出口，但商人重利，上海、香港等地都有许多与太平军做军火交易的军火商和走私者，有时甚至部分驻华英军因经费不足，也会偷偷将部队的军火与装备卖给太平军。
曾国藩话里的弦外之音是：你们非要劝我撤出祁门，莫非是要我走何桂清的老路？
在曾国藩的军事生涯中，有三次经历最让他丧魂落魄，除了湘军刚刚出山时的靖港之战、水师溃败的鄱阳湖之战外，就数这次的祁门之战了，而祁门之战给曾国藩造成的打击，又超过了前面两次。在给曾国潢、曾国荃的信中，他忍不住失声惊呼“万难支持”“旦夕不测”。
此言一出，众皆默然，无言以对。
对付拿着刀箭长矛和鸟枪、抬枪的湘军，新式洋枪优势尽显，湘军两攻徽州均以惨败告终，湘军士气受到沉重打击，太平军则气势大长。