幫辦團練大臣帶來許多方便，即在募勇、練兵及其他舉措方面存在靈活性，少受各種陋習的制約。但同時也帶來許多難題，其中最重要的是地方官的支援與否，地方官若緊密配合，則事半而功倍，否則寸步難行。然而不久的永順兵事件就讓曾國藩大丟面子，當時他極想立即將永順兵鬧署事件上告朝廷，拼個究竟，但他經過對利弊的權衡，終於忍耐了下來。
在這種左右交相煎迫的情況下，曾國藩只有一個辦法：走！這年六月間，他跟鮑起豹等人的矛盾初起時，就曾私下對友人郭昆燾表示：“久蝨此地，以在戚而攘臂從政，以紳士而侵職代庖，終覺非是。何日江右解圍，楚省弛防，脫然還山，寸心少安耳。”他準備以終制為名，超脫這是非之地；並且飭令張潤農所帶之兵“全數駐水”，王璞山所帶之勇則“駐郴”，均不回省城，為自己的退避之路作準備。但是，他並沒有真正打算解甲歸鄉，而是想著自己幾個月來“彈壓匪徒”的名聲大振，不可半途而廢。於是，他在永順兵鬧署事件後的第七天，即給朝廷上了個《移駐衡州折》，第二天就匆匆離開長沙返鄉。在鄉間沉思了幾天，於八月二十七日憤走衡陽。在奏摺中，他聲稱“衡、永、郴、桂尤為匪徒聚集之藪，擬駐紮衡州，就近搜捕，曾於二月十二日在案”，現移駐衡州，正是實現原有的“查辦土匪”的計劃。要在衡州鎮壓農民暴動，這確是曾國藩當時的實情，但曾國藩卻把自己移駐衡州的近因和內心活動向咸豐帝隱瞞了。
曾國藩從咸豐三年八月二十七日到達衡陽起，至他於咸豐四年正月二十八日自衡陽起程出征止，共在這裡生活了整整五個月。
曾國藩憤走衡陽之後，擺脫了許多應酬、牽制與無謂的煩惱，故得以放手發展和訓練鄉勇，終於形成了一支頗具規模、有較強戰鬥力的軍隊。曾國藩因禍得福，憤走衡陽成為他後半生成就事業的真正起點。 而對於自己後來成為一代風流人物，位至侯爵，曾國藩卻是始料不及的。
此時，曾國藩已練就水陸兩師共一萬人，其水師十營，前、後、左、右、中為五營，五正營之外又分五副營，分別以褚汝航、夏鑾、胡嘉垣、胡作霖、成名標、諸殿元、楊載福、彭玉麟、鄒漢章、龍獻琛為營官帶領，共五千人；陸勇亦五千餘人，編列字號，五百人為一營。“其非湘鄉人各領鄉軍者隨所統為小營”，共十三營，分別由塔齊布、周鳳山、朱孫治、儲玫躬、林源恩、鄒世琦、鄒壽璋、楊名聲、曾國葆等帶領。水路以褚汝航為各營總統，陸師以塔齊布為諸將先鋒。“合以陸路之長夫、隨丁，水路之僱船、水手，糧臺之員弁、丁役，統計全軍約一萬七千人”。所備之糧臺，帶米一萬二千石，煤一萬八千斤，鹽四萬斤，油三萬斤，軍中所需之器物，應用之工匠，一概攜帶隨行。
且說曾國藩從咸豐四年正月二十八日（公元1854年２月25日）起，統率全隊水陸並進，浩浩蕩蕩，進駐長沙。軍容之盛，使在這裡的綠營相形見絀。這是曾國藩自咸豐三年八月憤走衡陽之後五個月中“打掉牙齒和血吞”，堅韌自勵的結果。
曾國藩曾說：“我常常憂心忡忡，不能自持，若有所失，到今年正月還是如此。我想這大概是志向不能樹立時，人就容易放鬆潦倒，所以心中沒有一定的努力方向。沒有一定的方向就不能保持寧靜，不能寧靜就不能心安，其根子在於沒有樹立志向啊！
另外我又有鄙陋之見，檢點小事，不能容忍小的不滿，所以一點點小事，就會躊躇一晚上；有一件事不順心，就會整天坐著不起來，這就是我憂心忡忡的原因啊。志向沒樹立，見識又短淺，想求得心靈的安定，就不那麼容易得到了。現在已是正月了，這些天來，我常常夜不能寐，輾轉反側，思緒萬千，全是鄙夫之見。在應酬時我往往在小處計較，小計較引起小不快，又沒有時間加以調理，久而久之，就是引盜入室了啊！”
由此可見，曾國藩也是和我們一樣的人，他有斤斤計較的時候，有見識淺短的時候，有心浮氣躁的時候，但他敢於面對自己心靈中最黑暗的部分，無情地加以拷問，並提出努力改正和提高的方向，由此立志，正是曾國藩的過人之處。
第二部分：明 強人生第一自強之道（1）
◆原文
細思古人工夫，其效之尤著者，約有四端：曰慎獨則心泰，曰主敬則身強，曰求仁則人悅，曰思誠則神欽。慎獨者，遏欲不忽隱微，循理不間須臾，內省不疚，故心泰。主敬者，外而整齊嚴肅，內而專靜統一，齋莊不懈，故身強。求仁者，體則存心養性，用則民胞物與，大公無我，故人悅。思誠者，