頭道：“這個小人不太清楚，但是聽說原先歸降大明的地方好多都轉頭降清了。”
張煌言聽後沉默片刻，嘆了口氣：“此事本可預料，只是來得快了些。”
那商人想起一事，又道：“另外小人還聽說韃子有千艘兵船已過安慶，說是什麼韃子親王往去南京增援的。”
參軍徐允耕急道：“韃子兵船會停泊在池州嗎？”
商人道：“平時失船許是會在池州休息，但現在這麼亂，或許不一定會在池州停船。”
徐允耕又問了商人一些池州和安慶的情況，謝過此人後命親兵將他帶下。
張煌言問諸將：“池州是我們到江西的要地，現在清兵接近，該不該馳援？”
諸將卻誰也沒有開口，有的憂心、有的忐忑、有的不怕，但卻沒有辦法可想，只能沉默以對。
“形勢已很清楚，咱們並無退路，也許鄭王爺在崇明停留幾天，將重振聲威，到時候我們再順流而下，前後呼應！”郭法廣見軍心有些動搖，便為大夥提氣。
張煌言和徐允耕商議了一會，也沒什麼好主意，便要諸將馬上啟航向池州，等到了那裡再作下一步決定。
張煌言的船隊先抵達銅陵，途中遭遇一小隊駛向南京的清兵，雙方發生戰鬥，清軍船少，不敵張煌言的炮火，被擊沉四艘。不過由於張部一萬多人分乘各式大小不同船隻，又是逆流上行，使得前後船隻相距十數里，所以前方發生戰鬥，後隊很多人還不知道。而且現在軍中都在擔心到了池州後會不會碰上清軍的那千餘艘戰船，所以士氣很是低迷。
夜半時分，張煌言和徐允耕等商議軍事直到三更，張煌言正想睡下歇一會時，忽聞外面炮聲大作，營中很多人在大喊：“賊韃子劫營來了！”
張煌言急到甲板觀看，只見江上遠處不時有火光冒起，人聲嘈雜，無法確知狀況。張煌言以為真是清軍來劫營，便下令備戰，可是江上清軍炮聲卻逐漸遠去，除了模糊的人聲之外，再也不知具體。
事發突然，張煌言不敢入艙，便和衣在甲板。待天亮之後，他派出小船勘察清點，發現原來是下游的幾艘清兵船開炮壯膽，雙方並未發生實質戰鬥。
正當張煌言和諸將為此鬆口氣時，一個意想不到的情況卻出現了——張部停泊在較遠處的船隊聽到清軍來了，竟嚇得在不明究竟下解纜升帆，不告而去，使得張部只剩不到三千人。不告而去的大半都是這一個多月招降收納的清軍降兵和地方義勇，其中就有降將張文勝等人。
船隊走了大半，能戰之兵不到三千，進取江西的戰略變得難以實施，張煌言痛心無奈，決定改向巢湖。定下去巢湖堅持抗清後，張煌言忽然有股酸苦湧了上來，人在瞬間變得蒼老許多。
得知尚書大人準備去巢湖後，魏大龍等將領卻反對，認為巢湖入冬後水淺，根本不便停留海船，不如進入霍山山區，那裡從前有不少抗清義師的山寨，或許能夠立足。張煌言考慮之後採納了這個建議，毅然下令全軍棄船登陸趕往桐城，由桐城進入山區。
英、霍山區屬於大別山系，正處在河南、安徽、湖北三省之交，山勢波瀾起伏，常年雲霧縹緲，在安徽境內尤其險峻，陡崖、峽谷遍佈，仍有一些抗清組織在山中築寨。由於浙軍不少士兵的眷屬隨行，加上武器輜重，故而張行進速度很慢，六天之後才到達桐城，所幸一路平安，清兵尚不知張部已轉由陸路。然而，對浙軍更大的考驗才剛開始，浙軍要進入二、三百丈的山區，不只跋山涉水，還需越過危峰峭壁，連騎兵都只能牽馬而行，而且絕大部分計程車兵都來自沿海，缺乏登山的裝備和經驗。幾天走下來，不是淋雨受寒，就是雙腳皆起了水泡，家眷妻小，更是苦不堪言，但人人都在咬牙堅持，無一人叫苦，無一人離隊。
原本張煌言的目標是陽山寨，一個位在山頂的村寨，可容納上萬人，一直是抗清的根據地。張煌言已先透過當地義民去信，沒想到走了大半路程之後，才得知陽山寨已接受清軍招撫，原因正是南京兵敗。張煌言大為憤怒，幾欲領兵攻佔，但慮及地勢險峻，仰攻不易，終究放棄，改往英山山區。
八月十五日中秋節那天，張煌言帶領的浙軍仍在山中行進，忽傳來前方有清軍把守，張煌言為免損傷決定翻越東溪嶺，繞道以避之。結果走了大半天之後，後方來報說是韃子追上來了。
張煌言大驚，不明白清軍怎的行動如此迅速，後又有來報，這才弄清楚，原來後方追上來的是韃子的騎兵。此時張部上下已是精疲力盡，妻女眷小人人無力，士兵更是餓的走不動道。