爭，與眾人奉魯王朱以海為監國，在江浙地區堅持打起復明旗號。一腔忠奮為大明，屢戰屢北，屢北屢戰。
舟山戰役失敗後，他與張名振一起護擁魯監國進入鄭成功轄境。
張名振死後，張煌言成為魯監國殘部的統軍人物。
鄭成功被永曆帝封為延平王，張煌言當時也被封為東閣大學士兼兵部尚書。鄭成功長江之役時，張煌言引本部兵數千人，率師先行西上，為鄭成功先開闢上游戰場。
雖然當時孤軍深入，由於紀律嚴明，秋毫無犯，張煌言所率明軍迅速收復蕪湖、瀋州、寧國、太平等地。可惜的是，南京之役失敗，鄭成功不告自退，致使張煌言進退失據。
兵潰之時，張煌言仍舊鎮定。他命人鑿沉剩餘戰船，然後率殘眾登岸，在湖北、安徽交界處的英山、霍山一帶艱辛輾轉。清軍圍追堵截，從人星散，他一路經安慶、建德、祁門、淳安、義烏、天台等地，歷盡萬苦，步行二千多里，最終復歸浙東濱海地區。
當地人民得知張煌言生還，悲喜交集。
張煌言重舉義旗，召集人馬，以台州臨門島為基地，繼續從事反清復明的軍事行動。清軍勢盛，在大肆推行“遷海”政策困窘反抗義軍的同時，步步緊逼，四處逮人殺人，還逮捕了張煌言的妻兒，關入寧波獄中。
鄭成功喪敗之餘，想入據臺灣，遠離大陸本土。張煌言心急如焚，派人送急信挽留，認為“軍有進寸無退尺”，如果入臺灣，則將來金門、廈門皆不可守，一定造成天下復明之士灰心失望的後果。
鄭成功不聽，揚帆而去。當時，張煌言已帶兵行至福建北部的沙埕想與鄭軍會師。他撲空的失望，可想而知。
1661年，永曆帝在雲南被吳三桂俘虜。轉年，永曆帝被殺，鄭成功病死。
張煌言懇請鄭成功之子鄭經重擁被鄭氏家族軟禁區的魯監國朱以海為帝。但是，鄭經冷酷似其父，連魯監國平時的糧食供應都常常缺欠，更甭提擁之為帝了。
兵衛寥寥之下，張煌言處於浙江沿海窮荒僻島，堅持抗清。清朝浙江巡撫張傑致書誘降。張煌言不為所動，復書表示，如果清朝割海邊之地給明朝殘餘勢力，雙方保民息兵，明朝餘部能等同朝鮮之地位，他本人可以掛帆遠航而去，不再與清廷為敵。（《海東逸史》）
這種緩兵計，自然為漢奸張傑所識破，但他心中不得不深敬張煌言對明朝的忠貞不貳。
1662年底，鄭成功死後半年，魯監國朱以海因哮喘病發作病死於軟禁之所。至此，張煌言心中的復明希望，全然破滅。
痛哭之餘，他對身邊人講：“孤臣之棲棲有待、徒苦部下、相依不去者，因主上（魯監國）尚存。今事如此，復有何望！”
有部眾勸他率手下乘船去臺灣往依鄭氏，張煌言不從。“偷生延年，不如在此，以死立信！”
於是，他在懸岙島盡散其軍，自己只帶隨從十餘人居於山上鄰近峭壁的茅屋中。
不久，張煌言與眾人商議，欲盡數落髮為僧，前往普陀山，靜待時變，再起復明。
荒島之上，張煌言作《滿江紅·懷嶽忠武》一詞，表達復國報仇之念：
屈指興亡，恨南北黃圖消歇。
便幾個孤忠大義，冰清玉烈。
趙信城邊羌笛雨，李陵臺上胡笳月。
慘模糊吹出玉關情，聲悽切。
漢宮露，染園雪。雙龍逝，一鴻滅。
剩逋臣怒擊，唾壺皆缺。
豪傑氣吞白鳳髓，高懷眥飲黃羊血。
試排雲待把捧日心，訴金闕。
不料，張煌言部下其中一位小校叛變，逃走至清朝浙江總督趙廷臣處告密，引來大批清軍搜山。
一腔忠憤血 飛濺於群虜（2）
猝不及防，張煌言被清軍生擒。
他被押送至寧波，清朝總督趙廷臣從前到海上與張煌言談判過，見到他非常禮敬，設宴舉酒，問候到：“張老爺別來無恙。”
張煌言不入席，凜然曰：“我父死不能葬，國亡不能救，死有餘罪，今日之事，速死而已，何必多言！”
與張煌言一同被俘的羅倫見狀高聲說：“張公一死而已，何必與如此豬狗之輩絮語！”
清朝的趙提督識趣，以重兵護大轎，把張煌言禮送至省城杭州。臨別故鄉時，鄉親成千上萬泣別送行，張煌言作《甲辰八月辭故里》詩：
義幟縱橫二十年，豈知閏位在於闐。
桐江空懸嚴光