行。他下令拆毀位於淮北的海州城，其實是準備割讓金朝，強迫當地居民遷移鎮江府，“人不樂遷，莫不垂涕”。淮東軍也按宋廷的原計劃，自楚州後撤鎮江府，精銳的原韓世忠背嵬親軍，則抽調往臨安府屯駐。
按宋高宗和秦檜的盤算，對原韓家軍作如此措置，既消除了朝廷的一大隱患，也掃除了降金的一大障礙。但張俊卻執意擴充自己的實力，他緊接著將自己的樞密行府設於鎮江府，以便直接掌管這支原屬韓世忠的部隊。
第二節罷官賦閒
岳飛不能制止張俊的胡作非為，於七月初回“行在”臨安府後，便憤慨地提出辭呈，請求宋高宗罷免自己的樞密副使，“別選異能，同張俊措置戰守”。
宋高宗和秦檜為對付三大帥，事實上採用了利用嫌隙，使之互攻，以坐收漁利的方針。在韓世忠的問題大致解決後，緊接著就準備對岳飛下毒手，更何況岳飛出使時的所作所為，完全拂逆了朝廷的旨意。儘管如此，宋高宗仍然耍弄帝王權術，他在不允詔中說，“朕以二、三大帥各當一隅，不足以展其才，故命登於樞機之府，以極吾委任之意”。“今卿授任甫及旬浹，乃求去位，行府之命，措置之責，乃辭不能。舉措如此，朕所未喻。夫有其時，有其位，有其權，而謂不可以有為，人固弗之信也”。詞意如此剴切，宋高宗似乎是全心全意希望岳飛施展才能，“禦敵”抗金，儘管岳飛不識抬舉，而皇恩仍是曲加優容。其實，這不過是一紙侮弄忠肝義膽的臣僚的文字遊戲。宋高宗再也沒有強令岳飛去行使“措置之責”，前沿的軍務全由張俊設在鎮江府的樞密行府包攬，岳飛和韓世忠一樣，留在行朝，有虛位而無實職。
當得知金朝已再次明確表示了願媾和的意向，倔強的岳飛仍不肯暗默保身，他明知皇帝的主意毫無挽回餘地，卻依然上奏，犯顏直諫。他說，“金虜無故約和，必探我國之虛實”。“今日兀朮見我班師，有何懼而來約和？豈不偽詐。據臣所見，見為害，不見為利也”。
宋高宗下不允岳飛辭職詔後，對岳飛的彈劾奏章也接踵而至。這是在秦檜的唆使下，由右諫議大夫万俟卨和御史中丞何鑄、殿中侍御史羅汝楫三名臺、諫官出面的。欲加之罪，何患無辭，但是，像岳飛那樣兢兢業業獻身抗金事業的人，確實並無什麼把柄，可資以糾彈。即使在此類肆意誣衊的奏章中，也不得不承認岳飛“蚤稱敢毅，亟蒙獎拔”，“慨然似有功名之志，人亦以此稱之”。作為攻訐口實者，主要是以下數事。第一，“不避嫌疑，而妄貪非常之功；不量彼己，而幾敗國之大事”。言語含混，其實是指岳飛建議立皇儲和反對與金媾和。此兩事僅一筆帶過，尚不作為攻訐的重點。第二，“自登樞管，鬱鬱不樂，日謀引去，以就安閒，每對士大夫但言山林之適”，“不思報稱”，“亦憂國愛君者所不忍為也”。第三，淮西之役，“堅拒明詔，不肯出師”，“略至龍舒（舒州別名）而不進”，“以玩合肥之寇”。第四，“銜命出使，則妄執偏見，欲棄山陽（楚州別名）而守江”，“以楚為不可守”，“沮喪士氣，動搖民心”。後兩條則完全是摭拾張俊之唾餘，含血噴人。
由於張俊對岳飛援淮西的問題，不斷地散佈流言飛語，有人曾勸岳飛與張俊進行“廷辨”，岳飛卻說：
“吾所無愧者，此心耳，何必辨。”
岳飛胸襟坦蕩，認為不辨自明，然而在事實上，援淮西之謗，卻漸至眾口鑠金、積毀銷骨的地步。
宋高宗也把握時機，親自出面配合，他說：
“飛於眾中倡言：楚不可守，城安用修。蓋將士戍山陽厭久，欲棄而之他，飛意在附下以要譽，故其言如此，朕何賴焉！”
秦檜連忙幫腔說：
“飛對人之言乃至是，中外或未知也。”
按照慣例，臺、諫官上章彈劾之日，即是宰執引咎辭官之時。更何況是岳飛，他既明白朝廷的用心，更以素餐尸祿為恥，他上奏沉痛地說，“臣性識疏暗，昧於事機，立功無毫髮之微，論罪有丘山之積”。“豈惟曠職之可虞，抑亦妨賢之是懼，冀保全於終始，宜遠引于山林”。岳飛透過耿著的冤獄事件，更體察到了秦檜的心狠手辣，他深知自己的退閒，決不意味著秦檜就能善罷甘休。故岳飛擺脫宋代辭職奏的常規，特別強調“保全於終始”的問題。
八月九日，宋高宗不失時機地解除岳飛樞密副使的職務，為岳飛保留了少保的階官，又“特授”他原來的武勝、定**兩鎮節度使，充萬壽觀使的閒職。在罷官制詞中，宋高宗說岳飛的“深釁”，“有駭予聞，良乖眾望”，但他仍然