岳飛和韓世忠一樣，留在行朝，有虛位而無實職。
當得知金朝已再次明確表示了願媾和的意向，倔強的岳飛仍不肯暗默保身，他明知皇帝的主意毫無挽回餘地，卻依然上奏，犯顏直諫。他說，“金虜無故約和，必探我國之虛實”。“今日兀朮見我班師，有何懼而來約和？豈不偽詐。據臣所見，見為害，不見為利也”。
宋高宗下不允岳飛辭職詔後，對岳飛的彈劾奏章也接踵而至。這是在秦檜的唆使下，由右諫議大夫万俟卨和御史中丞何鑄、殿中侍御史羅汝楫三名臺、諫官出面的。欲加之罪，何患無辭，但是，像岳飛那樣兢兢業業獻身抗金事業的人，確實並無什麼把柄，可資以糾彈。即使在此類肆意誣衊的奏章中，也不得不承認岳飛“蚤稱敢毅，亟蒙獎拔”，“慨然似有功名之志，人亦以此稱之”。作為攻訐口實者，主要是以下數事。第一，“不避嫌疑，而妄貪非常之功；不量彼己，而幾敗國之大事”。言語含混，其實是指岳飛建議立皇儲和反對與金媾和。此兩事僅一筆帶過，尚不作為攻訐的重點。第二，“自登樞管，鬱鬱不樂，日謀引去，以就安閒，每對士大夫但言山林之適”，“不思報稱”，“亦憂國愛君者所不忍為也”。第三，淮西之役，“堅拒明詔，不肯出師”，“略至龍舒（舒州別名）而不進”，“以玩合肥之寇”。第四，“銜命出使，則妄執偏見，欲棄山陽（楚州別名）而守江”，“以楚為不可守”，“沮喪士氣，動搖民心”。後兩條則完全是摭拾張俊之唾餘，含血噴人。
由於張俊對岳飛援淮西的問題，不斷地散佈流言飛語，有人曾勸岳飛與張俊進行“廷辨”，岳飛卻說：
“吾所無愧者，此心耳，何必辨。”
岳飛胸襟坦蕩，認為不辨自明，然而在事實上，援淮西之謗，卻漸至眾口鑠金、積毀銷骨的地步。
宋高宗也把握時機，親自出面配合，他說：
“飛於眾中倡言：楚不可守，城安用修。蓋將士戍山陽厭久，欲棄而之他，飛意在附下以要譽，故其言如此，朕何賴焉！”
秦檜連忙幫腔說：
“飛對人之言乃至是，中外或未知也。”
按照慣例，臺、諫官上章彈劾之日，即是宰執引咎辭官之時。更何況是岳飛，他既明白朝廷的用心，更以素餐尸祿為恥，他上奏沉痛地說，“臣性識疏暗，昧於事機，立功無毫髮之微，論罪有丘山之積”。“豈惟曠職之可虞，抑亦妨賢之是懼，冀保全於終始，宜遠引于山林”。岳飛透過耿著的冤獄事件，更體察到了秦檜的心狠手辣，他深知自己的退閒，決不意味著秦檜就能善罷甘休。故岳飛擺脫宋代辭職奏的常規，特別強調“保全於終始”的問題。
八月九日，宋高宗不失時機地解除岳飛樞密副使的職務，為岳飛保留了少保的階官，又“特授”他原來的武勝、定**兩鎮節度使，充萬壽觀使的閒職。在罷官制詞中，宋高宗說岳飛的“深釁”，“有駭予聞，良乖眾望”，但他仍然寬大為懷，“記功掩過”，“寵以寬科全祿”，“所以保功臣之終”。他要求岳飛“無貳色猜情”，“朕方監此以御下”。表面上看，罷官制與岳飛的辭職奏是互相呼應的。其實，宋高宗根本不想“保功臣之終”，而是在“貳色猜情”一句中，埋伏了殺機。嶽雲也保留左武大夫、忠州防禦使的遙郡官階，改任提舉醴泉觀，與父親一同退閒。岳飛的幕僚沈作喆為他作謝表說：
“功狀蔑聞，敢遂良田之請；謗書狎至，猶存息壤之盟。”
岳飛對“謗書”表明了理所當然的蔑視，但對宋高宗“保功臣之終”的盟誓，卻仍以臣子之禮，而表示感戴之情。秦檜讀此謝表，更是懷恨在心。
宋廷對岳飛的幕僚非常忌恨。岳飛任樞密副使後，尚有於鵬、黨尚友、孔戊、孫革、張節夫等十一人與他過從甚密。岳飛出使楚州時，他們都被岳飛奏闢，充任樞密行府的屬官。岳飛不去鎮江府後，他們仍始終不渝地追隨岳飛，“各請宮祠，平居無事，聚於門下”。宋廷發表他們為地方官，“趣令之任”，強行遣散，以防他們再與岳飛直接往來，為之出謀劃策。高穎本是北宋進士，“陷偽十年，固窮守節”，他遲至紹興十年九月，方出任岳飛湖北、京西宣撫司參議官。高穎主動請求，願“裨贊岳飛十年連結河朔之謀”。岳飛被解除兵柄後，高穎曾任司農少卿，旋即以“實無他能”為由而“放罷”。無差遣實職的高穎回到鄂州。宋廷害怕他與王貴、張憲等有交往，在岳飛罷官的前一日，又發表高穎添差福建路安撫大使司參議官，“添差”意味著並無實職，“限三日之任”，並且命令湖、廣