後來又見風使舵，趨附秦檜，紹興八年、九年韓世忠襲擊金使的計劃，便是由他出面告密的。三大帥罷兵權後。胡紡依照秦檜的發縱指示，出首控告昔日“奴事”的物件，說耿著自“行在”臨安府回楚州後，散佈流言蜚語，“二樞密來楚州，必分世忠之軍”，“呂祉之戒，不可不慮”，“鼓惑眾聽”，並且“圖叛逆”，“謀還世
原來秦檜早已物色到一條走狗，這就是淮東總領胡紡。胡紡原先因奉承韓世忠，“奴事”韓世忠的“親校”耿著等人，步步高昇。他後來又見風使舵，趨附秦檜，紹興八年、九年韓世忠襲擊金使的計劃，便是由他出面告密的。三大帥罷兵權後。胡紡依照秦檜的發縱指示，出首控告昔日“奴事”的物件，說耿著自“行在”臨安府回楚州後，散佈流言蜚語，“二樞密來楚州，必分世忠之軍”，“呂祉之戒，不可不慮”，“鼓惑眾聽”，並且“圖叛逆”，“謀還世忠掌兵柄”。秦檜下令逮捕耿著，以酷刑逼供，企圖由此牽連韓世忠。
當張俊和岳飛離開臨安府前，秦檜曾在政事堂布置使命，示意岳飛“以羅織之說，偽託以上意”，並且假惺惺地說：
“且備反側！”
耿直的岳飛明瞭秦檜的用心後，便嚴詞回絕，說“世忠歸朝，則楚州之軍，即朝廷之軍也”。“公相命飛以自衛，果何為者？若使飛捃摭同列之私，尤非所望於公相者”。秦檜受岳飛責備後，氣得臉上變色。
岳飛出使後，方得知耿著的冤獄。他說：
“吾與世忠同王事，而使之以不辜被罪，吾為負世忠！”
岳飛連忙寫信，告知韓世忠。韓世忠接信後，大吃一驚，立即求見宋高宗，大哭大吵一場，“投地自明”。宋高宗本來就無意於殺害這位苗劉之變的救駕功臣，便召見秦檜，示意不得株連韓世忠。於是，這件冤獄便以耿著“杖脊”和“刺配”了結。
六月，岳飛和張俊來到楚州，這是淮東戰區的大本營，控扼運河的重鎮。岳飛巡視城防，憑弔當年趙立和全城軍民苦鬥與死難的遺蹟，追憶自己當年在淮東的血戰和挫敗，心潮起伏，思緒萬千。
李寶當時正出戍海州，岳飛將他召來，“慰勞甚周至”。李寶發現，這位舊帥在備受挫折之餘，依然我行我素，健旺的鬥志並未衰減。兩人匆匆見面，又很快告別，誰也未曾料想到，這竟是最後的訣別。李寶奉岳飛的命令，揚帆出海，北上登州（治蓬萊，今山東蓬萊市）和文登縣（今山東文登市）掃蕩一番，為他二十年後的密州膠西縣（今山東膠州市）大海戰，作了一番認真的預演。
岳飛檢點兵籍，發現韓世忠軍才有三萬餘人馬，居然自守有餘，能西援淮西，北上京東，真是位“奇特之士”。他更深切地感到，拒絕朝廷錯誤的政令和軍令，實為責無旁貸。他向張俊懇切地，然而又是強烈地表示，反對拆散原韓家軍，反對將其大本營後撤鎮江府。岳飛說：
“今國家唯自家三、四輩，以圖恢復。萬一官家復使之（指韓世忠）典軍，吾曹將何顏以見之？”
張俊和韓世忠一直是同僚和平輩，因私交不壞，終於成為雙重的兒女親家。但張俊此時正做著獨掌天下之兵的迷夢，對岳飛的規勸自然置若罔聞。他只是建議要修繕楚州的城壁、濠塹之類，岳飛不願意回答。張俊便一再追問，岳飛只能以直言相告：
“吾曹蒙國家厚恩，當相與戮力復中原，若今為退保計，何以激勵將士？”
儘管耿著的冤獄，已對岳飛預示了險惡的徵兆。但他不忍坐視朝廷和張俊的倒行逆施，只要事關抗金大局，只能據理力爭。他一語道破了提倡修城，無非是準備撤軍江南。張俊聽後，“艴然變色”。他滿腔惱怒，遂向兩名衛兵發洩，搜剔一點微小的罪名，要將兩人處斬。岳飛為此“懇救數四”，只是更增強了張俊不殺不足以解恨的獸性。岳飛最後看到兩名無辜者之屈死，更憤憤不平。
張俊秉承宋高宗和秦檜的旨意，懷著肢解原韓家軍的鬼胎，處處疑神疑鬼。岳飛住在楚州城裡，他只敢住在城外，以備若有風吹草動，便於逃命。中軍統制王勝參見之前，有人捕風捉影地報告：
“王勝有害樞使意。”
王勝在教場整列隊伍，將士們頂盔貫甲，接受張俊檢閱。張俊心虛，便問：
“將士何故擐甲？”
王勝弄得莫名其妙，答道：
“樞使來點軍馬，不敢不帶甲。”
張俊忙令卸甲。
儘管有岳飛的反對，又不得軍心，張俊仍然憑藉自己的正職地位和朝廷的支援，一意孤