儀仗全被敵兵掠去，百姓遭殃，更不必說。太常少卿李陵搶了九廟神主逃走，出城被金兵一追，連趙氏祖宗牌位也被拋棄。其實金兵前鋒只五百人，趙構真要率領三軍固守一戰，並無敗理。都是趙構畏敵如虎，才至於此。
宗翰看準宋室君臣庸懦無能，只用三千人馬，便將揚州行在（皇帝逃亡的所在地稱為行在，是舞文弄墨、避諱逃亡的門面話）不戰而得，一面卻以全軍之力將韓世忠戰敗，以致江淮一帶全成了敵騎蹂躪之地，被禍害的人命財物不可數計。
金人因揚州百姓和一些無人統率的殘軍紛紛起來抗敵，自知立腳不住，便縱兵擄搶，把揚州城燒了個乾淨，方始退兵而去。
趙構一路逃竄到了臨安（杭州），方始停住。汪、黃二好知道堅持和議，闖下這場大禍，依然恬不知恥，聯名上疏，說：“當此國家多難之時，不敢求退。”妄想保持他的祿位。無奈公論不容，中丞張徽奏論二奸賊有二十行大罪，主要是禍國殃民，陷害忠良，貶竄李綱，又對宗澤百般作梗，使他費盡心力招撫來抗敵的幾十萬忠義之士，全數瓦解而去。趙構雖想留著汪、黃二好為未來求和之用，無奈群情憤激，迫不得已，才將汪、黃二好貶去。
金人不久便命漢好劉豫知東平府，節制河南州郡，劉豫的兒子劉麟知濟南府，並命大將達賚屯兵險要之處，暗中監視。後來見劉豫貪圖富貴，死心塌地做漢奸，想拿中國的兵攻打中國，又立他當了齊國皇帝，與宋為敵。劉豫對金主自稱“兒臣”，歷史上的“兒皇帝”，劉豫也是一個。
當年六月底，金兀朮大舉南侵，連破磁，單、密州，聲勢比以前更盛。杜充先聽幾木帶領數十萬金兵就要殺來，越想越膽寒，打算丟掉東京，逃往建康。岳飛力勸，大意說：“中原之地，尺寸不可棄。……留守……且不守此，他人奈何？今留守一。舉足，此地皆非我有矣。他日欲復取之，非捐數十萬之眾不可得也。”
杜充不聽，以軍令強迫岳飛隨往建康。岳飛部下連新收撫的兵將不過三千，杜充一走，軍糧先無著落，暫時只有保全實力，別無良策。恰值牛皋也由磁州敗陣退回，說起這次兀朮以傾國之兵來犯，自己雖然上來連勝兩次，士卒傷亡甚多。主將又因糧缺勢孤，棄城而逃。這才帶了孤軍，一一路突圍轉戰而來。河北諸郡淪陷於敵，都是兵少缺糧、朝廷不管之故。互相憤慨了一陣，只得隨軍南去。岳飛奉命當前鋒，中途連破李成等叛賊於鐵路步（鎮）、盤城（縣）、滁州等地。
到了十月，趙構又由臨安逃往越州（紹興）。杜充聽岳飛之勸，一路收集殘兵，居然也有十幾萬人。岳飛部下連同牛皋帶來的人馬，也有一萬左右。江浙一帶的居民，因仕充部下有岳飛等勇將，都想靠他保衛長江，不使敵騎南渡。杜充只是殘殺軍民立威，毫無禦敵之策。
這日，金兀木與叛賊李成合攻烏江。杜充聞報，嚇得閉門不出。諸將屢次請他出兵抗戰，概不答覆。岳飛又急又怒，一直衝進他的臥室，再三力勸，說：“勁虜大敵，近在淮南，脾睨長江，包藏不淺。臥薪之勢，莫甚於此時。而相公乃終日晏居，不省兵事。萬一敵人窺吾之怠而舉兵乘之，相公既不躬其事，能保諸將之用命乎、諸將既不用命，金陵失守，相公能復高枕於此乎？”說時，聲淚俱下。
杜充早已準備降敵，因岳飛兵力最強，不敢得罪，表面敷衍，卻不出來。等金兵由馬家渡渡過長江，才派岳飛等和都統制陳淬一同出戰。杜充的心腹大將王曼，聽說杜充有降敵之意，帶了所部數萬人馬，當先逃退。凡是杜充部下的將官，全部潰散，只有岳飛這一支人馬與敵人死戰，非但沒有援兵輜重，糧草也被逃將帶走。敵人雖被暫時打退，部下將士全都沒有吃的，只得把全軍夜屯鐘山，歇息了多半夜。天還未明，突然往攻敵營，把金兵殺了好幾千。陳淬部將聽說杜充把建康府庫搬光，帶領全家渡江降敵的訊息，人心浮動，多想叛逃。戚方正在陳淬部下，首先帶了一支人馬去當強盜。
岳飛得信，立時召請兩軍將士發話，大意說：“我輩荷國厚恩，當以忠義報國，立功名，書竹帛，死且不朽……江左形勝之地，使胡虜盜據，何以立國？今日之事，有死無二，輒出此門者斬！”說到慷慨激昂之處，眾皆感動，不敢再有異志。
岳飛又將劉經等將校和一些散兵潰卒招集過來，前後奪了金兵和叛將的糧草很多。後來聞報，兀朮將往臨安進兵，便領所部人馬前往截擊，在廣德境內連打了六次勝仗，殺傷敵人甚眾。生擒女真漢兒軍王權等二十四人，俘虜諸剃頭籤軍首領四十八人和好些敵兵。經過分別審問檢視，挑出一