因第２０軍團迄今尚未對進攻臺兒莊日軍的側背進行有力的攻擊，致臺兒莊的形勢日趨危急，因此蔣介石於１２時致電湯恩伯：
“臺兒莊附近會戰，我以１０師之眾對師半之敵，歷時旬餘，未獲戰果，刻軍團居敵側背，態勢尤為有利，攻擊竟不奏效，其將何以自解？應急嚴督所部於六、七兩日奮勉圖功，殲滅此敵，毋負厚望。”湯恩伯接到電令後積極部署進攻：令第７５軍“以一部鞏固岔河鎮東南、西南一帶高地之據點，主力繼續向蕭汪、東莊、臺兒莊攻擊前進”；令第８５軍（附第６６５團，欠第５師）“向低石橋、燕子井、岔河山、劉家湖繼續攻擊前進”；令第５２軍（附騎兵第５團）“以有力之一部鞏固洪山鎮、蘭陵鎮、向城一帶之據點，主力即刻開始經甘露寺、腰裡徐，向泥溝、北洛之線攻擊前進”。同時急令第３１師師長池峰城：“明日（６日）決將臺兒莊之敵擊潰，與貴部會合。如不成功，甘當軍令。”
當晚，第５２軍到達底閣、楊樓、陶溝之線，第５８軍的第８９師在朱莊、黃洲之線向大顧珊之敵進攻中，第７５軍的第１３９師在岔河鎮、西黃石山之線向蕭汪之敵進攻中，第７５軍的第６師在戴莊、李家圩之線向辛莊之敵進攻中。
同日，第２集團軍總司令接到第一戰區司令長官程潛的電報：
“本長官奉令特來徐州督戰。臺兒莊之敵限自魯起至齊日止（６日至８日），３日內務捕捉殲滅。樹立首功者獎洋１０萬元，否則師長以上定予重懲。”
孫連仲接電報後立即“嚴令各部務於限期內將當面之敵肅清，免受軍令制裁”。第１１０師於當晚從得勝口潛渡運河北進，準備於次日進攻獐山附近之敵。
４月６日晨，日軍瀨谷支隊長髮現第１１０師的部隊已進至泥溝、獐山以西附近，第２０軍團第５２軍的部隊已逼近至支隊部所在地楊廟東北約７公里的張樓地，而坂本支隊主力已被第５８軍及第７５軍從北、東、南三面包圍於邢家樓、大顧珊地區，且又準備於今晚撤走。這樣，“瀨谷支隊長認為獨立維持臺兒莊戰局困難”。
決定退卻，於１５時３０分電告磯谷廉介：“暫撤離臺兒莊地區，部隊向後方集結”；同時部署撤退，下令：“支隊於本日日沒後以全力向北轉進”，令步兵第１０聯隊第１大隊及步兵第３９聯隊第１大隊提前於日沒時即佔領白山西村及獐山，令步兵第６３聯隊主力（不包括臺兒莊部隊）於日沒時向朱莊進攻，以掩護支隊主力撤退，第１０聯隊、臺兒莊內第６３聯隊第２大隊及頓河閘、插花溝、黃林莊的各中隊均於２０時撤出第一線，向泥溝地區集結。在兗州的磯谷廉介接到瀨谷啟的電報後，立即命令參謀長電告瀨谷啟，令其終止後退。但瀨谷啟身陷險境，深知如果今夜不能迅速脫離臺兒莊地區，等明日中**隊合圍後就有被全殲的危險，因而抗命不從，繼續指揮支隊退卻。由於倉促退逃，又是在中**隊的進攻下進行的，所以許多軍需物資，如糧秣、彈藥、被服以及日軍屍體等均來不及帶走，全部放火焚燒；有些重型機械化武器也因彈盡油竭、無法開動，不得不自行破壞，遺棄於戰場。僅就臺兒莊附近戰場而言，該支隊僅有的２門１５５毫米重炮及５輛履帶牽引車以及８輛坦克均遺棄於戰場（後被第２００師運至湖南湘潭修理），可見其潰逃時的狼狽之狀。
臺兒莊內的日軍與第３１師的部隊隔牆相接、鄰屋而戰。日軍想安全撤走，但守軍以密集火力及手榴彈封鎖，相當一部分日軍在撤退的最後一刻被殲滅。至７日凌晨５時左右，臺兒莊內的日軍全被肅清。
４月７日，日軍瀨谷支隊主力退至官莊地區，後方掩護部隊在獐山一帶。坂本支隊得悉瀨谷支隊北逃後，當夜亦在火力追擊下加速撤逃。本欲向東北、經向城返回臨沂，由於第２０軍團主力均在東北方向，根本無力突出重圍，於是改向西北方向敗退，向第１０師團部隊靠攏。
第五戰區司令長官李宗仁得知日軍北逃的情況後，於１３時下達了追擊命令。各部接令後，開始按命令追擊。
４月８日，瀨谷支隊主力集結於嶧縣地區，一部兵力佔領獐山、白山西；坂本支隊退至棗莊以南郭裡集一帶。第２軍司令官西尾壽造令第５師團以步兵第２１旅團為基幹的坂本支隊歸第１０師團長指揮。磯谷廉介命令兩支隊“在現駐地附近大力整頓兵力，蒐集敵情，作女子下一步進攻準備”。
在整個臺兒莊戰鬥期間，第３集團軍遵照第五戰區的命令，以有力部隊滲入到兗州以北地區進行遊擊作戰，以配合臺兒莊的作戰：３月２３日，第１