因此，帶著師部和第364團繼續待在襄陽城外。
因為黃總司令的指揮所和第124師擺在城內的一個營先後撤走了，襄陽城內已無一兵一卒，成了無兵防守的空城。王師長於是下令在南關的第364團入城佈防，師部隨即也跟著移入了城內。
第二日早晨，黃琪翔一覺醒來，忽然聽說王志遠和第364團尚在襄陽城內未退，馬上下了一道命令：“著第122師守備襄陽城。”至於他只兩營新兵的第364團和一個師部，對偌大的襄陽城能不能守得住，卻未加考慮。
渡過襄河西岸之敵，系日軍北方兵團。強渡襄河後，主力沿襄宜公路向宜城方向進犯，其中一部約萬餘人則向北直奔襄陽。上午9時許，兵臨城下，大炮、機槍齊向城上轟擊。因力量對比懸殊，第364團的這些新兵哪裡支撐得住？眼看被大炮炸得四處狂奔，實在難以支援，就從西門撤出，退到了西關外真武山、周公山一帶高地；王志遠帶著師部則移到了城西離城10裡遠的雲萬山。隨即，日軍大搖大擺地進了城，襄陽落入了敵手。
第22集團軍總司令部參謀長陳宗進得知在襄陽附近與敵周旋的第122師只有兩營新兵時，跺著腳說：“他們別說去打鬼子，鬼子一打，這些新兵蛋子就得全完！”
馬上下令在泥嘴鎮的第41軍軍直屬獨立團開到雲萬山去，歸王志遠師長指揮，與第364團合力拒止西進之敵。
襄陽與樊城雖是兩城，在歷來的戰火中都是同得同失。襄陽城一落入敵手，樊城守軍馬上就亂起來了。守兵立即在城內到處放火，用“大火陣”來“阻敵”，並準備隨時“轉進”。這樣一鬧，使得老河口、南陽一帶也是告急電報雪片般飛進第五戰區長官部，報警電話響得長富部一派混亂。李宗仁急令第75軍周巖部由呂堰驛南下，馳援樊城；並令湯恩伯所部由棗陽向襄陽前進，攻擊鬼子的後方；同時趕調左兵團第30軍池峰城部開至鬈河口附近待命。
日軍佔領襄陽城後，只顧在城關內外和四周村落燒、殺、奸、淫，搶奪財物，並沒繼續向西進攻，敵我雙方只是對峙著，互相以槍炮時斷時續地射擊而已。
當夜，王志遠攘到黃總司令轉來遠在重慶的蔣介石“死守襄陽”電令。黃總司令還在蔣介石電令的後邊加上一句話：“等因奉此，著第122師師長王志遠立率所部即日克復襄陽為要。”可襄陽城已在白天丟了，這大半夜又如何去“死守”？只能第二日反攻。
第二日，王志遠起了個大旱，拂曉時分就親率軍直屬獨立團為前驅，反攻襄陽城。誰知在前進途中，不見敵人一絲兒動靜，他們好生奇怪，待衝進西門，始知日軍已由南門出城，正向南漳方向轉進了。獨立團先頭部隊追趕到南關時，遇上鬼子的後尾，當即展開戰鬥。日軍且戰且走，隨後在城南10裡遠的峴山隘口擺上一支後衛部隊，佔領掩護陣地。獨立團追到南關，因南關與峴山之間是一片開闊地，傷亡了二三十人之後，就停止追擊了。
日軍佔據了襄陽城，怎麼見著一個獨立團就膽怯逃跑了？原來他們在這次所謂的“襄東進擊戰”中只是以打擊中**隊有生力量為目的，到處尋求中**隊野戰部隊作戰，對攻下的城市、集鎮和村莊，只是大肆蹂躪、踐踏破壞後，通通丟掉，而不據守。襄陽也不例外。
所以，襄陽縣城在6月2日失而復得，日軍則向南漳開去了。
當日下午，第五戰區左翼兵團總司令孫連仲親率第30軍從谷城方向前來救援襄陽。進抵城西雲萬山村附近時，只見第122師師長王志遠已遠遠前來迎接，當面向孫總司令報告：“敵人已向南漳逃跑，襄陽已經勝利克復！”
這讓孫總司令大為驚訝：“就你一個獨立團就反攻成功啦？！”
“可不是！鬼子一打就跑，我部只傷亡二三十人。”
孫連仲聽了，也不進城了，當即率部由雲萬山折向襄陽西南30裡的隆中宿營了。
黃琪翔在谷城得到襄陽方面之敵已向南漳“逃跑”的訊息，急命第124師佈置城防，固守南漳。6月3日，日軍對南漳進行攻擊，猛撲競日，最終沒有拿下南漳。第二日，沒有繼續進攻，竟然自動撤離。同一日，日軍攻佔宜城。這股日軍轉向荊門方向而去，於是戰局轉移到了荊門當陽地區。至此，第22集團軍在這次會戰中的作戰任務宣告結束。由於作戰重心南移，第五戰區右翼方面，所有大洪山外翼、襄花公路正面及信陽外圍，逐漸恢復作戰前的態勢。
這次襄陽城失而復得，第122師師長王志遠可以說責任不大，相