第一九九旅的覆滅，使敵人各路援軍畏縮不前。第四兵團司令官王仲廉藉口道路泥濘，率部連日徘徊於冉固集、城武地區。
23日，中共中央軍委和毛澤東電令：“為迅速擴大已取得的主動權，應即短期休整，速向大別山躍進。羊山之敵如能迅速殲滅。則殲滅之，否則即轉入休整。”
劉伯承與鄧小平研究後認為，各路援敵尚在行進途中，金鄉之敵已無力北援。主力可以全部集中，完全有迅速殲滅羊山守敵的把握，於是決定繼續攻殲據守羊山的整編第六十六師。他們指示攻擊部隊重新組織偵察，並調整了部署，以第二縱隊一部由西向東攻擊，第三縱隊第七旅、第六縱隊第十六旅從北向南攻擊，第三縱隊一部由東向西攻擊。各部加強炮火，著重奪取制高點。兵力上達到了十比三的優勢。
部署已畢，劉伯承、鄧小平前往羊山集前線，向縱隊領導傳達了中共中央軍委的指示精神，然後問他們到前沿察看了地形沒有？幾個縱隊指揮員都說沒有。劉伯承說：越是勝利越要細心謹慎，不能疏忽大意，更不能急躁。
你們要親自到前沿看地形，瞭解一下為什麼攻不下來，跟下邊指戰員研究如何打法。總之，不能再拖了，必須儘快把羊山集的敵人殲滅。各縱隊指揮員應命而去。第二縱隊司令員陳再道、第三縱隊司令員陳錫聯都直接到陣地前沿勘察。陳錫聯一下子跳進齊胸深的水濠裡，測量濠溝的寬度和深度，佈置部隊備好過濠器材，並制定了具體的進攻方案。
經過細密的準備工作，27日晚對羊山之敵發動總攻。激戰1晝夜，28日晚全殲羊山守敵整編第六十六師。
至此，晉冀魯豫野戰軍主力，在魯西南連續作戰28天，殲滅國民黨軍4個整編師帥部，9個半旅，共5。6萬餘人。俘敵整編第六十六師師長宋瑞珂、第七十師長陳頤鼎、第三十二師副師長理明亞以下4。3萬餘人，收復了魯西南解放區，從而開啟了千里躍進大別山的大門。
羊山集失守的訊息傳到開封，蔣介石惱怒異常。為了推卸責任，他以“行動遲緩，貽誤戎機，縱敵殃民，陷害友軍”的罪狀判處第四兵團司令官王仲廉8年有期徒刑。遺職由羅廣文接任。26日趕到商丘指揮的陸軍總司令顧祝同，也灰溜溜地退回到徐州總司令部。
晝夜奮戰28天的劉伯承，滿懷勝利的喜悅和豪情，寫下了他的著名詩篇：狼山戰捷復羊山，炮火雷鳴煙霧間。
千萬居民齊拍手，欣看子弟奪城關。
第二節提前躍進
正當全軍指戰員爭相傳誦劉伯承為羊山戰鬥勝利作的戰鬥詩篇時，新華社8月2日公佈了中共中央通令嘉獎劉鄧南下大軍的訊息。嘉獎令說：“自衛戰爭第2年第1個月作戰，除我山東及各戰場均殲滅敵人一部外，劉鄧自7月2日到7月28日在鄆城、鉅野、定陶地區連續作戰，殲滅敵人正規軍9個半旅及4個師部，斃傷俘敵6萬餘人，成績甚大，特此通令嘉獎。”同日，新華社冀魯豫前線又發出劉伯承向該社記者談魯西南大捷重要意義的報道。
劉伯承指出重要意義有二：“第一是解放了數萬人民，恢復了黃河兩岸廣大地區，武裝掩護了修復河堤；第二是粉碎了蔣介石的‘黃河戰略’，開闢了魯西南廣大戰常給蔣介石進犯軍準備了更好的墳墓。”
20多大的連陰雨停了。太陽從逐漸散開的霧氣中露出了笑臉，鳥雀恢復了往日的喧噪。大河南北、梁山左右的解放區軍民，都在慶賀人民自衛戰爭的偉大勝利。
自從6月30日夜晚，一個月來，劉伯承、鄧小平一直沒有好好休息過。
特別是年過半百的劉伯承，不知度過了多少不眠之夜。近來，他那獨存的左眼更紅，他的睡眠更少了。鄧小平、張際春、李達和司令部的參謀們，關心體恤他，除特別重大或中央指定由他本人回覆的事，都不打擾他，讓他安靜地休息。但是，熱情似火、心細如髮的劉伯承，晨起後還是習慣地向參謀、警衛員問：今天天氣怎麼樣？晴天還是陰天？風向如何？聽到準確的回答後，他才洗漱、早餐，接著就開始工作。
“常勝將軍劉伯承”的盛名，已經傳遍全國。可是，他一點也沒有沉浸在勝利的喜悅中。過黃河後，因為新華社記者的一則報道中，用了劉鄧“常勝軍”的標題，他嚴肅地批評說：“世界上沒有常，勝將軍和常勝軍。我們是人民的軍隊，依靠黨和人民以及正義的戰爭性質，爭取多打勝仗是應該的。”現在，他滿心想的只是怎樣擔起千里躍進大別山的戰略重任。他借用四川民間流傳的嘉州“鬼門關”的故事，來比喻