“這部署得當，我軍必勝無疑。”楊萬碩也表態支援。
楊玄感這才下定決心，移兵向汲郡進發。汲郡守軍不過一千，聞叛軍至，先已望風逃躥。叛軍無一死傷，渡河佔領汲郡。楊玄感開倉放糧，百姓雀躍歡呼。招軍旗下，應者如蟻。幾日之內，又增數萬之眾。楊玄感來不及整頓隊伍，又採納楊玄縱兵貴神速的建議，不待樊子蓋回軍阻擊，便率軍直撲洛陽。一路上小股官軍非降即逃，饑民、災民、乞民紛紛加入叛軍，待楊玄感兵臨洛陽上春門，部眾已增至十萬。
御駕親征到達東京城的楊廣，麾下百萬大軍，已漸次到達鴨綠江邊。他接受上次教訓，並未輕易下令急進，而是堅持按預定作戰方案，即水陸並進，南北夾擊。可是東萊郡的五萬水軍，由於一直風大浪高，至今未能揚帆起錨。楊廣心內焦躁，與宇文述商議，是否步軍先期進擊？就在決策難定之際，楊侗的告急文書送呈御覽。
這訊息不啻晴天霹靂，著實令楊廣為之震驚。出發時他便對楊玄感放心不下，沒料到楊玄感真敢行此大逆不道之舉。國都洛陽真若有失，豈不動搖國本。看起來內外不能兼顧了，高麗國之仇只有待日後再報了，且先收拾了楊玄感這反賊。楊廣惟恐將士們見笑，也不說明原委，便下令全線退兵。出征將士原本就對討伐高麗心存反感，接到退兵旨意，無不猜測到國內發生了重大變故，但又不知真相，未免人心惶惶，俱是爭先恐後回撤。那堆積如山的軍糧、草料、軍械、營帳，大都原封未動地盡數拋棄。似乎晚走一步便會有天大危險，似乎落後一步，就見不到親友和家小了。全軍各隊之間，互不相讓，你爭我奪，都想搶在退兵前列。擁擠，踐踏，甚至大打出手，造成的死傷數以百計。就像被高麗軍打敗一樣，地地道道是潰不成軍了。
退兵次日，楊廣又接到了楊侗第二道告急表章，文書中聲稱，叛軍已嘯聚四十萬之眾，攻打洛陽甚急，東都已危在旦夕。這種誇大其詞，把叛軍人數擴大四倍的表章，其用意堪稱是一箭雙鵰。一旦洛陽真要失守，那是由於叛軍勢大所致。若僥倖打敗叛軍，則功勞將其大無比。楊廣看了表章，憂心如焚，面諭宇文述率領精銳馬軍二十萬，星夜兼程趕赴洛陽解圍。並派飛騎傳旨於來護兒，要他率五萬水軍馳援楊侗，務必生擒楊玄感與其子來淵，否則定斬不赦。
堅守洛陽的越王楊侗，並非消極防守，他派衛玄率兩萬人馬出城，從側後向叛軍發起了攻擊，意在解上春門之圍。楊玄感分兵一萬迎戰，雙方廝殺在一處，一時間不分勝敗。楊玄感一方人數居於劣勢，時間一長，難免吃虧。他思索片刻，計上心來，吩咐親信，同時高呼：“楊玄感已被活捉！叛軍敗局已定。”官軍不明就裡，連衛玄也當真了，急問左右：“楊賊現在何處，快押來見我。”官軍未免懈怠，叛軍乘勢猛攻，把官軍殺了個落花流水。衛玄大敗潰退，折損一萬餘眾，僅存八千人馬，被迫退入關中。
叛軍大獲全勝，洛陽四外的百姓，牽羊擔酒前來犒軍。人民平日對越王作威作福，早已恨之入骨，都盼望楊玄感一鼓作氣攻下洛陽，活捉楊侗，在市曹問斬。楊玄感受到鼓舞，投入全部兵力，加強了對上春門的攻擊。輪番進攻，一刻也不停歇，在屍積成山的基礎上，至傍晚時分終於攻破上春門，突入城中一角，楊玄感的中軍，隨之進駐尚書省。
楊侗、樊子蓋見形勢瀕危，都親身上前線督戰，並逼迫百姓參與守城，總算又暫時遏止了叛軍的攻勢。至此，叛軍攻佔了洛陽城的五分之一，官軍還固守著五分之四。
衛玄敗退關中後，迅即從秦川調集萬餘兵馬，使隊伍又恢復到兩萬人。他獲悉洛陽芨芨可危，便又硬著頭皮，帶兵出潼關重返洛陽前線，仍從側翼向楊玄感發起攻擊。
楊玄感不慌不忙，叫過楊萬碩，附耳囑咐一番。楊萬碩依計而行，分兵一萬迎戰。雙方戰有半個時辰，楊萬碩似乎不敵衛玄，當先敗下陣來。主將一敗，兵士鬥志頓失，隨之潰退下來，叛軍爭相向北落荒而逃。衛玄哪肯放過，領兵在後窮追不捨。約追過兩三里路後，周圍地勢變得陵崗起伏，野草繁茂，衛玄發覺地勢複雜，恐有埋伏，正自猶豫，忽然間震天價鼓聲響起。菊花馬上，楊玄感手執長矛當先殺出，一萬伏兵盡起，楊萬碩也回馬掩殺。衛玄一見中了埋伏，急令全軍後撤，為穩定軍心，他不顧生死向前，接住楊玄感就戰。豈料楊玄感勇猛無比，他根本不是對手，只三五回合，即險些中矛喪命，只得撥馬而逃。官軍敗得一塌糊塗，前軍五千人盡失。
當日下午，在洛陽尚書省楊玄感駐地，軍事會議正在進行。由於洛陽城池堅