起先魯山的活動區域在遼東，即海城以東，鳳凰城以西的區域。枯樹嶺伏擊戰是南滿支隊的成名之戰，一戰消滅五十名日軍使支隊闖出了名頭，讓俄軍重視起這支裝備精良、戰力不俗的武裝來，要求他們儘快消滅“為禍”東滿的馮德麟部土匪。隨後不久，結束在下馬塘休整的熊勳大隊在海城東北的陳家屯一帶與馮德麟部正面交手。重創馮部。還俘虜了一個日本軍官，震驚遼東。隨後，魯山率會合了第三批增援人員的支隊主力南下海城，開始了對馮德麟部的“清剿”。
馮德麟當然不知道南滿支隊的來歷。將其當做了一股不明身份的鬍子。如果他知道對手是經過嚴格訓練。有著嚴密組織的正規軍。馮德麟或者會採取躲避的策略而不會魯莽地與南滿支隊硬拼。
陳家屯一戰馮德麟失利，心裡很不服氣。迅速糾集了幾股散匪，準備將闖入自己地盤的“外來戶”消滅或者驅逐出去。錯誤的情報誤導了馮德麟這個慣匪。他認為敵人不過二三百人而已，而自己最少可以集結四五百人，還有日本人提供武器。所以，馮部派出馬隊，加大了對南滿支隊的偵察。魯山率主力抵達海城附近後，聽取了一直與馮部周旋的熊勳的意見，示敵以弱，故意放出風聲，讓馮部掌握了熊勳大隊的行蹤，故意讓馮德麟大隊將熊勳所部二百餘人合圍在陳家屯。但激戰一日，數次強攻均告失利，意識到中計已經晚了，魯山的其餘兩個大隊已經乘夜粘了上來，兵力優勢，裝備和戰鬥力更不是馮部可比。馮德麟終於見識了正規軍與鬍子的差距了。第二次陳家屯一戰，馮德麟重傷而死，縱橫遼東令俄國人頭痛不已的馮德麟部被基本消滅。
陳家屯一戰震動遼東。當地百姓對南滿支隊又恨又怕。魯山為首的軍政委員會研究了局勢，意識到必須緩解當地百姓對南滿支隊的誤解。辦法很簡單，他們採取了殺富濟貧的傳統措施，將繳獲的馮德麟家的財貨散發百姓。收集證據，嚴厲鎮壓海城周圍幫助日軍的富戶，槍斃了一批勾結日軍的當地士紳。這種做法很讓俄軍高興，他們愈發重視這支一心向著俄軍的武裝了。
魯山在龍謙手下時也算循規蹈矩，雖然因過失被降過職，但一直都是龍謙在軍事上特別是軍訓上依賴的頭號大將。其實魯山對龍謙強調紀律，不輕易開殺戒是有看法的。總覺著自己的老大什麼都好，就是過於書生氣了。打天下嘛，哪個不是鋼刀開路，殺出一片天空的？現在魯山領軍在外，有便宜行事之權。所以，在打擊馮德麟部的過程中不免有些嗜殺了，凡是有通日證據著，一律槍斃。偏偏遼東地方還吃這一套，一通殺戮之後，海城以東的局勢平靜了許多。雖然很快由於俄軍正面的失利，別說海城，連遼陽都丟失了，但南滿支隊的名頭算是闖出來了，陸大山的名號威震南滿，讓鬍子們面臨艱難的選擇，要麼選擇與陸大山的部隊對抗，要麼投降，加入陸大山的山頭。這個時代，國家、民族、名節、正義等東西沒幾個人懂得，特別是鬍子們，有奶便是娘是絕大多數共有的特點。便是在新民一帶說了算的張作霖部，很多人也是或俄或日，搖擺不定。所以，魯山兵威所致，遼東道上的鬍子們大部分選擇投降。
在1904年的春夏之交，總計有上千人的土匪投降了南滿支隊，被編入部隊進行紀律、軍事等方面的訓練。鬍子們習慣了自由散漫了，等他們加入南滿支隊，方知這支部隊的軍規之嚴，訓練之苦。於是，開始有人拖槍逃跑，凡是被抓獲的逃兵，魯山一律槍斃，毫不容情。
魯山性格中有龍謙不知的另一面，但參加過蒙山整軍。自始至終見證了蒙山軍從小到大，從弱到強過程，魯山及其與高階軍官們已經將龍謙治軍的那一套正面的東西學到了手，所以，軍規是前所未有的嚴厲，訓練是前所未有的嚴酷，對於手下強姦婦女，打劫客商百姓者，魯山跟對待逃兵一樣，幾乎就是一個結果。死刑！
一直跟隨南滿支隊行動的俄軍聯絡官索科洛夫少校對於支隊的紀律整頓和軍事訓練大為驚異。他簡直不相信這是土匪能做到的。他給阿爾傑米耶夫少將的報告中說，這支部隊的主要指揮官們似乎在哪裡接受過正規的軍事訓練，其條令、制度、訓練方法頗有值得借鑑之處，希望總部予以重視。但他怎麼也不會想到這支部隊有數百人是來自關內的正規軍官和士兵。而主管這方面事務的阿爾傑米耶夫少將只是關心這支部隊的戰果。哪裡會去深究？支隊戰鬥力越強。他就越高興。
海城當地的親日勢力被鎮壓下去後，開始有貧苦農民參加南滿支隊，有了當地人的加入。南滿支隊越來越耳聰目明瞭。
五月初，南滿支隊再次整編，充實了三