針對一般國民黨將領的封建性統御，彭德懷忠告他們：要了解、鞏固、團結部隊，須從實行合理統御，自覺紀律，禁止打罵，及與士兵同艱苦做起。要解釋、說服、規勸、感動、以身作則去統御部下，而避免威嚇、打罵、欺騙和無理由的服從，要使士兵知道為什麼要守紀律，自覺地去遵守紀律。
針對國民黨將領對八路軍官兵同心、軍民團結的欽慕，彭德懷說：“士兵與長官要風雨同舟，尤其是長官與士兵間的生活距離應儘量縮小……與士卒同艱苦，是團結部隊的重要條件之一”。“對待民眾有幾件基本的事，就是實行買賣公平，說話和氣，借物要還，損物賠償，離開駐紮地時，實行紀律檢查。我們只要做到這幾項，就可以獲得民眾的好感與幫助，軍民也就可以慢慢團結一致了！”
彭德懷的報告感動了與會將領們，特別是早年追隨孫中山、在西安事變中又積極支援張（學良）、楊（虎城）義舉的一六九師師長武士敏。他積極抗日，但部隊舊習氣很重，軍民關係不好，使他十分苦惱。飯後，彭德懷到各處看望，武士敏向彭德懷傾吐心曲，長談竟夕。以後，他對人說：“當了幾十年的兵，真正懂得為國報效，是在小東嶺會議上聽到了彭副總司令的教誨後才認識的。從此，我才懂得怎樣做一個真正的軍人。” 此後，武士敏學習八路軍的經驗，與八路軍親密合作，部隊改觀，在中條山堅持抗日，直至1941年5月在對日作戰中壯烈殉國。
小東嶺會議經過熱烈討論，透過了彭德懷所作的作戰綱領報告，劃定了各軍、師活動和建立根據地的地區，協同打通了與後方的交通線。會後應友軍的要求，八路軍總部由左權主持為友軍舉辦了遊擊訓練班，政治工作講習班等。朱德、彭德懷、左權都親自給訓練班講授課程。
小東嶺會議是山西戰場上抗日民族統一戰線規模最大的一次高階軍事會議。也是以中國共產黨的戰略思想為指導的一次會議。這次會議為以後粉碎日軍對晉東南的九路圍攻奠定了基礎。
日軍在2月間分路撲向晉西南，本想以疾風驟雨式的進攻，將我軍逼過黃河，或壓入黃河急轉彎處的三角地帶，一舉而殲滅之。不料中國軍隊在朱德、彭德懷指揮下，穩穩轉入了敵後，利用太行天險，建立起新的抗戰支點。3月8日，日軍攻到風陵渡，還沒有發現中國軍隊的主力，方感恐慌。戰後日本防衛廳戰史室所編《華北治安戰》一書中述及這一段戰況時說：“有力的中國軍退入山西省內的山地，會同原來盤踞該地的共軍，擾亂我佔領地區，其威勢已不零輕視。”
小東嶺會議剛結束，一二九師在涉縣東陽關下響堂鋪對日軍打了一個漂亮的伏擊戰。在繳獲的物品中發現了一份有關日軍動向的重要檔案。內稱：“共軍猖獗，4月上句，將由潞安（長治）以 北400華里內施以痛剿。”
4月4日，日軍果然調集一○八師團全部及一○九師團、十六師團、二十師團各一部共3萬餘兵力，北從正太路之昔陽、平定，西從同蒲線上之臨汾、榆次、太谷，東從河北之元氏、贊皇、涉縣，南從屯留、長治出動，分九路大舉圍攻晉東南，企圖殲滅中國軍隊主力於遼縣、榆社、武鄉地區。
4月6日，朱德、彭德懷緊急向東路軍釋出關於部隊和民眾動員的訓令。根據這一訓令，八路軍和友軍各部普遍召開軍人大會，說明粉碎這次圍攻的意義，講解新的作戰要求，各軍同仇敵愾，士氣大振。八路軍總部派出政工人員，和地方黨組織、犧盟會、戰地動員委員會等抗日團體協同，深入鄉村宣傳群眾，實行空舍清野，組織擔架隊、運輸隊、破路隊，支援反圍攻。
為迎擊各路來犯之敵，朱德、彭德懷連夜擬定作戰方案，以八路軍的一部，決死縱隊一、三縱隊，和國民黨友軍，在地方游擊隊的配合下，分別鉗制各路之敵，掩護八路軍主力隱蔽待機。待敵人消耗疲乏到一定程度時，即集中主力擊破敵之一路，再擴大戰果。
部署就緒，彭德懷說：“我們先到鬼子眼皮底下去遊一圈，游到有一兩股敵人膽大妄為了，再一錘子收拾它。”
4月8日，自屯留北犯之敵進入沁縣，總部從容離開小東嶺，向武鄉石盤山轉移，設指揮部于山上的義門村。
各路進攻之敵受到我軍阻擊。唯由屯留北犯的日軍二十五旅團，在兇殘狡詐的旅團長苫米地的率領下，未受打擊即佔據了沁縣，又放火燒燬了歷史悠久的武鄉縣城。11日，朱德、彭德懷令待機的一二九師主力從涉縣北星夜趕赴武鄉，準備予該敵以嚴懲。
苫米地燒了武鄉，激起軍民的極大憤