歸國後歷任兵部少輔、大輔、陸軍大輔、陸軍卿、參軍、參謀本部長、內務大臣、農商大臣。直至成為軍界第一無二的實力人物。
他長期致力於日本近代陸軍的建設與改造。
1878年發表《告誡軍人書》，強調勇敢、忠誠和服從天皇的舊有美德，反對民主和自由主義傾向。
他是《徵兵令》的倡導者和制定者，他主持進行的變鎮臺為師團制，整頓陸軍教育機構，創立軍醫處，為近代陸軍的建立打下思想上和組織上的基礎。逐步把日軍建設成一支近代資產階級軍隊發揮了重要作用。因此，有“日本近代陸軍之父”之稱。
同時，他還透過兩次組閣，在政治上推行“強兵富國”政策，為日本軍國主義的形成和發展進一步拓寬了空間。他的統治術雖不像伊藤博文那樣老謀深算，但也不是平庸之輩。他性情沉穩且有些神經質，辦事慎重而果斷。
不論任何事情，一旦下定決心，就不顧一切幹到底。
日本政府軍不但是山縣有朋參與締造的，而且，這個時候的訓練水平已經不低了！
1872年，發生了懷疑陸軍省御用商人山城屋從山縣有朋處接受陸軍省公費違法融資事件，山城屋自殺，山縣被迫辭職。但兩個月之後山縣便復官為陸軍卿，這是因為當時的薩長藩閥政府認為如果沒有山縣有朋，日本建立新式陸軍的腳步就會放緩。
政府首先確立了前所未有的徵兵制度。根據山縣有朋在奇兵隊的經驗和考察歐洲各國徵兵制的基礎上，日本政府於1872年頒佈徵兵詔書。詔書及同時頒佈的太政官告諭批判舊武士階層“抗顏坐食”，指出打破武士身份特權將實現上下平等，人權齊一，這樣才是兵農合一的基礎。這種觀點代表了出身於下級武士的維新功臣們的共同想法。
山縣有朋有一特雅緻特優美的名號叫“含雪”，但他一輩子幹得那些事兒和“雅緻優美”沒一點關係。他自幼習武，什麼劍術、柔道、槍法，都挺拿手。年輕時山縣英勇地參加了討伐幕府的戰爭，為明治天皇政府立了大功。日本歷史上最大的“全新改版””明治維新開始後，山縣被明治政府派到歐美各國考察軍事，這一考察可不得了，山縣受刺激了，原來西方的軍事力量是如此強大如此發達，而他們“東洋軍”和“西洋兵軍一比，簡直就是一原始部隊。
回國後山縣逐漸掌握了明治政府的軍隊大權，開始把自己全部的精力和能力都用在了改革軍制上，他要把日本軍隊也打造成歐美國家那樣的強兵勁旅。
山縣仔細琢磨了一下他在歐美各國看到的軍事制度，認為日本陸軍應該向誕生過陸戰第一牛人拿破崙的法國學習，日本海軍應該向誕生過海戰第一牛人霍雷肖納爾遜的英國學習，後來他又覺得戰略天才毛奇領導下的德國（普魯士）陸軍更牛，連不可一世的法國也被德國（普魯士）打翻了，於是乎，他乾脆把日本陸軍軍制改成德國式的，一時間，日本軍界冒出了一大批“德粉”。
當時日本計程車兵多是職業武士組成的藩兵，這幫傢伙沒見過啥世面，相當落後，還自以為是，山縣早就想廢他們了。
在山縣的主張下，明治政府搞了個《徵兵令》，在全國老百姓中徵兵，士兵終於不再像原來那樣只能由武士來當了。近代兵制一實施，日軍的實力馬上壯大起來。
為了讓新建的軍隊“老實聽話”，山縣又搞了諸如《軍人“讀法”七條》、《軍人訓誡》、《軍人敕諭》之類的東西，規定士兵們最最重要的就是效忠天皇，為天皇而戰是最大榮譽，為天皇而死是最大幸福。
山縣一天到晚鼓足了勁給日本士兵灌輸武士道精神，就這樣，日本軍隊成了“皇軍”，為了“天皇”，他們幹什麼都行。
有了新軍隊，舊日的武士就不值錢了，山縣又建議政府頒佈《廢刀令》，強迫武士摘掉了象徵地位身份的武士刀（當然，山縣他們那幫“皇軍”頭頭們還是整天配著東洋刀的）。
武士們對新政府幹得這些事很憤怒，於是一連串的武士叛亂爆發了，其中影響最大的就是昔日“維新三傑”之一、日本歷史上著名的悲劇英雄西鄉隆盛領導的1877年的鹿兒島叛亂（即“西南戰爭”）。
1878年他設立了一個相當重要的軍事部門參謀本部，這可是日本軍事史上的大事，“參謀本部”這個東西權力極大，直屬天皇，可以直接指揮陸軍，負責所有陸軍作戰計劃的制定。對參謀本部來說，政府和議會算個鳥，不僅政府無權管它，它還可以操縱政府。後來日本怎麼就變成了軍人當政的軍國主義國家去四處殺人