但在他個人思想上，卻對這一區別身份的標識，感到厭煩。他總擔心這種形式會影響上下級之間政治平等的關係，擔心妨礙軍隊同人民的親密聯絡。在一些外事活動和隆重典禮的場合，按照軍隊條令規定都要穿禮服，每遇到這種情況，他都流露出很不愉快的情緒。他在同幹部談話和閒談中曾多次說：“我這個人並不需要這個‘牌牌’，我也夠不上什麼元帥，如果要評的話，也很難說評個什麼‘將’是合適的。但這不是個人問題，倘不評一些元帥，那就會使一些人難得依次評下去。”1959年6月1日，他在同阿爾巴尼亞國防部長巴盧庫談話時還說：“我不喜歡人家叫我元帥，這是戰爭的結果，是學人家的，我不喜歡肩上這兩塊牌牌，將來會沒有的。”
全軍高階將領評定軍銜，是彭德懷花費精力最多的事情之一。在1955年軍官評銜的時候，解放軍已經走過了28年的戰鬥歷程，高階將領各有自己的特殊經歷，來自不同的革命根據地和方面軍以及地區部隊（東北抗日聯軍、海南瓊崖縱隊、兩廣縱隊、陝北紅軍、雲南填邊縱隊、新疆民族軍等），即通常所說的“山頭”。這些情況在條例中根本無法涉及，而在評定軍銜時卻又是絕對不能有所忽視的。否則，評銜的結果就達不到增強團結、提高積極性的目的。
元帥和大將的授銜名單，是由中共中央書記處提名，經過政治局審議確定，彭德懷只參加討論發表個人意見。而1000多名將軍，特別是其中幾十名上將的授銜名單，則必須由彭德懷主持擬定，上報中央政治局。從1955年春天開始，彭德懷帶著總幹部部擬製的名單和幾個方案，分別拜訪每位“老總”同他們磋商每個高階將領的軍銜，研討那些帶有爭議人員的方案。對於少數有特殊情況的將領，彭德懷還直接和本人交談，聽取意見，提出組織上的考慮，消除思想上的誤解，使其心情舒暢。
全軍近百萬幹部的軍銜評定，在羅榮桓的主持下，經過深入細緻的工作，反覆比較，綜合平衡，進展順利，效果良好。在1000多名將軍中，授銜以後公開認為自己偏低的只有極少數人。還有自認為評得過高，主動要求降低的。裝甲兵司令員許光達，被評為大將，他幾次向中央軍委寫報告要求降低，彭德懷請他來當面解釋，才答應接受，但是最後仍堅持自行降低一級薪金待遇。總幹部部副部長徐立清，按條例規定應評為上將，在討論名單時因需要減少上將名額，他即以自己是主辦評銜工作的，不能“近水樓臺”為理由，誠懇要求把自己降為中將。彭德懷曾幾次找他談話，但由於他一再堅持，最後還是改為中將。當時在正兵團級幹部中，他是僅有的幾名中將之一，其他都是上將。這些老將軍不計較個人名利的高尚品德，為中國人民解放軍全軍幹部樹立了楷模。
在實行軍銜制的過程中，對彭德懷不滿意的，是一部分婦女工作人員。30多年以後，仍有人悻悻然。她們的意見主要是針對1955年初《國防部關於處理和留用婦女工作人員的決定》的。《決定》中有兩條硬性規定，使她們感到特別不快。一是說，在軍、師及其以下的機關、部隊，除師屬衛生營外，不論擔任何種職務的婦女工作人員，應一律調離部隊，分別按轉業或復員處理，並限於1955年6月底以前處理完畢，“期限滿後未處理者，停發薪金”。另一是，“在軍以上機關或後勤部門，現在擔任各種職務的婦女工作人員，凡不符合該決定所指的範圍者，均應作轉業或復員處理”， “至195 年12月31日止仍未處理完畢者，一律停止供給”。這裡的“停發薪金”、“一律停止供給”兩句，未免有傷感情。對於那些不適合授銜條件的女工作人員，早在 1952年12月全軍參謀長和政治部主任聯席會議土，就已確定全軍11萬女軍人，在1953年安排10萬人離隊，餘下1萬人在授銜前，根據不同情況，分別作出不同安排。到1955年初，經過了兩年的思想教育和細緻的工作處置，絕大部分女軍人都己各得其所。彭德懷簽發的那個《國防部關於處理和留用婦女工作人員的決定》，硬性規定限期處理完畢，便是在這樣情況之下作出的。
彭德懷最珍貴的紀念品之一，是長期鎖在保險櫃裡的一枚“一級紅星獎章”。這枚獎章是1933年8月1日根據中華蘇維埃中央人民政府7月11日的決議，作為紅軍中有特殊功勳的指揮員而授予的。
對於勳章、獎章制度的建立，彭德懷認為在軍隊建設中是必不可少的。1953年4月，副總參謀長李克農向彭德懷彙報許多默默無聞、忠心耿耿的情報工作人員的英勇事蹟。彭德懷滿懷深情地說：“這些