軍隊的教育方式，講的是下級對上級絕對服從。比較之下，毛澤東在井岡山上的民主建軍的做法，本身就體現著一種嶄新的精神。粟裕曾對朱德說：毛澤東的建軍思想給他上了重要的課！
粟裕親身參加過的信豐、大庾整編，派黨員擔任連隊的領導幹部，加強了黨對基層的領導，但這時黨的支部還是建在團上。上了井岡山後，知道了毛澤東明確規定支部建在連上，使黨的工作紮根到了基層。粟裕說，這一重大措施，經過長期革命戰爭的考驗，證明具有無限生命力，保證了我軍在任何艱難困苦的情況下，連隊都發揮著戰鬥堡壘作用。
在井岡山上，為了加強黨在部隊中的政治工作，一些優秀的共產黨員被調到連隊擔任政工幹部。上井岡山後，連隊裡新戰士和解放過來的戰士多了，需要加強政治工作，粟裕的工作多次調整調動，也都是為了加強政治工作。
粟裕所在的二十八團，是南昌起義儲存下來的精華，屢立戰功，但這個團在上井岡山之初輕視政治工作的思想仍較普遍。尤其是一些行伍出身的軍人，看不起政工幹部，認為政工幹部只是擺樣子，耍嘴皮子的，賣狗皮膏藥的。
粟裕擔任黨代表後，有些行伍出身的見到他就說：“來賣膏藥嗎？多少錢一張？”
當時部隊打人風氣比較嚴重，雖然有廢止肉刑的禁令，但有些人改起來需要一個過程。二十八團有個幹部，打人相當嚴重，人們背後叫他“鐵匠”，說他打人像打鐵一樣狠。有個舊軍官出身的人，打人成痛，把軍需、上士、傳令兵、伙伕差不多都打跑了。還有老兵打新兵的現象。
打人現象越嚴重，部隊紀律越渙散。如果哪個連隊戰士逃跑多，準是那個連隊打人成風。
粟裕是反對打人罵人的，但由