似乎很好，邀李志強參觀了他的菜園、果園，從一棵桃樹上擷下幾個大桃送給李志強，並口佔四句詩相贈。多年以後，當李志強有可能和人談起這件往事的時候，她已經年邁體衰，只能回憶起後面兩句：
平生戎馬無暇日，
老來偷閒學種桃。
這兩句詩雖為自嘲，也確是彭德懷這一段生活的一個側面。使人不禁想起南宋曾舉兵抗金的詞人辛棄疾晚年退閒後的名句：“卻將萬字平戎策，換得東家種樹書。”
為了給以後回鄉生產自食其力做準備，彭德懷在吳家花園買了不少土壤學、栽培學等農業技術書，又拜附近果園的農藝師劉富先和孟瑞祥為師，學習果樹栽培嫁接技術。吳家花園在幾年內改了觀，除有麥地、菜畦、魚池，還種了桃、梨、核桃、蘋果、葡萄、柿子各種果樹。他計劃把北方能生長的果樹都引進吳家花園做實驗，他和13歲就學藝、曾培育出秋香、燕紅等著名蜜桃品種的園藝師劉富先結下友誼，常相過從。不想，這一非政治性的友誼，也使劉富先在以後的“文化大革命”中被關押了一整年。
吳家花園的歲月悠長又匆促地過去了。在漫長的冬夜，彭德懷也常常看小說，讀歷史，特別喜歡讀人物傳記。他不再說自己是張飛，而常說：“我就像明朝的于謙。”
于謙在明朝曾官至兵部尚書，當北方民族瓦剌兵臨明都北京城下之際，他受命於危難，舉兵抗擊，使局勢轉危為安。于謙為官清廉，性格耿直，生活簡樸，不阿附權貴，後為瓦剌反間計所中，被明英宗以“意欲”罪殺害。《明史》載於謙被抄時：“家無餘資，蕭然僅書籍爾”。
彭德懷十分喜歡于謙那首有名的《石灰吟》：
千錘萬擊出深山，
烈火焚燒若等閒。
粉骨碎身全不惜，
要留清白在人間。
他幾次對侄女彭梅魁、彭鋼說：“我死後什麼也不要留下，一身清白。”
第四節 “也許真理在你那邊”
1965年3月，美國出兵越南。中共中央在4月12日發出關於加強戰備的指示，號召全黨、全軍和全國人民準備應付最嚴重的局面。9月，中共中央工作會議同意第三個五年計劃“以國防建設第一，加速三線建設，逐步改變工業佈局”的方針。沿海為第一線，華中為第二線；第三線是指西南的雲南、貴州、四川3省，為全國的戰略後方。
毛澤東認為，根據國際國內形勢，彭德懷、黃克誠、習仲勳等人不宜留在首都，提議分配他們到外地，掛職下放。
彭德懷專案審查委員會通知黨校派人去和彭德懷談話，瞭解他的學習情況。
7月7日，高階黨校賈震等3名副校長一起來到吳家花園。
彭德懷簡單回答了過去的學習情況，話一下跳到了廬山會議：
“黨校的人對我說：”你學中國政治經濟學應聯絡你在廬山會議上的一些問題。‘我就是那封信寫壞了，不寫那封信，主席會改的。總的說來，那封信可以不寫，但是按我這個人來說，當時不能不寫！“
彭德懷說得聲色俱厲：“對廬山會議我沒有意見，也可以教育人，就是有兩條我硬是不能同意，一條我沒有和外國人搞顛覆活動。我這個人倒是有孤立主義，還有民族主義，一向反對外國人，和外國人談不來，也不認識一個外國人。”他一邊說，一邊用手敲茶几，茶几震動起來：“如果查出有什麼叛國活動，按國法辦！”“還有一條，說我搞小集團活動，我歷來沒有，也未想到，請中央去查，如有，按黨紀處理！”
彭德懷提高了嗓子：“十中全會以後，什麼檔案也沒有了，我現在好像是一個脫黨分子，我不會像高崗一樣去自殺。我這個人不會開小差，最好到農村蹲點，到基層去做點工作。現在我想到雲南或貴州山區農村去……那裡沒有外國人。”
談話進行了一個多小時，事後由賈震等3人回憶追記上報毛澤東、政治局常委、書記處成員和中央專案組負責人。
9月7日，彭德懷、習仲勳專案委員會常委開會研究今後工作，康生在會上講話說：
“中央最近分配這些人（彭、黃、習）的工作，我們瞭解有兩方面：一方面更便於我們審查他們的活動，所以我們不要鬆氣（有人插話：他們一出去，就會叫）；二方面還表示希望他們轉過來，轉不轉過來，全看他們自己。”
9月11日上午，高階黨校副校長賈震又到吳家花園，通知彭德懷：中央有人和你談話，現在就請你去人民大會堂。