在內閣裡有一個總統的弟弟，是有種種不利之處。鮑勃說話直率所犯的錯誤，是不可能十分輕易地予以否認的。他的敵人可以攻擊“肯尼迪弟兄”，而不必僅僅攻擊內閣。他對其他各部事務的干預，對他的同僚是個較大的威脅，因為他如不是肯尼迪家的一個成員，他的同僚可能會較為有力地加以抵制的。不過他的長處遠遠可以抵消這種種短處：他少年老成，具有成熟的判斷力和非凡的幹勁、忠誠與獻身精神。因此，他的種種錯誤和政敵的問題，在這弟兄倆之間更多地是引起輕鬆的玩笑，而不是表示惋惜。
同我在1953年初次見到他時相比，1961年的鮑勃·肯尼迪顯得更為熱情和深沉得多。這不僅僅是因為我們這時正相處得很融洽。他在內閣中的工作既增長了他的專業才幹，也使他更為通情達理。透過處理種族偏見的受害者的案件，透過處理青少年犯罪案件的種種起因，他變得更富有同情心了。透過處理戰爭與和平的問題，他變得沒有以前那麼好戰。而透過跟他哥哥一起工作，他變得更有耐心，更樂於聽取意見，更為寬厚，並且不那麼固執己見。
肯尼迪弟兄倆之間建立起了一種信任與友愛的關係，這即使在弟兄之間也是罕見的。他們總是立即地互通訊息，幾乎是靈犀相通的。甚至總統也說，他們的互通訊息是“有些神秘難解的”。兩人都拿鮑勃在政府裡的威望僅次於總統這件事開玩笑。當司法部長打來的一個電話使橢圓形辦公室裡的一次會議中斷了的時候，總統會笑著說，“請各位容我離開一會，這是國內第二個最有權力的人打來的電話。”
象內閣所有的成員和總統的關係一樣，他們弟兄倆並不總是意見一致的。當報紙上刊登的一篇關於羅伯特·肯尼迪的訪問記使得豬灣事件的爭論再起時，總統是很不高興的。當總統在就職後的一次宴會上開玩笑說，他認為任命他的弟弟做司法部長並沒有什麼壞處，這可以使“他在當律師之前先有一點經驗”，這時候鮑勃也很不高興。實際上，鮑勃（他不喜歡人家叫他鮑勃，但是始終沒能說得總統改口）對於裙帶風的指責一直是很敏感的，所以儘管他具有響噹噹的學歷和資歷，對於他哥哥想提名他做司法部長的願望，他早就表示過反對。但是不這樣做而叫他擔任沒有職責的總統私人顧問，沒有指揮權的白宮顧問，或是國務卿或國防部長的一名助手，那實際上顯然也是困難的。
國防部長羅伯特·麥克納馬拉在肯尼迪班子裡的新人中顯然是個出色的和強有力的人物。他自己的工作班子和助手同鮑勃·肯尼迪和道格拉斯·狄龍的一樣，在華盛頓，可能也是在歷史上最出眾的班子和助手了。主要由於總統對麥克納馬拉的才幹十分信任，所以國防部開始在與其他部門有關的各個領域內起著一種比這些部門重要得多的作用，諸如在民防、太空、情報、準軍事性的行動、對外援助以及一般的對外政策等方面。同有些國防部長不一樣，麥克納馬拉甚至深入地鑽研了種種軍事問題。此外，他在企業界的經驗在那次鋼鐵價格的爭端中發揮了作用，而他過去作為福特汽車公司的有獨立見解的共和黨人經理這一身份，對於制止共和黨人的攻擊也是個有效的因素。
麥克納馬拉起初不願意離開企業界。他的名字是由施賴弗的蒐羅人材的班子提出來、並由幾位社會賢達加以推薦的。施賴弗到底特律去邀請麥克納馬拉的時候，拒絕接受否定的答覆。麥克納馬拉於是到華盛頓去向當選總統再次表示他懷疑自己是否能夠勝任。肯尼迪回答說：“我沒聽說過有什麼專門訓練內閣官員的學校。”麥克納馬拉重新考慮了這件事。他得到當選總統的保證，他將既不受賽明頓的研究五角大樓改組問題的班子的約束，也不在選擇他的下屬問題上受任何政治義務的約束，這樣他便決定，不可能再對總統說“不”了。
他們倆都始終沒有為這項決定感到遺憾。兩人之間建立了一種密切的公務關係與私人關係。他們在重申文職官員對軍人的控制方面互相支援。兩人都長時間地埋頭苦幹。兩人都喜歡作出明確的決定，而不喜歡長時間地設法弄得人人滿意。在我與肯尼迪相處的十一年中，我還從來沒有看到過他對任何別人象對麥克納馬拉那樣快地引起了欽佩和尊敬的感情。這種情況使麥克納馬拉一家能夠不受肯尼迪的那條成規的限制，即把公務關係與私人交情分別開來。
總統公開和私下都一再用熱情洋溢的詞句稱讚他的國防部長。但是這並沒有妨礙他駁回麥克納馬拉的建議。麥克納馬拉滿懷信心地表達出的簡明的權威性結論給肯尼迪留下了深刻的印象，不過也始終沒有使他失去自己的判斷力。他