，何心可以安之。身辱高位，傾覆尋至，願守先人弊廬，豈可得哉！違命誠忤天威，曲從即復若此。蓋聞古人申於見知，大臣之節，不可則止。臣雖小人，敢緣所蒙，念存斯義。今天下自服化以來，方漸八年，雖側席求賢，不遺幽賤，然臣不爾推有德，達有功，使聖聽知勝臣者多，未達者不少。假令有遺德於版築之下，有隱才於屠釣之間，而朝議用臣不以為非，臣處之不以為愧，所失豈不大哉！臣忝竊雖久，未若今日兼文武之極寵，等宰輔之高位也。且臣雖所見者狹，據今光祿大夫李憙執節高亮，在公正色；光祿大夫魯芝潔身寡慾，和而不同；光祿大夫李胤清亮簡素，立身在朝，皆服事華髮，以禮終始。雖歷位外內之寵，不異寒賤之家，而猶未蒙此選，臣更越之，何以塞天下之望，少益日月！是以誓心守節，無苟進之志。今道路行通，方隅多事，乞留前恩，使臣得速還屯。不爾留連，必於外虞有闕。匹夫之志，有不可奪。”不聽。
及還鎮，吳西陵督步闡舉城來降。吳將陸抗攻之甚急，詔祜迎闡。祜率兵五萬出江陵，遣荊州刺史楊肇攻抗，不克，闡竟為抗所擒。有司奏：“祜所統八萬餘人，賊眾不過三萬。祜頓兵江陵，使賊備得設。乃遣楊肇偏軍入險，兵少糧懸，軍人挫衄。背違詔命，無大臣節。可免官，以侯就第。”竟坐貶為平南將軍，而免楊肇為庶人。
祜以孟獻營武牢而鄭人懼，晏弱城東陽而萊子服，乃進據險耍，開建五城，收膏腴之地，奪吳人之資，石城以西，盡為晉有。自是前後降者不絕，乃增修德信，以懷柔初附，慨然有吞併之心。每與吳人交兵，剋日方戰，不為掩襲之計。將帥有欲進譎詐之策者，輒飲以醇酒，使不得言。人有略吳二兒為俘者，祜遣送還其家。後吳將夏詳、邵顗等來降，二兒之父亦率其屬與俱。吳將陳尚、潘景來寇，祜追斬之，美其死節而厚加殯斂。景、尚子弟迎喪，祜以禮遣還。吳將鄧香掠夏口，祜募生縛香，既至，宥之。香感其恩甚，率部曲而降。祜出軍行吳境，刈谷為糧，皆計所侵，送絹償之。每會眾江沔遊獵，常止晉地。若禽獸先為吳人所傷而為晉兵所得者，皆封還之。於是吳人翕然悅服，稱為羊公，不之名也。
祜與陸抗相對，使命交通，抗稱祜之德量，雖樂毅、諸葛孔明不能過也。抗嘗病，祜饋之藥，抗服之無疑心。人多諫抗，抗曰：“羊祜豈鴆人者！”時談以為華元、子反覆見於今日。抗每告其戍曰：“彼專為德，我專為暴，是不戰而自服也。各保分界而已，無求細利。”孫皓聞二境交和，以詰抗。抗曰：“一邑一鄉，不可以無信義，況大國乎！臣不如此，正是彰其德，於祜無傷也。”
祜貞愨無私，疾惡邪佞，旬勖、馮紞之徒甚忌之。從甥王衍嘗詣祜陳事，辭甚俊辨，祜不然之，衍拂衣而起。祜顧謂賓客曰：“王夷甫方以盛名處大位，然敗俗傷化，必此人也。”步闡之役，祜以軍法將斬王戎，故戎、衍並憾之，每言論多毀祜。時人為之語曰：“二王當國，羊公無德。”
咸寧初，除徵南大將軍、開府儀同三司，得專辟召。初，祐以伐吳必藉上流之勢。又時吳有童謠曰：“阿童復阿童，銜刀浮渡江。不畏岸上獸，但畏水中龍。”祜聞之曰：“此必水軍有功，但當思應其名者耳。”會益州刺史王浚徵為大司農，祜知其可任，浚又小字阿童，因表留浚監益州諸軍事，加龍驤將軍，密令修舟楫，為順流之計。
祜繕甲訓卒，廣為戎備。至是上疏曰：“先帝順天應時，西平巴蜀，南和吳會，海內得以休息，兆庶有樂安之心。而吳復背信，使邊事更興。夫期運雖天所授，而功業必由人而成，不一大舉掃滅，則眾役無時得安。亦所以隆先帝之勳，成無為之化也。故堯有丹水之伐，舜有三苗之徵，鹹以寧靜宇宙，戢兵和眾者也。蜀平之時，天下皆謂吳當並亡，自此來十三年，是謂一週，平定之期覆在今日矣。議者常言吳楚有道後服，無禮先強，此乃謂侯之時耳。當今一統，不得與古同諭。夫適道之論，皆未應權，是故謀之雖多，而決之慾獨。凡以險阻得存者，謂所敵者同，力足自固。苟其輕重不齊，強弱異勢，則智士不能謀，而險阻不可保也。蜀之為國，非不險也，高山尋雲霓，深谷肆無景，束馬懸車，然後得濟，皆言一夫荷戟，千人莫當。及進兵之日，曾無籓籬之限，斬將搴旗，伏屍數萬，乘勝席捲，徑至成都，漢中諸城，皆鳥棲而不敢出。非皆無戰心，誠力不足相抗。至劉禪降服，諸營堡者索然俱散。今江淮之難，不過劍閣；山川之險，不過岷漢；孫皓之暴，侈於劉禪；吳人之困，甚於巴蜀。而大晉兵眾，多於前世；資儲器械，盛於往時；今不於此平吳，而更阻兵相守，征夫苦