橫江，戒備極其嚴密，又在蘇東坡曾為作記的石鐘山，列炮轟擊。彭玉麟分軍三隊，血戰攻克湖口，乘勝進窺彭澤。那裡的地名極妙，東岸叫彭郎磯，西岸叫小姑洑，江心有座山，就叫小姑山，“黃老虎”用它作為炮臺，炮口正對官軍的戰船，照常理說，不易攻下，但畢竟為彭玉麟所佔，當時他有一首傳播遠近的詩：“書生笑率戰船來，江上旌旗耀日開；上萬貔貅齊奏凱，彭郎奪得小姑回。”
因此，彭玉麟對湖口的形勢，異常熟悉，先看了沿江的防務，再召集鎮標營將點名，名冊一到手，立刻就發現了怪事。
“昌期，”他問，“你可記得長江水師章程第十五條，兵部是怎麼樣議定的？”
這一問把黃翼升問住了。不是答不出，是不便回答。兵部原議：“水師缺出，不得攙用別項水師人員”，而此刻名冊上，不但有非長江水師出身的人，甚至還有根本不是水師出身的人，與定製完全不符，叫黃翼升如何回答？
“這冒濫，太過分了。我不能不嚴參。”彭玉麟說，“當初原以長江水師人員，立了功的太多，勇目保到參將、遊擊的都很多，為了讓他們也有補實缺的機會，所以議定長江水師缺出，必得就原有人員之中選補。你弄些不相干的人來佔缺，百戰功高的弟兄們，毫無著落，你倒想想看，對不對得起當年出生入死的袍澤？”
說完，彭玉麟把名冊上非長江水師出身，或者已經犯過開革而又私自補用的，一概打了紅槓子，預備淘汰。
點過名又看經費帳冊，這裡面的毛病更是層見疊出，營裡的紅白喜事，至於祭神出會，都出公帳，由地方攤派，彭玉麟大為搖頭。
“看這筆帳，”他指著帳簿說：“一座綵牌樓出兩筆帳！攤派已經不可，還要報花帳，這成何話說。”
這座綵牌樓還未撤去，迎接彭玉麟是這一座，迎接曾國藩也是這一座，把彩結由紅綢子換成白綢子，便算兩座。事實俱在，黃翼升也無法為部下掩飾了。
於是那名管庶務的都司，也被列入彭玉麟奏劾的名單之內。同時提出警告，再有任意攤派，騷擾地方的情事，他要連黃翼升一起嚴參。
當著許多部屬，彭玉麟這樣絲毫不給人留面子，黃翼升自覺顏面掃地，既羞且憤，當夜就託詞有病，開船回安徽太平府的水師提督衙門。第二天一早，湖口鎮總兵到彭玉麟座船上來稟知此事，彭玉麟微微冷笑，只說得一句：“他也應該告病了！”
那總兵不敢答腔，停了停問道：“今天請大人看操，是先看弓箭，還是……。”
一句話不曾完，彭玉麟倏然揚眉注目，打斷他的話問：“你說什麼？看弓箭？”
“是。請大人的示下，是不是先看弓箭？”
“什麼看弓箭？我不懂！”彭玉麟說：“旗下將領，拿《三國演義》當作兵法，莫非你們也是如此？”
不知他這話什麼意思？那總兵硬著頭皮說道：“求大人明白開示！”
“我是說，你們當如今的水師，還用得著‘草船借箭’那一套嗎？我問你水師弁勇分幾種？”
這還用問嗎？分槳勇和炮勇兩種，槳勇是駛船的水手，炮勇是炮手，打仗就靠這兩種弁勇，此外都是雜兵。彭玉麟豈會不知？問到當然別有用意，那總兵便又沉默了。
“我不看弓箭！不但不看，我還要出奏，水師從今不習弓箭！你想想看，如今都用洋槍火炮，弓箭管什麼用？這都是你們好逸惡勞，嫌住在船上不舒服，借操練弓箭，非得在陸地上設垛子為名，就可以舍舟登岸。好沒出息的念頭！”
就這樣一絲不苟，毫不假惜地，彭玉麟從湖口一直看到長江入海之處的崇明島。風濤之險，溽暑之苦，在他都能忍受，不能忍受的是，黃翼升把他和楊嶽斌苦心經營，有過赫赫戰績的長江水師，搞得暮氣沉沉，比綠營還要腐敗。綠營兵丁在岸上還不敢公然為盜，長江水師則官匪不分，水師炮船的長龍旗一卸，士兵的號褂子一脫，明火執仗，洗劫商船，這樣的盜案，報到地方衙門，自然一千年都破不了的了！
因此，過安徽太平府時，他就暗示黃翼升，應該引咎告退。話說得很露骨，而黃翼升裝作不解。賴著不走，原是比任何解釋、闡說更來得厲害的一著，那知彭玉麟比他還要厲害，竟代擬了一通自請開缺的奏稿，封寄黃翼升。到此地步，還想戀棧，就得好好估量一番了。彭玉麟此行奏劾的水師官員，總計兩百八十餘員，或者治罪、或者革職、或者降調，無不準如所請，聖眷如此之隆，就破了臉也搞不過他，不如見機為妙。於是黃翼升嘆口