他已沒有任何親人可以傾吐憤懣，只是把心中的積憤與痛苦連同他從政以來的檔案信函加以整理印發，聊補生活的缺憾。
1585年，已退職15載的海瑞被萬曆皇帝重新起用，任命他為南京右僉都御史，後改為南京吏部右侍郎。這時的海瑞已是72歲的高齡了。
海瑞風塵僕僕地從海南來到南京，一路上的勞頓還沒恢復，便立即給皇帝上了一篇疏文，大意說：“陛下勵精圖治，而吏治卻很不理想，原因就是對貪官的刑罰太輕。諸臣找不到這個原因，反而說只要侍官們以‘禮’，他們自會廉直，這其實是文過飾非。這樣的‘待士以禮’，老百姓又怎麼辦？太祖洪武三十年明訂刑律，凡貪汙枉法八十貫的，便處絞刑。貪汙再多的，依太祖的規定是剝下皮來裝上稻草，公開示眾。現在也應該這麼做。”
海瑞此議一出，輿論鼎沸，反對的居多數，認為這不符合本朝提倡的“仁政”。但也受到青年學子和下級官員的擁護，結果不但在朝廷上，也在社會上掀起了一場大辯論。那時海瑞已改任南京都御史。他的一個部下，提學御史房寰竟破例參劾了自己的頂頭上司。說他到任後“無一善狀”，只知道“詐偽荒誕，誇耀自己，貶低別人。”又玩弄造謠誹謗的故伎，無中生有地捏造說他“以聖人自許，奚落孔孟，蔑視天子。”這種抓住片言隻語便想繩人以罪的手法博得一些人的喝采，但也遭到一些人的憤怒駁斥。
兩京的官員為這件事紛紛擾擾爭吵不休。萬曆便叫吏部考慮個妥善辦法。吏部的官員們商討之後，提出處理意見，認為海瑞那剝皮實草的主張過於偏執，“不協於公論”，建議不任命他以重要實職，但仍保留他都御史的正二品的官階待遇。萬曆同意了這個意見，批示說：
“海瑞屢經薦舉，故特旨簡用。近日條陳重刑之說，有乖政體，指責朕躬，過於迂戇。朕並不怪罪而加以優容。不過海瑞雖然當局任事，恐非所長，而用以鎮雅俗、勵頹風，未為無補，合令本官照舊供職。”
這份詔令由給事中六科衙門抄發公佈，由各地的《邸報》傳遍天下，海瑞還能有什麼作為呢？連皇帝都說他“迂戇”，說他“任事非所長”，而他的“照舊供職”，也僅僅起個“鎮雅俗、勵頹風”的作用，他這個堂堂的二品大員，還有什麼理由再幹下去？海瑞憤而上疏辭請，一連上了七次辭呈，但每次的御批都是照例的四個字：“所請不準”。這樣，海瑞整日在欲幹不能，欲罷不休的處境中艱難度日。
萬曆十五年（1587年），74歲的海瑞，終於在極度的憂鬱憤懣中走完了他的人生途程，在南京都察院的住所裡逝世。
辦理喪事的南京僉都御史王用汲，見這位骨瘦如柴、白髮似雪的青天海大人躺在一張破舊的木床上，身邊堆積著陳舊的粗布被褥和衣衫，不禁潸然淚下。海瑞惟一的積蓄只有十兩紋銀，還不夠買一口棺材。王用汲在悲痛之餘回到南京都察院，發動同鄉捐款，才沒有使海瑞暴屍荒野。
海瑞死後的情景催人淚下，慟徹肝腸。百姓萬分悲痛，哀傷不已。街市停止營業，穿戴白色衣冠的送喪行列，夾著江岸悼祭哀哭的悲聲，驚天動地，連成一片，百里不絕，無不顯示了江南父老鄉親，對這位曾為他們造福的前南直隸巡撫的哀掉之情。
海瑞從政20多年，充滿了各種各樣的糾紛。他的信條和個性使他既被人尊重，又被人遺棄。正當萬曆皇帝和臣僚們集中精力和財力修築定陵壽宮時，傳來海瑞的死訊。他的謝世，無疑使萬曆皇帝本人和京都負責人事的官員又大大地鬆了一口氣，他們再也用不著為這位大眾心目中的清官去操心，為這位到處惹是生非的人物再做安排了。而為數不少的臣僚，卻為自己面前少了一位對手而慶幸。
死屍復活
就在海瑞謝世三百年後的1959年4月，他的死屍復活，並登上了中國的政治舞臺。這位海大人的出現，引起的社會震動要比他當年的罵嘉靖皇帝強烈得多。由此發生的整個國家民族的災難，大概也是這位封建時代的正直官吏所無法預料的。
自1957年反右鬥爭擴大化後，不少幹部怕招惹是非，開始對自己的言行細加斟酌了。在1958年的“大躍進”和人民公社化運動中，出現了以高指標、瞎指揮、浮誇風和“共產風”為主要標誌的“左”傾錯誤，更使一些幹部緘口無言，對許多問題報喜不報憂。毛澤東察覺了這個問題，並在1959年4月黨中央召開的上海會議上，對這種不敢講真話的作風提出了批評。一次，毛澤東正津津有味地看家鄉的湘劇《生死牌》，戲到結尾時出現了海瑞。毛澤