兩番跋涉，統是空勞，反喪失了若干士卒，若干芻糧。囂將王遵，屢次進諫，俱不見納，會得來歙招降書，因潛挈家屬徑投洛陽，詣闕請降，得拜大中大夫，封向義侯。光武帝欲親往討囂，偏遇日食告變，乃暫罷軍事。詔求直言，並敕公卿以下，舉賢良方正各一人。先是建武五年，光武帝嘗訪求高士，得周黨王良等人，三徵始至。周黨字伯況，籍隸太原，素有清節，王莽篡位，更託疾杜門，足跡不涉鄉里。及徵車迭至，不得已奉命詣闕，布衣敝巾，坦然入見。到了光武帝座前，雖然跪伏，卻是未嘗呼謁，但自言山野布衣，不諳政事，仍請放還云云。光武帝並未加責，叫他退朝候命。獨博士範升，上疏奏劾道：臣聞堯不須許由巢父，而建號天下；周不待伯夷叔齊，而王道以成。伏見太原周黨等，蒙受厚恩，使者三聘，乃肯就車；及陛見帝廷，黨不以禮屈，伏而不謁，偃蹇驕悍，有失臣道。黨等文不能演義，武不能死君，釣採華名，希得三公之位。臣願與坐雲臺之下，考試圖國之道，倘不如臣言，臣願伏虛妄之罪；果黨等敢私竊虛名，誇上求高，亦當罪坐不敬，為天下戒。臣昧死上聞。
光武帝覽畢，將原疏頒示公卿，另行下詔道：自古明王聖主，必有不賓之士，伯夷叔齊，不食周粟；太原周黨，不受朕祿，亦各有志焉。其賜帛四十匹，許遂所志。
黨受詔即歸，與妻子隱居澠池，著書成上下篇，壽考終身。邑人共稱黨為賢，設祠致祭，歲時不絕。惟東海人王良，受官沛郡太守，遷任大中大夫，進為大司徒司直，在位恭儉，妻子不入官舍，布被瓦器，如寒素時。司徒史鮑恢，因事至東海，過候王家，良妻布裾曳柴，方從田間歸來，恢素未相識，錯疑是良家傭婦，便昂然與語道：“我為司徒掾屬，便道至此，欲見王司直夫人！”良妻答道：“妾身便是！掾史得無勞苦麼？”恢不禁驚訝，慌忙下拜，並問良妻有無家書。良妻答稱：“在官言官，不敢以家事相煩。”恢嘆息而還。賢婦風範，比義夫尤為難得。後來良因病辭歸，病癒後應徵復起，道出滎陽，探訪故友。故友不肯出見，但傳語道：“不有忠言奇謀，乃竊取大位，豈不可恥？奈何尚僕僕往來，不自憚煩呢？”良聽了此言，未免自慚，乃謝病歸裡，終不就徵。此外尚有太原人王霸，隱居養志，亦被徵入都，引見時稱名不稱臣，有司向霸詰問，霸答道：“天子有所不臣，諸侯有所不友，原是儒生本分呢！”時大司徒伏湛免官，進用尚書令侯霸為大司徒，侯霸素重王霸名，情願推賢讓能，王霸獨乞病告歸，偕妻逃隱，茅屋蓬戶，安享餘年。又如北海人逄萌，雁門人殷謨，累徵不起，併為逸民。
最著名的乃是七里灘邊的釣夫，羊裘一襲，遺範千秋，小子述及姓名，想看官應亦早有所聞，此人非別，本姓是莊，單名為光，表字子陵，會稽郡餘姚縣人。漢史避明帝名諱，改莊為嚴。因此後人只稱他為嚴子陵先生，不叫他做莊子陵。特別提出，復特別辨明。光武帝少時遊學，曾與他一同肄業，到了光武即位，他卻移名改姓，避家他去。光武帝憶念故人，令會稽太守訪問蹤跡，不見下落；再令海內各處搜求，亦無影響。光武帝終不肯忘懷，口述形容，使畫工繪成肖像，到處物色。
“天下無難事，總教有心人。”果然有人奏報，說在齊國境內，有一男子身披羊裘，屢釣澤中，面目與畫圖相似。光武帝大喜道：“這定是子陵無疑了！”彷彿得寶。忙命有司備安車，攜玄纁，往齊禮聘。嚴光接著，尚未肯自道姓名，只說是：“朝廷誤徵。”使臣哪裡肯放？不論他是真是假，定要請他上車，三請三卻，畢竟一難當十，被朝使手下的隨員，前推後挽，竟將他擁至車上，飛馳入都。光武帝聞光到來，尚防他乘間逸去，特命就舍北軍，妥給床褥，使太官主膳之官。朝夕進膳，奉若神明。大司徒侯霸，與光為舊識，忙使部屬侯子道，奉書問候。光踞坐床上，啟書讀訖，半晌才顧問道：“我與君房相別已久，侯霸字君房。君房素有痴疾，今得為三公，痴疾可少愈否？”奇人奇語。子道答道：“位居鼎足，怎得再痴？”光正色道：“既無痴疾，為何遣汝來此？”子道介面道：“司徒聞先生辱臨，本欲即來問候，適因公務匆忙，未能脫身，願俟日暮稍閒，前來受教。”光又笑道：“汝言君房不痴，這豈不是痴想麼？天子使人徵我，三請方來，我尚不欲見人主，難道就先見人臣？”子道聽罷，也不便多與絮聒，但求光復書還報。光託言手不能書，只好口授，因接說道：“君房足下，位至鼎足，甚善。懷仁輔義天下悅，阿諛順旨要領絕！”說到末語，便即住口。子道再欲請益，光大笑道：“君莫非來買菜麼？求益何為？”原是夠了。子道