之君都有名臣在側。夏、商、週三代的末主夏桀、商紂、周幽王，才有嬖倖的妃子在旁，最後竟然落到國亡毀身的境地，我如果和你同輦出進，那你就跟他們一樣了，所以我拒絕你。”班婕妤這番話徹底把劉驁說得恍然大悟，劉驁臉一紅，感到慚愧，心想這個女人說得太對了。劉驁立刻取消同輦出行的計劃。班婕妤的這番話引起了婆婆皇太后的密切注意。皇太后非常欣賞她，就當著親信的面大聲稱讚：“古有樊姬（樊姬是春秋時楚莊王的夫人，莊王喜狩獵，樊姬擔心他疏於政事，便不食禽獸之肉，莊王有感而止），今有班婕妤。”
前文講過，有婆婆皇太后撐腰，班婕妤如吃了一粒定心丸。她入主後宮之後，為了提高那些文盲佳麗的素質，就加強她們在“婦德”、“婦容、“婦言”、“婦工”等各方面的修養，希望她們以身作則，從而能對劉驁產生影響，使其別再整日四處漁色而不理朝政。但事實證明，此舉是無效的。劉驁和妃子們像是事先商量好了的，嘴上答應得很好，行動上卻堅決不配合。班婕妤因此也得罪了佳麗們，這也為她後來失寵埋下了伏筆。
漢鴻嘉三年（前18年），劉驁微服巡行，遊至陽阿公主府中遭遇骨感美女趙飛燕。史書上記載，劉驁見到趙飛燕時立馬目瞪口呆、四肢酥軟。劉驁心想，好一個人間尤物，我一定要搞到手。劉驁向公主要下趙飛燕，帶回宮中封了她為妃子，後來趙飛燕又引薦妹妹趙合德給劉驁。兩姊妹經常同侍一夫，一起淫亂，把個劉驁服侍得忘乎所以，連夕承歡。此後，後宮粉黛都不得劉驁一顧，只好自嘆命薄。這其中也包括班婕妤。最為激動的還是許皇后，人家畢竟是原配。許皇后有個姐姐叫許謁，見妹妹被趙氏姐妹逼得整日以淚洗面，實在看不下去了就說：“妹妹不必傷感，皇上之所以納趙飛燕，並不是真的喜歡她，而是想讓她生兒子，只要妹妹也能生個大胖小子，那皇帝還不是依然愛你。”許皇后說：“這個我早就想過，但是皇帝根本就不到我這裡來，我是久旱田地期待甘露啊。”後來許謁就出了個餿主意給許皇后，讓其去請巫祝設壇祈禳，以求得子，還慫恿許皇后詛咒趙飛燕，用針扎小人。
趙飛燕得知後，給劉驁吹起了枕邊風。趙飛燕說：“陛下我本想多活幾年侍奉您，但沒想到許皇后卻在背後扎我的小人，您看怎麼辦吧？”劉驁大怒，將許皇后印綬收回，廢處昭臺宮中，又把許謁問斬。班婕妤是趙氏姐妹的情敵，自然也難逃陷害。劉驁本打算連班婕妤一併廢了，但聽了班婕妤的一番話又取消了這個念頭。班婕妤說：“妾聞生死由命，富貴在天，修正尚未得福，為邪欲以何望？若使鬼神有知，豈有聽信讒言；倘若鬼神無知，則讒言又有何益？妾不但不敢為，也不屑為。”劉驁聽班婕妤說得坦白，頗為感動，賜黃金百斤，命她退處後宮，免予置議。由此看來，班婕妤不僅長得漂亮，口才也是一流。第一次皇帝要求同輦，被她說得心服口服。這次眼看就要被皇帝廢掉，她一番伶牙俐齒，再次把劉驁擺平，其個人魅力比後宮那些沒文化的醋罈子們不知高出多少倍。
班婕妤無罪釋放，卻清楚宮中已是趙氏姐妹的天下，自己人單勢孤青春不再，也沒什麼競爭力。為了避免再招致陷害誹謗，她下定決心急流勇退。熬夜寫了篇奏章，自請前往長信宮侍奉婆婆皇太后。這是班婕妤高明之處，媳婦伺候婆婆天經地義，皇帝肯定高興。再者還能找個靠山保全自己，真是一個完美的結局。結果還真被班婕妤猜對了，劉驁大筆一揮，恩准了她的請示。從此班婕妤移居長信宮內，悄然隱退在浮華背後，過著隱士般的生活。每天清晨起來吃完早點就鍛鍊身體，一階一階地掃臺階。逢初一、十五就陪侍婆婆燒香禮佛。其他的時間用來寫作。每當聽到遠處昭陽宮裡傳來歡樂的喧譁聲，看到天邊的大雁孤獨地飛翔，班婕妤就不免想到自己的遭遇。她將自己比喻成秋天被棄的扇子，孤寂中無人問津，於是就在一首《怨歌行》（又名《團扇詩》）中感嘆道：“新裂齊紈素，鮮潔如霜雪。裁為合歡扇，團團似明月。出入君懷袖，動搖微風發。常恐秋節至，涼飆奪炎熱。棄捐篋笥中，恩情中道絕。”幽居長信宮，班婕妤百無聊賴悲苦抑鬱，好比囚禁籠中之鳥。她幽怨地唱道：“我是被你囚禁的鳥，已經忘了天有多高，如果離開你給我的小小城堡，不知還有誰能依靠？我得到的愛越來越少，看著你的笑在別人眼中燃燒，我卻要不到一個擁抱，我像是一個你可有可無的影子，冷冷地看著你說謊的樣子，這繚亂的城市，容不下我的痴。這無味的日子，眼淚是唯一的奢侈，我的眼淚是唯一的奢侈。”詩人想起舊日與劉驁的恩愛之情，不覺珠淚滴零，