所以在東廠擴充權勢，打壓錦衣衛的時候，他默不作聲，任由陳洪在前臺賣力井人嫌，他則只等時機成熟，便將陳洪拿下，好摘這個桃
。
乒根結底一句話，這些上好鳥不多，尤其是衙門和宮裡。自己摘桃子的時候了，便將在他的放縱之下，陳洪所作的出格的事兒，一股腦都告訴了嘉靖皇帝。實指望嘉靖能在身體欠佳、情緒不穩定的時候，幫自己把這個野心勃勃的對手除去。
他琢磨著，單憑包圍禁宮，阻斷聖聽的罪名，就足夠陳洪死上八回，到時候就再也沒有跟自己作對的了。
但他還是小看了嘉靖皇帝。即使病得再重，嘉靖的腦子也不糊塗，他雙目閃著幽幽的光，神色捉摸不定的，望著李芳道：“你讀過太祖實錄吧？”
“讀過，在內書堂識字的時候，每日都要背的。”卓芳不明所以道。
“還記得清楚嗎？”嘉靖問道。
“回主子，還記得清。”李芳輕聲道。
“那聯考你兩段。”嘉靖閉上眼睛緩緩道：“太祖曰：“聯觀周禮，奄寺不及百人。後面怎麼說？”“奄寺。者“太監，也。
李芳仁聽，網有點血色的老臉，登時重又煞白，艱難的往下背誦道：“後世至逾數千，因用階亂。此曹止可供灑掃，給使命”非別有委任，母令過多，”
雖然是數九寒冬，李芳的汗珠子卻滾滾而下，幾乎要癱軟在地道：“奴婢駐下不嚴，讓他們都驕縱了，千錯萬錯都是奴婢的錯，請主子處罰！！”心中一片悲涼，暗暗道。這真是搬起石頭砸自己的腳，徹底吹燈拔蠟了。
誰知嘉靖卻道：“但是英明如成祖爺，卻開創了東廠，讓你們有了司法的權力；睿智如宣宗爺，卻設定了“內書堂”教導你們太監讀書，讓你們有了從政的本錢；即使是最反對太監干政的太祖爺，也在開國前便設立御馬監，讓你們統領禁軍，神武、英明、睿智無過於太祖、成祖、宣宗，不會看不到太監干政的害處，為什麼還要為你們創造條件呢？”
“因為我們忠心。”李芳聽出嘉靖的意思，心下稍定，輕聲答道：“奴婢們都是沒有根的人。家就是這個皇宮，不像那些大臣，那麼多的三心二意。”
“呵呵”嘉靖不置可否的笑笑道：“因為皇帝是孤家寡人，而文官武將的數量卻龐大無比，他們有學識，有謀略，有手腕，還有數不清的同門同年同窗，要讓皇帝一個人，對付這麼多不聽話的傢伙，除了太祖皇帝，誰也沒這個本事。”說著看一眼李芳道：“所以才需要你們幫忙，就像你說的，你們沒有後代、且臭名昭著，誰都可能有不臣之心，只有你們絕不會有
“主子聖明。”李芳苦笑道：“我們離了皇上的蔭庇，立刻連癩皮狗都不如，所以永遠不會背叛主子的。”
“所以不要懷疑陳洪不臣”嘉靖斜睥李芳一眼道：“他沒那介。膽子。充其量不過是想把錦衣衛壓倒，再取代你這個總管罷了。”
“陛下洞燭高照，明察秋毫。”李芳心中一派失望，他知道自己動不得陳洪了，誰讓嘉靖最愛的，就是平衡遊戲呢。
說了那麼長時間的話，嘉靖累壞了，卻仍然堅持著慢悠悠道：“但太祖的告誡之言猶在耳邊一 “此曹善者千百中一二，惡者常千百。用之為耳目，即耳目蔽，用之為心腹，即心腹病。駐之之道在使之畏法，不可使有功。畏法則檢束，有功則驕怨”說著川於漆吩咐道！“聽明白了嗎”“奴婢謹記！”李芳都要把頭磕破了，使勁點頭道：“奴婢率陳洪領罰！”
“怎麼罰？”嘉靖淡淡問道。
“陳洪妄揣聖意，製造緊張。實為濫權。當權八十，幽閉一月，以做效尤。”李芳顫聲道：“奴婢身為總管、駐下不嚴，當一同領罪。”
“你都七十了。就算是他們不敢打狠了，也得一命嗚呼。”嘉靖搖頭道：“就免了這份罪吧。”說著柔聲道：“聯在陽翠嶺的壽宮，也不知修得怎麼樣了，你去幫聯盯著吧。”
所謂的壽宮，便是嘉靖皇帝的陵寢；在距京城百里之外的天壽山，皇帝竟讓他這個司禮監總管，去那裡當監工，這不是放逐又是什麼？
李芳如遭雷擊，他木然愣在那裡。想不到皇帝醒來後，第一道愉旨。竟然是處罰自己。頓感大半生的浮華盡杳，只剩下殘垣斷壁，世界灰暗無比，彷彿末日來臨。
嘉靖憐憫的看他一眼，安慰道：“大內總管還是你，但聯的壽宮得抓緊修了。不派個信得過的去，實在是不放心。”
話都到這份上了，李芳還能說什麼，木然的一叩首，淚水便淌下來了