壽為義成侯，陳湯為關內侯。
到了元帝去世後，成帝劉驁繼位（前33年，陳湯萬里遠征後三年），宰相匡衡又跳了出來，再度彈劾陳湯，稱陳湯在西域經營期間，沒有以身作則，收了康居國不少賄賂，還跟下屬說：“我們在西域做這樣的事，朝廷是不會追究的。”
陳湯年少貧困，所以他有一個缺點，就是貪財，這點匡衡並沒有冤枉他。朝廷派人調查後，情況屬實，陳湯被罷官。
然而後來出了一件離奇的事，陳湯突然跳出來，上書皇帝，說康居國所入質中國的太子，並非是真正的太子，而是個冒牌貨。但是朝廷經過證實後，那人的確是康居太子。陳湯為什麼突然這樣冒冒失失，這確是個謎，也許是失官後日子不好過，想立功一下，結果反而惹禍上身。
陳湯被逮捕入獄，因為誣告，罪行很大，可能面臨極刑處死。
但是陳湯的運氣不算很壞。
太中大夫谷永上書皇帝，為陳湯辯護。谷永稱闡述戰將對國家的重要意義，“戰克之將，國之爪牙，不可不重也。”然後極力讚揚陳湯在萬里遠征中所建立的偉大功績，“報十年之逋誅，雪邊吏之宿恥，威震百蠻，武暢四海，漢元以來，征伐方外之將，未嘗有也。”最後認為陳湯所陳之言，雖有過失，但非有意為之，“以言事為罪，無赫赫之惡。夫犬馬有勞於人，尚加帷蓋之報，況國之功臣者哉！”
谷永的這摺奏章，可謂是及時雨，將陳湯從地獄之門拉了回來。
成帝劉驁赦免了陳湯的死罪，但是削奪爵位，貶為普通一兵。
到了成帝建始四年（前29年），西域都護段會宗被烏孫軍隊圍困，快馬送信到朝廷，請求朝廷出兵相救。因為路途遙遠，宰相王商與大將軍王鳳及眾臣商量來商量去，拿不定主意。突然王鳳靈光一閃，想起陳湯來了，於是奏報成帝劉驁：“陳湯這個人，足智多謀，又在外國呆了好多年，可以叫他過來問問計策。”
皇帝派人去請陳湯，此時陳湯雙臂傷殘了，這是遠征郅支時，受了風寒而落下的後遺症，手臂不能屈伸，行動很不方便。
成帝劉驁見陳湯這個樣子，心中有些憐意，詔令陳湯不必拜見，然後把段會宗的告急書交給陳湯過目，問陳湯有何計策。
陳湯這幾年很不得意，所以在皇帝面前故意賣個關子，說：“朝廷文武大臣、將相百卿，個個都是賢材，才高八斗，小臣身殘多病，不足以策謀大事。”
成帝呵呵一笑說：“國家現在有急，你還是不要推辭了。”
陳湯這才抬起頭，胸有成竹的樣子，對皇帝說：“臣以為這件事不必擔憂。”
成帝劉驁一聽，忙問：“此話怎麼說？”
陳湯朗朗地說：“臣在西域多年，頗知西域軍隊的底細。一個漢兵可以頂五個西域兵，為什麼呢，因為西域兵的兵刃樸鈍，弓弩不利。不過這些年西域兵的武器有所長進，向漢帝國學了不少技術，即便這樣，一個漢兵仍然可以頂三個西域兵。兵法有言，進攻方的兵力，必須要超過防守方的兩倍，這樣才勢均力敵。臣看了段會宗的奏章，認為圍困漢軍的烏孫軍隊，並沒有超過漢軍的兩倍，所以烏孫軍隊根本沒有力量攻克段會宗部，所以陛下不必擔憂。”
成帝一聽，問道：“這麼說不必派援軍前往了？”
陳湯回答道：“軍隊如果輕裝前進，一天可行軍五十里，如果重灌前進，一天只可行軍三十里。現在從敦煌郡派軍隊前往，那需要很長的時間。這支部隊如果去軍事報復是可以，如果是救急的援軍，那就沒有必要了。”
成帝劉驁見陳湯分析有條有理，心中的石頭落地，便問陳湯：“那你估計段會宗幾時可以解圍呢？”
陳湯對烏孫軍軍力量心中有數，這支軍隊，缺乏堅韌的精神，只要幾天不能攻克段會宗部，一定會撤軍的。於是陳湯非常自信地回答皇帝：“現在已經解圍了。”然後掐指一算，說：“不出五天，一定會有捷報。”
四天後，西域都護段會宗快書送到，稱已經解圍。
陳湯的神機妙算、料事如神，再次令朝廷公卿目瞪口呆。這樣的人才，當然不可能再當普通一兵了。大將軍王鳳將陳湯提拔為從事中郎，成為大將軍幕府的首席軍事參謀，幕府的事，一概由陳湯拍板決定。
陳湯熟悉各種法令，在主持幕府工作時，雷厲風行，他善於因勢利導，加之見解深刻，富有謀略，所以他的建議往往被皇帝與大將軍所採納。
但是陳湯的優點，在某種程度上也是他的缺點。他熟悉法令，