太上皇的玄宗，是非常清楚歷史上太上皇的典故的，他當然也不會忘記當年他逼迫他父親睿宗讓出皇位的往事。此時，他唯一的希望，只是想跟高祖李淵那樣，有個平安的晚年。這希望並不渺茫，但卻完全取決於他的兒子肅宗李亨。
迎接太上皇回京後不久，肅宗御丹鳳樓，赦天下，“惟與安祿山同反及李林甫、王鉷、楊國忠子孫不在免例”（《資治通鑑·卷二百二十》）。李林甫、楊國忠都是玄宗所信任倚靠的人。從這裡，玄宗應該看出了一些端倪，他曾經對父親和兒子的傷害，將要如數加在他自己的身上。
玄宗被迎回京城後，不再過問政事。他居住在興慶宮，偶爾也去大明宮。肅宗有時候也從夾城來興慶宮問候。侍衛玄宗的仍是龍武大將軍陳玄禮與內侍監高力士，另有玄宗的親妹妹玉真公主與舊時宮女仙媛，還有梨園樂工為他娛樂。
玄宗未當皇帝前，與兄弟五人住在隆慶池北面，號稱五王宅。後來玄宗當上了皇帝，玄宗的兄弟們認識到自己繼續住在皇上曾經居住過的地方是不合適的，就將他們的住所獻出建興慶宮。開元十六年，興慶宮建成，玄宗正式遷到興慶宮起居辦公。興慶宮在大明宮之南，因而被稱作