時晚成，人多謂之痴。唯素每謂所親曰：“此兒不痴也。”及長，美鬚髯，儀貌雄俊，好讀書，便騎射。弱冠，以父軍功位柱國，與其父俱為第二品，朝會則齊列。後文帝命玄感降一等，玄感拜謝曰：“不意陛下寵臣之甚，許以公庭獲展私敬。”初拜郢州刺史，到官潛布耳目，察長吏能不，纖介必知，吏人敬服，皆稱其能。後轉宋州刺史，父憂去職。歲餘，拜鴻臚卿，襲爵楚公，遷禮部尚書。性雖驕居，而愛重文學，四海知名之士多趨其門。
後見朝綱漸紊，帝又猜忌日甚，內不自安，遂與諸弟潛謀廢帝立秦王浩。及從徵吐谷渾，還至達鬥拔谷，時從官狼狽，玄感欲襲擊行宮。其叔慎曰：“士心尚一，國未有釁，不可圖也。”玄感乃止。時帝好征伐，玄感欲立威名，陰求將領，以告兵部尚書段文振。振以白帝，帝嘉之，謂群臣曰：“將門有將，故不虛也。”於是賚物千段，禮遇益隆，頗預朝政。
帝徵遼東，令玄感黎陽督運。遂與武賁郎將王仲伯、汲郡贊治趙懷義等謀，不時進發。帝遣使者逼促，玄感揚言曰