大家都因他是秦王而對他敬而遠之。
身邊平時惟一能說些話的，就是宮內掌管車馬交通的小宦官趙高。
這趙高大他幾歲，卻是陪著他一起長大的。當年他和母親趙姬從邯鄲回到咸陽時，趙高便被挑來，開始在他身邊侍候。多年來，一直早起晚睡，忙前忙後，聽呵應陷，不離左右。
趙高生於隱宮，本無名無姓，亦不知其親生父母是誰。據說他是趙人之後，故姓了趙；他生下不久便被閹了身，後來仍長成了一個七尺男兒，故名高。他生得頭寬臉長，身碩體健，膀大腰粗，腿壯臀圓，只是面無鬍鬚，喉無突結，說話輕柔，性格平順，一身兼有陽剛與陰柔之美。
趙高自小在宮中接受宦官