【在幷州軍中，呂布一向備受敬重。
】
【丁原去世後，除了少數幾位親信將領堅守忠誠，】
【幷州的大部分官兵只能選擇追隨呂布宣誓效忠。
】
【不久後，董卓帶著呂布一起進駐洛陽城，訊息傳來之時，張遼心中雖感無奈，最終也只好接受現實。
】
【自此，洛陽和漢朝政局落入董卓掌控之下已是既成事實。
】
【思索良久後，張遼決定向董卓效忠。
但董卓因他是幷州人的緣故，將其委派給呂布擔任副將。
】
【由此，張遼的直屬上司從丁原變成了董卓，繼而又變為了呂布。
】
【實際上，根據現存史料，張遼並非自少年起就一直跟隨呂布，】
【而是先由董卓派遣給呂布作副將，並非直接聽命於呂布的手下武將。
】
【直至董卓遇害之後，張遼才正式成為呂布麾下的臣子。
】
【儘管表面看來董卓非常倚重呂布，實際卻是更加信任西涼舊部。
尤其李傕、郭汜、樊稠和張濟等人才受到重用和禮遇。
儘管他們在能力上不及呂布，但在職位卻遠高於呂布。
】
【董卓對舊部極為親切，但對待呂布則常常打罵不斷。
】
【作為下屬的呂布得不到董卓賞識，更何況其下屬的張遼？於是，在這三年間，張遼儘管掌握一定兵力，卻無仗可打，處於默默無聞的狀態，直到初平三年（公元192年）。
】
【王允說服呂布決定對董卓採取行動；此時董卓手下各路勢力紛爭不斷。
】
【同屬幷州出身的張遼，自然站在了呂布和王允一方。
】
【呂布取得長安城所有兵權，但他與王允的掌權卻未能持續。
】
【董卓舊部李傕、郭汜等人，在賈詡建議下率西涼軍圍攻長安城，這些將士們滿懷為董卓
**
的決絕信念。
】
【雖呂布具備一定的指揮才能，但還是難敵強大的西涼軍攻勢而迅速失敗。
】
【不願離開的王允最終在城牆墜亡。
】
【張遼則隨呂布前往冀州投奔袁紹。
】
【雖然袁紹接納了呂布，但只視他為一次性工具：一戰結束後便棄之不用。
】
【呂布曾為袁紹立下許多戰績，特別是在對抗黑山賊張燕的戰鬥
**
不可沒，但是在準備回師鄴城時，】
【袁紹突然下令讓麾下將士攻擊呂布！】
呂布匆忙帶著一部分精銳向南撤退，這才得以保命。
南下後的他發現自己陷入了進退兩難的境地。
權衡再三後，決定投靠袁術。
袁術像袁紹一樣接納了呂布，卻並未對他真正看重。
在袁術手下停留了約半年之後，呂布最終帶領張遼和高順等人另尋出路，來到兗州並結識了陳宮。
陳宮本是兗州的大族，曹操先前若無他的鼎力相助及張邈的協助，絕難如此迅速統一兗州。
而今，在統帥一地之後，曹操逐漸採取一系列冷落本土大族的政策，重用穎川地區的荀彧等人物。
這使得如陳宮、張邈這樣原本顯赫的人物逐漸失勢，軍中親信也不可避免被排擠或解職。
他們察覺到長此以往將被排擠出局，於是決意改變兗州的局面，呂布因四處漂泊、無依無靠便成了最佳人選。
於是在陳宮與張邈的支援下，趁著曹操出征徐州的機會，呂布奇襲佔領了兗州大部分地區，只剩下幾個孤城未能歸附。
陳宮由此得到呂布重用，地位顯著提升。
隨後，當曹操率大軍回援之時，呂布與曹操雙方在兗州激戰，戰事持續近兩年。
呂布的軍隊曾與曹軍互有勝績，其中尤以張遼表現突出，多次發動突襲擾亂曹軍，並以其率領的幷州狼騎快速機動的特點成為曹軍的一大勁敵。
即使連曹操本人也三次感嘆張遼不屬於己方麾下是一大憾事。
即便如此，在張遼和高順等人力竭努力下仍未能扭轉大局。