張遼本是聶壹的後人，其家族為了避怨而改張姓，散居在馬邑一帶。那麼，張遼的家族為什麼要避怨呢？此事卻要從漢武帝時期的“馬邑之謀”說起。張遼的祖上聶壹，是漢武帝時期的豪商，也是當時有名額馬邑之謀的重要參與者。
據《史記》的記載，漢武帝時匈奴請求與漢朝和親結盟，當時漢廷大臣為此爭持不下，韓安國等人支援和親，王恢卻認為應該絕其所求，以兵擊之。結果韓安國一方得到較多朝臣支援，於是武帝決定與匈奴和親。
雁門馬邑一帶的豪商聶壹出於對匈奴的熟悉和對西漢王朝邊患不息的焦慮，透過王恢向武帝建議，和親之後漢朝已經取信於匈奴。只要誘之以利，必定能將之擊潰。於是聶壹奉命以自身作餌，親到匈奴陣營，向當時的軍臣單于詐降，更稱自己能斬殺馬邑縣令，迫使馬邑舉城投降，然後可盡得該城財物。單于信其言，又貪其利，便立刻策劃起兵。聶壹回漢後，以一名罪犯的首級訛稱為馬邑長吏之頭。以示時機已至，引誘匈奴軍深入重地。
計劃本來順利進行，豈料單于在行軍之際，發現城野之間只見牲畜，不見一人，於是起了疑心。他派兵攻下一個兵堡，俘虜了一名尉史。這個尉史交待了早已有三十多萬漢軍埋伏在馬邑附近的真相，識破陰謀的單于大驚退軍，漢軍設伏全無用武之地。王恢判斷形勢後。認為已經錯過了襲擊匈奴軍輜重的最佳時機，於是決定收兵回師，“馬邑之謀”遂以失敗告終。
因為馬邑之謀被匈奴人識破，聶壹和他的族人自然為匈奴人所怨恨。為了避免匈奴人的報復，聶壹的後人便改姓為張，繼續在馬邑一帶生活。
張遼年少時便聞名鄉里，被舉為雁門郡吏員。後來幷州刺史丁原見張遼武力過人，便召其張遼為從事，命他帶兵往前往洛陽。張遼到了洛陽之後。大將軍何進又派遣張遼前往河北募兵，共得千餘人。可是當張遼募兵還未返回洛陽時，京城中的何進已因剿宦失敗而死，丁原也被呂布所殺，因此張遼招募回來計程車兵盡歸董卓所有。董卓死後，張遼統兵歸屬於呂布，擔任了騎都尉。
從張遼的出身來看，其實他與呂布的關係並非像侯成、宋憲那些人，當初他在丁原手下時職務是從事，而呂布是主簿，兩人其實屬於同僚，而非上下級。等到丁原死後，董卓把持兵權時，呂布和張遼依然不是上下級的關係，而是同為董卓的屬下，只不過呂布的地位比張遼要高一些。董卓死後，張遼作為幷州人，不可能跑去投奔李傕和郭汜，只能跟隨了老鄉呂布，但在呂布陣營內的地位卻並不高。
正因為張遼與呂布的關係屬於合夥人性質，而非家主與部曲之間的依附關係，所以呂布在白門樓被曹操賜死時，高順一聲不吭，而張遼卻願意投效曹操。不是張遼的忠誠度低，而是因為他沒有義務死忠於呂布。
那麼，問題又來了。張遼既然不是呂布的部曲，也就用不著委屈自己隨呂娘蓉一起陪嫁到鄴城，要知道只有家將才能像貨物嫁妝一樣被人送來送去，而張遼的身份完全可以離開呂布，自尋新的東家。
張遼之所以願意被呂布當成陪嫁送給劉和，卻是因為他在暗中默默關注著大漢的形勢，而劉和毫無疑問就是他心目可以投靠的明主。既然明知道是自己要被送到鄴城，從今歸於劉和帳下，張遼也就犯不著為了一時痛快而背上與呂布分道揚鑣的壞名聲。如果呂布是把他送於袁紹或者別人，張遼肯定不會這麼爽快的同意，甚至在半路上藉機離開都有可能。
對於張遼的這些舊事，劉和早就讓人打探清楚，正因為劉和知道張遼跟呂布只是合夥人的關係，所以他才放心讓張遼自創一軍，並且給了張遼許多便宜行事的權力。在劉和看來，張遼今後跟呂布絕對不會再有半分糾纏，呂布若想憑著昔日的上司身份影響張遼，只會自取其辱。
張遼到了集寧城後，首先拜訪了集寧都尉杜畿。上次遼州初創的時候，劉和選調官員前往遼州，杜畿作為熱門人選，本有機會出任遼州治中從事，但他卻把機會讓給了韓珩。杜畿覺得集寧都尉雖然職位沒有一州治中高，但可以做的事情卻很多，加之韓珩很早之前就跟隨了劉和，資歷和人望也要更高一些，所以杜畿安心在大青山腳下屯田戍邊，安置流民，做出了耀眼的成績。
現在的集寧都尉城，實際上管理著小半個幷州的事務。雁門郡的北部、定襄郡、雲中郡和五原郡的東部，現在都實際歸屬於杜畿的管理。
當年軻比能率八萬大軍南下攻打幽州時，受到禍害最深的卻不是幽州，而是幷州。袁紹為了將鮮卑人這股禍水向東引到幽州，故意採