率領三百餘人緊緊的追趕。張飛發現有追兵，回頭一看正是曹豹，怒從心起。拍馬疾衝過來，交戰不到三合，一矛刺中曹豹後心。曹豹掉於河中而死。
呂布進得城中，發覺劉備兵丁不多，並且劉備一眾官員的家眷亦不知去向，心下奇怪，他與陳宮部署了人馬，坐鎮徐州。
張飛帶上數百兵卒來到淮陰見了劉備，劉備問他何來，張飛道，“曹豹暗中勾結呂布，現在呂布已經奪去徐州多時了。關羽問道，二位嫂夫人呢？飛曰不知去向，下落不明矣。”關公不悅。
再說袁術聞呂布奪了徐州，星夜差人至呂布處，許以糧五萬斛，馬五百匹，金銀各一萬兩，綵緞一千匹，叫他夾攻劉備，呂布大喜，令高順，張遼帶兵五萬來攻劉備，早有細作報與張飛。
飛自率燕雲鐵騎在路上攔住，高順岀馬，叫道你是何人？敢攔住大軍去路？飛曰：“高，張二將軍難道不認識吾？吾乃劉皇叔麾下，徵西大將軍張飛、張翼德是也”。你們不知道我，我卻知道你二人奉呂布那廝的命令去淮陰與袁術夾攻我大哥劉備。
“那你不想以這二三十餘騎擋住我們五萬大軍吧”，張遼說道。“文遠，吾不是來阻擋你們，而是來救你們一命的”。高順怒曰“匹夫焉敢在此饒舌，不怕我數萬大軍將汝等斬盡殺絕，屍骨無存嗎？
“高將軍息怒，聽某家一言，呂布乃匹夫之勇，不足以謀大事，二位跟隨於他，實乃明珠暗投，奉先跟隨董卓，王允尚無作為，佔據兗州，濮陽也不能長期駐守，因此二位將軍早些離開他方為上策。
“我張飛在虎牢關時就不怕他，現在更不把他放在眼裡”，張飛說。
虎牢關？你還好意思說嗎，你三人群歐溫侯一人，真乃是勝之不武，高順言道。張飛道“你二人可敢與我一賭，兩年為限，呂布必定兵敗將亡，死無藏身之處”。
“何為賭注”，兩年為限，呂布若存，我願在你帳下為一小卒，終身聽其使喚，兩年呂布若敗，二位將軍多久與我共保劉皇叔，匡扶漢室，二位意下如何？
“好”，就這樣辦，我等須對天盟誓，不得有違今日之言，於是三個擊掌，飛曰“吾今試試二位將軍武藝，將來好量才施用，你二人可盡力攻擊於我，如何？
高順，張遼齊道：“你們三英戰呂布，今天我們也來個二傑鬥張飛。於是催開戰馬，互鬥起來。
高順，張遼夾攻張飛，三人大戰二百回合，張飛稍占上風。二將曰“張將軍果然名不虛傳，我二人心服口服，不管今後誰去誰從，我們皆以兄弟相稱如何？
飛曰：“有理，三人敘了年庚，原來三人皆是同年生人，張飛大張遼八個月，高順小張遼二十多天。於是二人稱飛為兄長，飛也改稱二人為賢弟，張遼又與飛攀敘了家世，原來二人同屬留侯張良之後人，兩人的親疏關係又進了一步。
二人問飛今後咋辦？飛對他們說，你們還是呂布的部下，違抗上司的命令是為不忠不義，因此你們儘管去淮陰，兄自有備禦之策。三人分手後，張、高暗自思忖，也覺得徐州是一個坑，呂布名義上奪佔徐州，對劉備的部下殺傷不大。府庫之中銀錢物資不多，官宦人等家眷也不在，唯一的內應曹豹又死於張飛之手。
他們感到一張無形的巨網己罩住了他們。二人領兵來到淮陰渡口，劉備早就移兵東取廣陵去了，高順去見了紀靈，拿出了袁術給呂布的書信讓紀靈看，並索要袁術許諾的物資。紀靈推說要與袁術高議，請他帶兵先回，呂布見報遲疑不決。
這時袁術派人下書，說高順雖然帶兵前來，但劉備沒有除掉。要等到擒了劉備，方可兌現所許之物。
呂布大怒，想發兵攻擊袁術。陳宮阻之曰“不可，袁術在壽春糧草充足，將廣兵多，不易攻取，而與劉備尚未修好，不如請劉備還居小沛後，二家齊心協力討伐袁術，再報失言之恨。呂布許諾。再說劉備移師廣陵，被袁術劫寨，損失了一些人馬。
張飛遂把分馬分散在各處緊要的地方，並知會了眾將領，叫他們在某一天到某處集齊，要到一個地方去。
呂布信使到後，劉備看過呂布書信，命關羽，張飛，趙雲帶五六千人馬回小沛。自己則馬不停蹄的去東海郡看望甘，糜二夫人。
後來，他從東海回來後，還帶上關羽。趙雲去拜謁了呂布，恢復了交往。
再說他們來到小沛後，孔乾，糜竺也先後來到，管亥也進城來拜見主公，並問張飛要不要帶人進城來加以佈防，張飛說不用了，你在城外好好紮好營地就行了。呂布又派人送來了一些糧米綢緞，二家