建安二十一年（公元216年）春，北面的代郡烏桓三部又開始搗亂。
烏桓三部大人皆自稱單于，管轄範圍內的各項事宜都是他們自己說了算。
久而久之，周邊百姓都慢慢覺得太守的命令可以不執行，但單于說的話必須得做到。
這些單于自信心也開始膨脹，逐漸將手伸到了全郡事務。
當時的代郡太守眼看郡中事務無法控制，只好將情況彙報給了曹操。
北方烏桓飄忽不定一直是曹操的一塊心病，他必須要挑選一名信得過的得力干將，將代郡之事徹底解決。
於是，曹操想到了一個人，此人出身河東裴氏，是東漢末年的名士，以 “有高行”“明於治體” 著稱。他早年曾避亂荊州，對時局和地方治理有深刻洞察，且具備應對複雜局面的靈活性。
此人便是裴潛。
曹操看中裴潛的核心特質，善於因地制宜，任命裴潛為代郡太守，並授權讓裴潛帶領精兵前去鎮壓討伐。
裴潛推辭說：“代郡人口眾多，稍有行動便能聚集上萬兵馬。單于自知放肆橫行日久，心裡也不踏實。如今多帶兵馬前去，他們一定會因害怕而拒絕我軍入境，兵馬帶少了他們又不放在眼裡。依我看應該用計謀解決問題，而不能用軍隊來威迫。”
於是裴潛隻身乘車前往代郡。
單于驚喜參半，裴潛平靜和緩地安撫他，單于和他的部下都摘下帽子，屈膝下拜，以額觸地，全部歸還了前後幾次掠奪的婦女、器械和財物。
裴潛按律誅殺了代郡與單于內外勾結的高官郝溫、郭端等十餘人，北方邊境地區大為震驚，老百姓心歸魏室，代郡隨即平定。
後來裴潛在代郡做了三年太守回到朝廷任丞相理曹掾。
曹操稱讚褒獎了裴潛治理代郡的功勞，裴潛說：“我對百姓雖然寬宏,，但對胡人卻很嚴厲。如今謀臣們一定認為我於理過嚴，於事過寬。其實胡人一向驕橫恣肆，管治過寬必然導致鬆弛散漫，因此只能將他們繩之以法，這就是訴訟紛爭所以產生的原因。從現在的形勢上判斷，代郡一定還會發生叛亂。”
聽完這番話，曹操十分後悔這麼快就讓裴潛回來，幾十天以後，果然又傳來三個單于造反的訊息。
曹操只得派鄢陵侯曹彰為驍騎將軍，前去征伐他們。
有類似問題還有鄴城西面的幷州。
生活在幷州地區的南匈奴隨著幷州的穩定，人口不斷繁衍，勢力也逐漸增大。
同年七月，南匈奴單于呼廚泉入朝魏國。
呼廚泉興平二年（公元195年）歸順曹操，並在建安七年（公元202年）幷州之亂時起兵反曹。
南匈奴與烏桓一樣，常常搖擺不定。
曹操恐其蔓延難制，對呼廚泉很不放心，便想了一個辦法。
他把呼廚泉留於鄴城，用上賓之禮對待他。
呼廚泉曾任內侍，對於留在鄴城也不好多說，何況如今曹操位高權重，根本不能得罪。
曹操再次讓南匈奴的右賢王去卑居平陽，管理南匈奴各部。
曹操又分南匈奴為左、右、前、後、中五部，每部選尊貴者為帥，別令漢人為司馬，以監督之，左部居太原故茲氏縣、右部居祁縣、南部居蒲子縣、北部居新興縣、中部居大陵縣。
從地圖上就能看出，五部相距較遠，中間還有其他縣城間隔，一時間根本無法統一行動。
加上部落中還有漢人為司馬監督，名義上部落的統帥是當權者，實際漢人司馬才是話事人。
如此一來，雖然南匈奴部落名義上繼續儲存著，但權力卻已全部落入曹魏政權的手中。
單于只是徒有虛名的稱號，南匈奴國家政權亡。
同年八月，曹操任命鍾繇為相國，把國內之事交給他全面處理。
十月，處理完烏桓和南匈奴之事，又安排好了鄴城各項事宜，曹操再次發兵南下，討伐孫權。
十一月，大軍到達譙縣。
十二月，大軍到達合肥。
到合肥後，曹操循行視察昔日張遼八百將士對戰孫權十萬大軍的地方，讚歎良久。
視野回到建安二十年（215年）八月，曹操抽調合肥兵力，只給張遼、樂進、李典等將留下七千人守城，孫權趁機率領十萬大軍進攻合肥。
其實曹操早就料到孫權定然會在合肥空虛之時來襲，便再去西征張魯的路上，讓護軍薛悌送去一封信函，信函邊還寫明，要在有敵人來攻時再開啟來看。
孫權十萬大軍果然來襲，張遼與諸將開啟信。
信中說：“若孫權軍來到，張遼李典出戰；樂進守城，守城者不得與戰。”
曹操的計策並沒有給三人帶來安心，相反讓他們都感到疑慮。
城外斥候送來訊息，孫權十萬大軍，幾乎壓上了所有江東主力，包括濡須塢建造者呂蒙、平叛神將賀齊、與張遼齊名甘興霸、以及淩統、蔣欽、徐盛、潘璋、陳武等等將領。
如此陣容，若是出城被包圍，幾乎毫無勝算，若是待在合肥城中等待救援，便與曹操的指令相違背。
張遼卻分析出不一樣的建議。
他覺得趁孫權大軍還沒有對合肥形成包圍之勢前，率先出擊，打吳軍一個措手不及，殺殺他們的銳氣，便能讓眾人安心，合肥城也就能守住。
李典和其他將軍都贊同張遼的意見。
那問題來了，誰去挫吳軍的銳氣。
這顯然是一個艱鉅的任務，人數少了，壓根成不了氣候；人數多了，合肥城就空虛。
這時，張遼再次站出來，當夜就募集敢於出城迎戰的精銳將士八百人。
他開剝牛肉賞給將士飽食，準備明日大戰。
次日，天色剛亮，張遼披甲持戟，親自先登直陷敵陣，撕裂了東吳軍隊的防線。
張遼的突襲殺得吳軍措手不及，張遼很快就斬殺了數十名東吳士卒和兩名東吳將領。
他一邊大聲呼喊著自己的名號，一邊衝鋒陷陣，衝入東吳的營壘，一直衝殺到孫權的主帥旗之下。
孫權哪裡能料到曹軍會如此勇猛，甚至都沒有想到曹軍還敢出城。
混亂之中，吳軍將士紛紛撤離。
偏將軍陳武上前阻攔張遼，被張遼斬殺。
孫權等人則逃跑到一座較高的山冢上，用長戟來自衛。
張遼見敵方主帥退避，便叱喝孫權，迎面挑釁。
但孫權沒有輕舉妄動，得知張遼所率士兵非常少，當即命令大軍將張遼重重包圍。
張遼左右突圍，殺出包圍圈。
沒能衝出重圍的人們大聲呼喊：“將軍要捨棄我們嗎？”
於是，張遼帶領著中期破圍的幾十人，又殺入了重圍，去救援的餘眾幾百人。
吳軍皆望風披靡，沒有人再敢抵擋張遼了。
此戰之後，張遼名聲大振，孫權也有了新的稱呼。