回師途中路過汴州（今河南開封），宣武軍節度使朱溫（即后梁太祖），嫉妒李克用強盛，萌發謀殺之心。假意邀請李克用入城，于上源驛館設宴款待，禮貌恭敬，而李克用卻盛氣凌人，出言不遜。

朱溫即于當夜發兵圍攻驛館，李克用倉皇逃出，手下監軍陳景思、大將史敬思及隨從親兵三百余人罹難。

同時斛律光也攜帶了同為北齊三將之一的段韶，當前植入身份在多爾袞手下和曹操對峙。

段韶少年時善長騎射，有將帥之才。因母親婁信相是高歡妻子婁昭君的姐姐，所以高歡對他很是器重，常安排在自己的左右，作為心腹看待。建義初年，為親信都督。

中興元年（531年），跟隨高歡抗抵爾朱兆，戰于廣阿。高歡對段韶說：“敵眾我寡，怎么辦？”段韶答：“所謂眾者，是得眾人之死；強者，是得天下之心。爾朱兆狂妄奸狡，一路上看到的，是裂冠毀冕，拔本塞源。邙山聚會，搢紳有何罪過？又殺主立君，不過半月，天下思亂，十室有九。王親行德義，除君側的惡人，何往而不勝！”

高歡說：“我雖是以順伐逆，奉命討罪，但弱小處于強大之中，恐怕沒有上天的庇佑，你沒有聽說過嗎？”段韶：“我聽說過小能敵大。小道大淫，皇天無親，唯德是輔。爾朱兆外害天下，內失善人，智者不為謀，勇者不為斗。不肖者失職，賢者奪過來，還有什么疑惑的？”于是便同爾朱兆展開交戰，爾朱兆軍潰敗。進攻鄴地的劉誕。

韓陵之戰，段韶率領自己的部眾，首先沖進敵陣。不久隨從高歡離開晉陽，將爾朱兆追趕到赤谼嶺消滅。因軍功封下洛縣男。又跟隨高歡偷襲、奪取夏州，活捉斛律彌娥突，加龍驤將軍、諫議大夫，累遷武衛將軍。后又將其父姑臧縣侯的爵位授予段韶，其下洛縣男的爵位則上表請求轉讓給繼母弟段寧安。

興和四年（542年），跟從高歡在邙山抵御西魏宇文泰。高歡在兵卒之中，被西魏將軍賀拔勝認出，于是賀拔勝帶領精銳逼來。段韶騎馬從旁躍過，并回身用箭射擊，一箭就將最前面的追敵射下馬去，其他追騎害怕，不敢向前。西軍撤退，朝廷賞賜段韶馬匹、黃金，進爵為公。

武定四年（546年），隨高歡征討玉壁。時高歡身患疾病，城池又沒攻下，便召集諸將，討論行動方案。高歡對大司馬斛律金、司徒韓軌、左衛將軍劉豐等人說：“我每次同段孝先論兵，都能聽到許多高見，如果讓他來參謀參謀，就可能沒有今日的勞累了。我擔心局勢危急，恐怕出現不測，準備委托孝先承擔鄴下的重任，怎么樣？”斛律金等人回答說：“知臣莫如君，孝先是最合適的?！?/p>

高歡又對段韶說：“往昔我和你的父親冒著危險，同佐王室，建立了大功。眼下病重得厲害，大概不行了，你應該小心輔助朝廷，承擔起這一重任。”馬上下令段韶隨次子高洋鎮守鄴城，召長子高澄趕赴玉壁軍中。高歡病情嚴重，遺令高澄說：“段孝先忠孝仁厚，智勇雙全，親戚之中，只有此人，軍旅大事，應同他商議。”

武定五年（547年）春，高歡在晉陽去世，秘不發喪。不久侯景造亂，高澄準備回鄴城，留段韶鎮守晉陽。高澄回到鄴城后，賜給段韶女樂十幾人，黃金十斤，還有繒帛，封長樂郡公。高澄征討潁川，段韶留守晉陽。別封真定縣男，行并州刺史事。武定八年（550年），高洋受禪即位，建立北齊，是為文宣帝。

別封段韶為朝陵縣公，又封霸城縣侯，加位特進。段韶上表請求歸還朝陵縣公，乞請封繼母梁氏為郡君。高洋嘉獎他，別封梁氏為安定郡君。又將霸城縣侯讓給了自己的繼母弟段孝言。是時受到輿論的夸贊。

天保三年（552年），任冀州刺史、六州大都督，有惠政，深得吏民愛戴。天保四年（553年）十二月，南梁將領東方白額偷偷來到宿預，引誘邊民，殺害長吏，致使淮、泗騷動。天保五年（554年）二月，文宣帝下詔段韶前去討伐。段韶率軍抵達。適逢梁將嚴超達等圍逼涇州；陳霸先又率眾將要進攻廣陵，刺史王敬寶遣使向朝廷告急；還有尹思令，擁眾萬人，準備襲擊盱眙。三軍恐懼。

段韶對諸將說：“自從梁氏喪亂，國無定主，人心離散，強者從之。陳霸先等人智小謀大，政令不一，外雖同德，內實離心，你們不必憂慮，我的計劃已思慮周全。”于是留下儀同敬顯俊、堯難宗等圍守宿預，自己率領數千步騎兵急行軍趕赴涇州。

路經盱眙，尹思令沒有料到大軍會從天而降，望風北奔。段韶繼續前進，又與嚴超達交戰，大敗嚴超達軍，奪取了所有的舟船器械。段韶對諸將道：“吳人浮躁，本無大謀，今天打敗嚴超達，陳霸先肯定會逃走?！毙椿貛煆V陵。陳霸先果然逃走。追至楊子柵，看得見揚州城才回來，并且繳獲了許多的軍資器物，馬上撤退到宿預。六月，段韶派游說之士勸降東方白額，東方白額因此開門請盟。

段韶與行臺辛術等人議論，同意東方白額的請求。結盟完畢，估計東方白額會腳踩兩只船，段韶下令將東方白額抓起來并殺了，連同他的弟弟們的頭顱，送到京師。江淮安靜，民皆樂業。文宣帝嘉獎他的功勞，詔令賞賜吳人七十，封平原郡王。清河王高岳攻克郢州，活捉司徒陸法和，這次行動，段韶也參加了，筑建魯城，在新蔡置郭默戍后返回京城。

皇建元年（560年），領太子太師。太寧二年（562年），拜并州刺史。高歸彥在冀州作亂時，武成帝高湛詔令段韶與東安王婁睿率眾平定。遷太傅，孝昭帝賜其女樂十人和高歸彥的果園一千畝。依然任職并州，為政是舉大綱，不存小察，所以甚得民心。

河清二年（563年）十二月，北周武帝宇文邕派將軍率領羌夷與突厥合眾圍攻晉陽，武成帝從鄴城出發兼程前往救助。突厥從北組成戰陣往前推進，東抵汾河，西達風谷。情況危急，兵馬未整，武成帝見此陣勢，也想往東逃避。但很快接受了河間王高孝琬的請求，下令趙郡王保護好諸將。此時正是大雪之后，周人用步卒作為前鋒，從西山沖下，離城只有二里多路。諸將都想迎擊。

段韶說：“步行的人氣勢必然有限，眼下積雪深厚，交戰不便，不如嚴陣待守。彼勞我逸，打敗他們是有把握的?！辈痪媒粦?，大敗周軍，周軍的前鋒全被消滅，無一活口，后邊的部眾連夜逃走。

武成帝下令段韶率騎兵追擊，出塞后沒有追上而回。武成帝賞其功，別封段韶懷州武德郡公，進位太師。

北周大冢宰宇文護的母親閻氏先配中山王，宇文護聽說母親還在人世，于是就修書北齊，請歸還閻氏，并愿通好。此時突厥多次騷擾邊地，段韶駐軍塞下防御。武成帝派黃門徐世榮乘驛車帶著宇文護的信向段韶請教。段韶認為周人反復，不講信義，其晉陽之役，就是證明。宇文護對外是丞相，在內其實為王。既為母親請和，卻不派一介之使申其情懷。我們則依據一紙之書，就送還其母，這恐怕是在向周示弱。我認為，姑且佯裝同意，等些日子再放不遲。武成帝不聽，于是派遣使者依禮送還。

宇文護得到母親后，依然遣將尉遲迥等襲擊洛陽。武成帝詔令蘭陵王高長恭、大將軍斛律光率部抵御，軍隊駐扎在邙山下，滯留未進。武成帝召段韶詢問：“現在我想派王去解救洛陽之圍，但突厥駐軍在這里，又要派人防御，王認為該如何處置？”段韶說：“北虜侵擾邊地，是容易處理的事情，如今西羌窺視逼近內地，這才是心腹之病，我請求受詔南行。”

武成帝說：“我的意思也是這樣。”于是便命令段韶督察一千精騎，從晉陽出發。五天后就渡過黃河，段韶與手下大將商議辦法。段韶清晨帶領二百騎兵與諸軍一同登上邙阪，想看看周軍的陣勢。來到大和谷，就遇上周軍，旋即派人馳告各營，集中兵馬。

段韶馬上同諸將擺開陣勢以作防備。段韶為左軍，高長恭為中軍，斛律光為右軍，與周軍相對。段韶對著周軍喊：“你們的宇文護有幸得到母親，卻不懷恩報德，今天之來，究竟是何意思？”周軍說：“老天派我們來的，有什么大驚小怪的？”

段韶說：“上天賞善罰惡，大概是派你們來送死的吧？”周軍便將步兵擺放在前，向山上沖去。段韶認為敵徒步我騎馬，就指揮部眾邊退邊引誘，候其疲憊，一齊下馬攻擊。短兵相接，周軍大潰。其中軍所指處，也是迅速瓦解，投墜溪谷而死的就有許多。

包圍洛陽城的敵人，馬上逃遁，棄置營幕而不顧，從邙山到谷水三十里的距離內，到處都是拋撒著的軍資器物。武成帝親自來到洛陽，慰問將士，在河陰擺設宴席，款待眾將，又策勛命賞，拜段韶太宰，封靈武縣公。天統三年（567年），除左丞相，又封永昌郡公，食滄州干。

武平二年（571年）正月，段韶由晉州道抵達定隴，筑威敵、平寇二城后返回京師。二月，周軍寇掠，后主高緯派段韶與右丞相斛律光、太尉蘭陵王高長恭一同抵御。三月底，到達西部邊境。柏谷城這個地方，是敵人把守著的天險，石城千仞，諸位將領沒有哪個敢于圍攻。

段韶說：“汾北、河東若要為國家所有，如不拔除柏谷，就像得了痼疾。估計他們的援兵，當在南道會合，如今截斷這一要路，使他的援兵無法趕來。他們的城墻雖高，但是很狹窄，用火弩射擊，完全可以攻下?！?/p>

諸將認為他的主意好，于是鳴鼓齊攻，城墻坍塌，俘虜其儀同薛敬禮，斬殺許多首級，仍然在華谷筑城，置戍后凱旋。朝廷封段韶廣平郡公。

同月，北周又派將軍寇掠北齊邊境。右丞相斛律光首先率領軍隊出討，段韶也請求同行。五月，攻打服秦城。周軍在姚襄城南再起城鎮，東接定陽，又挖出深塹，斷絕大道。段韶就偷偷抽調壯士，從北邊發起襲擊。又派人秘密地渡過黃河，與姚襄城內聯絡，請他們作內應，過河來的有一千多人，周軍才開始發現。于是交戰，周軍大敗，虜獲其儀同若干顯寶等人。諸將都想向新城發起進攻。

段韶不同意，說：“此城一面臨河，三面險地，不能進攻。即使攻了下來，也只不過是一座城池而已。倒不如再作一城雍塞其歸路，攻克服秦，齊心協力進擊定陽，這是最好的選擇?！睂⑹慷颊J為這個主意好。

六月，轉圍定陽，但定陽城主帥開府儀同楊范閉城固守，段韶軍未能攻下。段韶登山觀看城中的情勢，之后便縱兵猛攻。七月，奪取外城，斬獲許多敵軍首級。這時段韶突然在軍中病倒，由于內城還未攻下，他對蘭陵王高長恭說：“此城三面是深澗，沒有退路，只有東南一處可以與外面溝通。賊如果突圍，必須走東南這條路，我們挑選精兵把守，自然可以捉住逃敵?！?/p>

高長恭便下令一千多壯士在東南澗口埋伏。這天深夜果然像段韶預計的那樣，周軍棄城而逃，伏兵一擁而上，周軍大潰，楊范兩手反綁投降，其眾全被俘虜。

此時，段韶病情更加嚴重，因而提前回到了京師，以功別封樂陵郡公。同年八月己未日，段韶因病去世。后主在東堂為段韶舉哀，贈帛千段及溫明秘器、辒辌車，出殯之日，軍士們列成儀仗一直送到平恩墓地，后主又征調民夫為其起冢。

贈假黃鉞、使持節、都督朔并定趙翼滄齊兗梁洛晉建十二州諸軍事、相國、太尉、錄尚書事、朔州刺史，謚號忠武。