建武元年刘琨和段匹磾在无终县看到凉州张寔的劝进文刘琨和段匹磾歃血盟誓，相约拥戴辅佐晋室约为兄弟。刘琨派遣长史温峤，段匹磾派遣长史荣邵，共同奉呈上表和誓文前往建康进劝。
晋王司马睿即帝位改元太兴。司马睿称帝后，命荣邵回去复命，加封刘琨太尉，封段匹磾为幽州刺史。并赐刘琨龙渊剑，同年段匹磾命刘琨为大都督段部军队随意调用，刘琨拜谢。
段匹磾说到：“兄弟之间，何行此举？”
刘琨说到：“兄见我难，及时援之，当授此之礼。”
说完二人互相搀勉，设酒宴，听闻正值石勒与匈奴刘粲不合，欲乘此讨伐，二人商讨进攻石勒事宜。
建兴二年七月，段匹磾推举刘琨为大都督，传书邀请其兄长辽西公段疾陆眷、叔父涉复辰、弟段末波等在固安会聚，共讨石勒。
段末波游说段疾陆眷、段涉复辰说：“岂有父兄之辈追从子弟，此乃段氏之耻也，如侥幸立功，段匹磾独收其利，我辈可有所获之利？”
段疾陆眷说到：“段公乃族内之人，命我等发兵必有其理。”
段末波又说：“段公持朝命，今命我等举兵随之此乃试探之举！且我与石勒有旧不便攻之！”
段疾陆眷问道：“何以见得？”
段末波说：“段公与刘使君，桃园之交。二人皆为人杰也，今命我等举兵相随，恐生不虞之变！且我等既无兵识，也无才贤，去之何用？战死与前，辽西公之位必段公所获。此乃二人计谋，一石二鸟之举，不宜前去！”
段末波又乘机收买二人部众将领，让其将领也对其劝说。于是段疾陆眷、段涉复辰、段末波三人商讨一日后，各自领军退还。刘琨、段匹磾见状二人忿忿不平，回师无终县。
太兴三年元月辽西公段疾陆眷在令支去世，段末波用尽钱财收买其麾下士卒。其子段括于正处幼年，叔父段涉复辰受段末波间臣蛊惑诱说，设坛祭祖，自立为燕王，未告知段匹磾。段匹磾与刘琨之子刘群由无终县出发去奔丧。
段末波对段涉复辰说：“段匹磾和刘群此来，必夺尊位。当以严兵拒之！”
段涉复辰思考再三同意拒兵固守。段匹磾到达北平郡，斥候说到情况有变。段匹磾问计于长史荣邵，荣邵说“辽西公刚刚驾薨，部族一时群龙无首，情况有变在所难免，段公尽可前往。”段匹磾深感不安却依旧前往。段末波和段涉复辰在帐内商议阻拦段匹磾之事，段末波在旁不停煽风点火，唆使段涉复辰发兵，段涉复辰感到段末波不对劲。
对段末波劝说道：“此族内之事，有害段公之举！吾不能行之！”段末波听闻后持刀近杀段涉复辰。
出其军帐说到：“段涉复辰自立燕王！无视晋廷，有负晋帝。吾受密诏，今诛其人。其部曲无知，但有拥立之罪。若肯归降，即行赦免。”
部众大小将选择归附段末波。段末波兼并其部曲，拥众五千人自称单于。段匹磾听闻段末波此举，气昏坠马。刘群等人对段匹磾喂水停行，段匹磾这才半醒命人从郡内出军二千打算和段末波开战。段末波乘段匹磾军队未到齐，突袭段匹磾，杀败段匹磾军并俘虏刘群，段匹磾败军不敌。后随荣邵被迫返回无终县。
刘琨得知后对二人说：“此辈必是蓄谋已久，如若不除，恐来日为患！”三人连夜商讨进军策略。
翌日子时二人携二千军士，命士卒压低脚步，暗中开进段末波驻军处，发现有哨兵。段匹磾想要拉弓射箭，被刘琨阻止，刘琨拿起胡笳躲至营门篱后吹索魂曲。哨兵和营内士卒听闻此曲，皆观望而去，营门外却空无一人。曲声凄凉惨淡愈来愈烈，众士恐慌，弃守而去。刘琨见哨站兵士退走，命士兵攻营。段末波听闻军中杀喊声，与其侍从王名互换衣着，段末波将自己坐骑交与王名令其快马奔逃。自己则持剑裹挟刘群弃军而走。王名骑马被段匹磾看到。
段匹磾拉弓搭箭说到：“汝屡害于我，今必杀之。”
一箭将其人射落马下，刘琨于段匹磾前去查看发现是王名且已经毙命。至二日寅时段末波乱军平定，却依旧不见段末波和刘群。二人只能撤军深感无望。
段末波逃至土垠县拥兵固守并厚待刘琨的儿子刘群，刘群对此一一不受。
段末波大怒持剑让刘群给刘琨写信，信中写：“幽州刺史必受于父。我已与段末波和议，相约攻段匹磾军。”
刘群写完信，段末波拿起信检阅三次后，又在信匾上写“与父共谋，段公之命”才肯交与信使，命人将此信送去段匹磾处。
并对其说道：“若段匹磾不受此信，汝可将信弃于门前！后可自由去之。”
信使听从，前往无终县。段匹磾此时在读刘琨写的诗。
自言之：“琨兄之才胜磾五倍有余，不知能否共度此时难关。”
信使到来，言：“刘群有信交于刘使君！”段匹磾说到：“刘琨在练军，汝可去军营至信！”信使慌乱将信丢于地上，慌忙离去。段匹磾主簿商史征捡到地上信件，打算骑马前去交于刘琨。商史征无意看了一眼信件，看到赫然的八个大字“与父共谋，段公之命”。主簿快步将此信交于段匹磾，段匹磾看到后，
面色不悦口气迟缓说道：“此乃离间计也。段末波此举，如此拙劣，恐只能骗到王浚这样的愚痴之辈！”
刘琨练军回县，听闻此事。连连赞道：“段公不受离间，此乃圣人之明也！”
段匹磾心中不定说到：“琨与我约为兄弟，兄弟之间怎能相互猜忌？”
刘琨打开信一看，确是其子刘群字样，唯独信匾的八个字不是刘群所写。感叹道：“段末波，其人之识。可得一州之地。将我等逼迫至此，此人绝非易于之辈。”
刘琨欲从麾下选人前去救出刘群，侍女武氏听闻要便要求前往。刘琨不许，武氏说：“使君待我如亲女，女八岁于并州被使君救助。如今不能报答使君，乃今生遗憾，将不再相面。”刘琨不好拒绝，只能答应并将胡笳和龙渊剑交于武氏。嘱托道：“汝不见过我儿。示之二物于刘群，刘群见此如见我。”命侍卫三人随武氏一同前往。四人入城四处打听，得知在段末波院内，于是逾墙而入。找到刘群，刘群问道：“汝等何人？”武氏说到：“刘使君遣人来救！”并出示胡笳，把龙渊剑交与刘群，刘群又见到胡笳相信来人。便随其一同离去，此时段末波亲自领兵巡城，撞见刘群其人。命士卒将刘群等人捉拿，五人且战且走。终因寡不敌众悉数被擒，将五人关押于县牢。并派出斥候探明刘琨虚实。
段末波闻斥候所报，二人依然如旧，不受离间。斥候说到：“刘琨，段匹磾带甲三千巡游郡内意图不明。”
段末波大怒骂道：“愚蠢，哪有带甲三千巡游郡内？这分明是来兴师问罪！”
段末波无望只能求助于慕容廆和石勒，至慕容廆信写道：“我等皆为鲜卑人，今刘使君和段公预谋我也。可至公处暂避时日？”
慕容廆看到信后回复道：“余同刘琨，段匹磾同为朝臣！汝今攻杀朝中重臣，余正要以铁骑踏平汝城，汝自寻死路！”。
予石勒信中写：“义父欲杀刘，段二人日久，我今据一城而守，可助一臂之力”石勒见信大喜，求计张宾。张宾说道：“先应之此事，陈兵二千至渤海郡。壮声势即可。此人同时得罪于刘琨和段匹磾慕容廆三人。活至今日，必有其生存之道。”石勒答应发兵，陈兵两千号称二万军据渤海郡，命段末波死守土垠。段末波命城内紧闭集中搜缴粮食，放出百姓让他们散播流言，说石勒将引军二十万来攻。不日攻灭刘，段二人！
刘琨和段匹磾听闻石勒大军将至积极整备，三日集兵一万，由刘琨为主将，箕澹任军师。荣邵，刘遵任参将。段匹磾坐镇后方领族兵二千，防止段末波引军背袭。段末波登城观望，远远看到段匹磾拉弓引箭，一箭中城匾。段末波城中守军不足四百人，又命城内女子带戈登城。段末波又命刘群写信交于段匹磾，段匹磾看到信面色忧愁。后派斥候去城中而探，得知段末波下令无论男女上城戍守之事。
命人向城中喊话“段末波豺狼也，尔等持百斤之铁，为其效力，一但战死家中幼童何人照料。莫非指望段末波一人赡养城中幼子？”
段末波慌乱，于是用剑顶着刘群。
对刘群低声说：“如不能令段匹磾退兵，今日汝必死！”
刘群对段匹磾说道：“我父今获师万余欲自立之，和城中之士相约夹击足下。足下不信此乃我父信物。”
说完将刘琨胡笳丢下，段匹磾看到胡笳后难以置信，段匹磾犹豫片刻说到：“仅凭此物？恐难以令人信服！”
刘群又解下腰间龙渊剑丢下，段匹磾看到龙渊剑后双目圆睁，断气昏阙。其主簿商史征扶起段匹磾下令撤军。段末波见状大喜过望，放刘群等人返回。
段匹磾回无终县命人招刘琨入城说是粮草事宜，刘琨单骑入城。段匹磾命人四上捉拿，并给刘琨看了他的胡笳和龙渊剑。刘琨看到后明白。
刘琨对段匹磾说道：“此乃离间计，段公为何如此？”
段匹磾说道：“我若负人，皆可杀我，人若负我，我定杀之。”
段匹磾将刘琨下狱，刘琨大笑说道：“狡兔死，良狗烹，飞鸟尽，良弓藏！”
得知刘琨被下狱，闾嵩和箕澹前来看望。
刘琨对二人说道：“今被暗害，有利石勒，我故去之时，你们当要恪守臣节，据守险要。”
闾嵩哭到：“刘使君忠于晋室，不能以臣节而死，闾某岂能甘愿？”
箕澹说道：“刘使君今日之况，皆我之过也，使君…”说完大哭。
刘琨说道：“汝二人，丈夫也，岂能因我一人之死，而哭泣不已，与儒童何异？”
二人止哭，荣邵面见段匹磾，荣邵质问段匹磾。
荣邵说道：“段公与刘琨以兄弟之称，有桃源之交，为何以段末波此离间之计，而囚刘琨也？”
段匹磾说道：“汝若不满自可去留，何以出此怨言？”
荣邵听后直接离去，扔下长史印。
韩据得知刘琨被俘，与闾嵩与箕澹等人密谋，于是起兵五百反段匹磾，段匹磾得知后命段秀坐镇城中，段匹磾则亲自带兵一千平乱。
四人相对，段匹磾看到三人后，喊道：“为何如此？”
韩据说道：“我等见晋内乱，归附刘使君，刘使君以礼相待，我等不忍，故起兵至此！”
段匹磾说道：“起兵即是与我为敌，尔等以为可以敌我呼？”
二人交战，韩据持剑与段匹磾相战，段匹磾不善用剑，一回合被击落马下，段匹磾拿弓连射十箭中韩据，韩据被段匹磾射杀，闾嵩与箕澹带领残军而走，到了代郡。
段匹磾平乱后，上书晋廷，王敦得知段匹磾俘获刘琨后，说道：“昔日刘琨负我，今日当雪旧耻！”
东晋王敦派人至信段匹磾，段公打开信看到信中却空空如也，信使告诉他王敦之意“汝若杀刘琨，吾可封汝作幽州牧。”段匹磾将王敦使者来意告知刘琨，刘琨对子刘遵说：“王敦此举，是杀我也。死生有命，昔二亲之死，至今未报，我何有颜面，赶赴黄泉，而见我父母？”
五月段匹磾自称收到晋元帝诏旨要将刘琨缢杀，刘琨死前对段匹磾说道：“我去之后，汝当防范石勒来攻，汝若不听则段氏大事去矣。”
段匹磾冷笑说到：“使君所言我当谨记于心！越石今日离去乃王敦授意。”
说完缢杀刘琨，刘琨遇害。时年四十八岁，刘琨婢女哀哭一日，直到眼泪不出，哭血而晕猝。苏醒后收拾刘琨仅剩遗物向南而去。六月晋庭得知刘琨死讯，碍于王敦无人敢吊祭刘越石。刘琨死后，刘群、卢谌、崔悦等投奔辽西段末波。
荣邵投降于石勒。太兴三年刘琨的从事中郎卢谌、崔悦等上表朝廷为刘琨鸣冤，太子中庶子温峤也上表附议。晋元帝于是追赠刘琨为侍中、太尉。石勒听闻刘琨（刘越石）遇害，带领昔日刘琨并州降将身穿素衣，亲自念悼词向东北跪拜。
石勒对其旧部说道：“刘使君人杰一时，昔日东攻刘聪南下御我。今遭段部鲜卑所害，我欲讨平段部鲜卑为刘越石正其名节！”麾下将领无不动容，纷纷请战…….