建武二年(公元318年)五月八日，段匹磾對外宣稱劉琨企圖自立為帝，犯上作亂，而自己奉密詔誅殺劉琨，派人將劉琨勒死。劉琨死時年僅48歲。同時，段匹磾還誅殺了劉琨的兒子、侄子共四人。

劉琨死后，江南政權(quán)為了拉攏段匹磾，并沒有給予劉琨任何褒贈。數(shù)年之后，在被司馬睿愛賞的溫嶠(劉琨是其姨夫)多次請求下，東晉政府為劉琨發(fā)喪，追贈為太尉、侍中。

王敦指示段匹磾殺掉劉琨，這一說法出自《晉書·劉琨傳》。但《晉書·段匹磾傳》卻記載：“(段匹磾)復(fù)為末柸所敗，士眾離散，懼琨圖己，遂害之?！贝颂巸H僅提到段匹磾要殺劉琨，并沒有提到王敦或者東晉朝廷要殺劉琨?！稌x書·元帝紀(jì)》也僅僅記載劉琨于此時被段匹磾所害?！顿Y治通鑒》里也沒有王敦或者東晉政府要加害劉琨的說法，只是說：“匹磾稱詔收琨?！?/p>

然而，《建康實錄》卻對于王敦想要誅殺劉琨的原因作了一個說明。

一是劉琨在江南沒有人緣?！督祵嶄洝酚涊d：當(dāng)司馬睿南渡江東之后，雖然長安尚有晉愍帝，但司馬睿在江東已經(jīng)構(gòu)建了屬于自己的獨立王國。中原很多名門大族也都投靠了司馬睿，而劉琨卻一直在并州堅守。劉琨沒有及時選擇陣營，一直讓司馬睿等人耿耿于懷。

二是王敦妒忌劉琨?！督祵嶄洝愤€記載：“初，王敦見劉琨勸進(jìn)表至‘天祚大晉，必將有主。主晉祚者，非大王而誰！’敦大怒，投表于地，曰：‘讀《左傳》三十年，一朝為琨所用！’卻因內(nèi)憚矣?！眲㈢跁x愍帝被俘之后，明確了自己的立場，并主動向司馬睿勸進(jìn)。劉琨的勸進(jìn)表文采飛揚，讓王敦心生醋意。王敦聽說段匹磾拘禁了劉琨之后，就秘密派出使者要求段匹磾將劉琨處死，而段匹磾擔(dān)心劉琨勢力會對自己不利，就對外宣稱誅殺劉琨是奉了朝廷的詔書。

不論段匹磾以何種冠冕堂皇的理由殺掉劉琨，劉琨的死不僅沒有換來段匹磾治下幽州地區(qū)的安定，反而加速了本來就“士眾離散”的段匹磾統(tǒng)治走向分崩離析。史稱：“于是，晉人離散矣?！焙芏嘣瓉韯㈢牟肯赂窍驏|投奔段匹磾?shù)臄橙硕文〇取Ｈ纭稌x書·劉琨傳附劉群傳》就指出，溫嶠的姨家弟弟劉群，劉琨的原部下崔悅，還有盧諶等，都在段末柸的手下。

殺掉劉琨以后，段匹磾想擁眾逃往代郡，但是聽到這一消息的拓跋郁律秘密整頓軍隊，準(zhǔn)備隨時打擊來犯之?dāng)场４藭r，段末柸已自稱為幽州刺史，命令弟弟率軍攻擊薊縣。段匹磾走投無路，只好選擇南下。當(dāng)段匹磾率領(lǐng)的數(shù)千部隊走到鹽山(河北省滄州市鹽山縣)的時候，他們卻被石勒的部將阻截。一番激戰(zhàn)之后，段匹磾只得又折返回薊縣，勉強暫時繼續(xù)固守在那里。

劉琨的死在當(dāng)時是一件大事。晉朝在北方最有影響力的抗胡英雄隕落了，人心大散。