劉琨善吹胡笳。公元307年，劉琨出任并州刺史，進駐晉陽城。有一年，數萬匈奴士兵將晉陽圍困住。劉琨見勢不妙，如與敵軍硬拼，必然兵敗城破，于是一面嚴密防守，一面修書請求援軍。過了七天援軍還未到，城內糧草不濟、兵士恐慌萬狀。劉琨登上城樓，俯眺城外敵營，發出一聲長嘯，冥思苦想對策。忽然他想起“四面楚歌”的故事，于是下令會吹卷葉胡笳的軍士全部到帳下報到，很快組成了一個胡笳樂隊，朝著敵營那邊吹起了《胡笳五弄》。他們吹得既哀傷、又凄婉，匈奴兵聽了軍心騷動。半夜時分，再次吹起這支樂曲，匈奴兵懷念家鄉，皆泣淚而回。

早期生活
　　劉琨是西漢中山靖王劉勝的后裔。他的祖父劉邁，曾任相國參軍、散騎常侍。父親劉蕃，官至光祿大夫。劉琨工于詩賦，頗有文名。賈后之侄賈謐權過人主，身旁聚集了一批豪族貴戚出身的文人，互相唱和，號為“二十四友”，而劉琨兄弟也廁身其間。

　　西晉元康五年（295年），二十六歲的劉琨出任司隸從事。后又被高密王司馬泰辟為掾屬，遷任著作郎、太學博士、尚書郎。

八王之亂
　　永康元年（300年），趙王司馬倫執政，以劉琨為記室督，又改任從事中郎。永寧元年（301年），司馬倫稱帝，劉琨任太子詹事，輔佐司馬荂。齊王司馬冏、成都王司馬穎、河間王司馬颙等諸王共同討伐司馬倫，劉琨被司馬倫任命為為冠軍將軍、假節，與孫會領兵三萬抵抗司馬穎，結果在黃橋大敗而回。司馬冏輔政后，劉琨因出身名門，被任命為尚書左丞、司徒左長史。302年（太安元年），司馬冏兵敗，范陽王司馬虓鎮守許昌，并推薦劉琨為司馬。

　　永興元年（304年），晉惠帝被張方脅迫遷都長安。次年，劉喬攻擊司馬虓，劉琨援救不及，其父母皆被俘獲。306年（光熙元年），劉琨從幽州王浚處求得八百騎兵，擊破東平王司馬懋，戰敗劉喬，救出父母，又斬殺司馬穎麾下大將石超，收降滎陽守將呂朗。同年，司馬越將晉惠帝救回洛陽，劉琨因功被封為廣武侯，邑二千戶。

出鎮并州
　　光熙元年（306年）九月，司馬越為了擴張勢力，派劉琨出任并州刺史、加振威將軍、領護匈奴中郎將。劉琨帶領一千余人輾轉離開首都洛陽，于307年（元嘉元年）春到達晉陽（今山西太原）。當時的晉陽經歷戰亂，已成一座空城。劉琨在左右強敵環俟的環境下安撫流民，發展生產，加強防御。不到一年晉陽就恢復了生氣，成了晉在中原的少數幾個存留抵抗勢力之一。

　　當時的晉陽南面是強大的匈奴前趙，北面是正在崛起的鮮卑代國，東面是和段部鮮卑結盟的幽州刺史王浚。劉琨和拓跋鮮卑首領拓跋猗盧結為兄弟，和前趙石勒等大將的戰斗互有勝負。

　　河南人徐潤因通曉音律得到劉琨的重用，但是此人無能而跋扈。奮威將軍令狐盛進言要劉琨除去徐潤，反被徐潤誣殺，造成其子令狐泥等人的反叛。劉琨吸引了許多志愿抗擊匈奴、羯人的志士，但他的政治軍事才能也使不少人離去。

　　建興元年（313年），晉愍帝繼位，封劉琨大將軍、都督并州諸軍事，加散騎常侍、假節。建興三年（315年），劉琨被晉愍帝封為司空、都督并冀幽諸軍事。劉琨辭去司空，接受都督之職。不久，代王拓跋猗盧被其兒子拓跋六修殺死，拓跋普根平定叛亂也因病而死，劉琨在拓跋部作為人質的兒子劉遵同箕澹等率3萬余人投奔劉琨。

依附段部
　　建興四年（316年），石勒出兵進攻并州，劉琨不聽姬澹勸阻全軍盡出，中伏大敗，丟失并州，只身投奔幽州刺史、遼西鮮卑左賢王、假撫軍大將軍段匹磾，并與其結為兄弟。同年，劉曜攻破長安，晉愍帝被俘，西晉滅亡，劉琨令長史溫嶠向司馬睿勸進。司馬睿稱帝后，加封劉琨為侍中、太尉，其余官銜不變，并賜他名刀一把。

　　建武元年（317年），段匹磾以劉琨為大都督，率軍討伐石勒。結果段匹磾堂弟段末杯接受石勒賄賂，不肯進軍，劉琨因勢弱只得退兵。

含冤而死
　　太興元年（318年），段部鮮卑內斗，段末杯擊敗段匹磾自任單于，并俘虜了劉琨的兒子劉群。劉群得到段末杯的厚待，便給劉琨寫密信邀請他共擊段匹磾，誰料密信被段匹磾截獲。段匹磾雖相信劉琨，但最終還是將劉琨下獄。

　　劉琨素有名望，拘押期間，遠近之人盡皆憤嘆。代郡太守辟閭嵩與劉琨部下將領企圖反叛段匹磾救出劉琨，因泄密而失敗。東晉權臣王敦派人密告段匹磾，讓他殺掉劉琨。劉琨聽說王敦來使，便對兒子劉遵說：“處仲（王敦）使來而不我告，是殺我也。死生有命，但恨仇恥不雪，無以下見二親耳”。

　　同年五月初八，段匹磾自稱奉皇帝詔旨將劉琨縊殺，子侄四人同時遇害。劉琨時年四十八歲。東晉因段匹磾勢力強大，還要依靠他討伐石勒，因此沒有吊祭劉琨。劉琨死后，世子劉群、姨甥盧諶、內侄崔悅等投奔遼西段末杯，而部下將佐大都投靠石勒。

　　太興三年（320年），劉琨的從事中郎盧諶、崔悅等上表朝廷為劉琨鳴冤，太子中庶子溫嶠也上表附議。晉元帝于是追贈劉琨為侍中、太尉，謚曰愍。