晉惠帝（司馬衷的謚號）元康末年，成都王司馬穎被任命為鎮(zhèn)北大將軍，鎮(zhèn)守鄴城。鑒于劉淵的影響力，就起用他為寧朔將軍、監(jiān)五部軍事，將他調(diào)到鄴城。

這時，“八王之亂”開始，天下大亂，匈奴部族也自然有些想法了。劉淵的從祖，原北部都尉、左賢王劉宣等人在一起議論時說：“從前，我們的先人與漢室約為兄弟，憂泰與共。自漢亡以來，魏晉代興，我們的‘單于’雖有虛號，卻沒有寸土之業(yè)，從王侯降為編戶（與普通老百姓無異了吧）?，F(xiàn)在司馬氏骨肉相殘，四海鼎沸，看來是我們興邦復業(yè)的時候了。”

眾人都認為劉淵“姿器絕人，干宇超世”，一致推他為大單于，并派同黨呼延攸到鄴城密告劉淵。劉淵也是早有此心，便借故向司馬穎請歸，司馬穎畢竟心有疑慮，并未放行。劉淵只好讓呼延攸先回去捎上口信，命劉宣等人召集匈奴五部人馬及其他的胡人，以響應(yīng)司馬穎為名，準備起事。于是晉室江山在風雨之中，已是搖搖欲墜了。