劉淵曾以侍子（即人質(zhì)）身份留居洛陽。西晉伐吳前夕，王渾向晉武帝推薦劉淵，經(jīng)過一席交談，司馬炎對劉淵之才大為贊賞，對王濟(jì)說："劉淵容儀機(jī)鑒，雖由余、日磾無以加也。"王渾乘機(jī)舉薦劉淵為將，討伐東吳，司馬炎正想應(yīng)允，大臣孔恂、楊珧搬出一句最具種族歧視的話："非我族類，其心必異。臣觀劉淵之才，當(dāng)今懼無其比，陛下若輕其眾，不足以成事；若假之威權(quán)，平吳之后，恐其不復(fù)北渡也。"司馬炎默然。泰始初，鮮卑禿發(fā)部首領(lǐng)樹幾能在涼州起兵反晉，李熹建議任命劉淵為大將軍，發(fā)五部匈奴兵西征涼州?？租址磳?，認(rèn)為劉淵比樹幾能更加可怕，讓他平定涼州，只會增加他的實(shí)力。"劉淵若能平?jīng)鲋?、斬樹幾能，恐涼州方有難耳，蛟龍得云雨，非復(fù)池中物也。"司馬炎終于沒讓劉淵去。

晉室朝廷對劉淵的不信任，終于讓其心灰意冷，后來，他的好朋友東萊士族王彌從洛陽東歸，劉淵給王彌餞行于九曲之濱，把酒哭泣道："王渾、李憙以同鄉(xiāng)相知，每每在陛下面前夸獎我，讒言卻因此越來越多，我本來就不想做官，足下是知道的，恐怕我將身死洛陽，永遠(yuǎn)見不到你啦！"慷慨?#91;欷，縱酒長嘯，聲調(diào)亮然，坐者為之流涕。劉淵意識到民族之間有著多么深的鴻溝，報(bào)國無門不說，身家性命尚且難以保證。齊王司馬攸時(shí)在九曲，聽聞此事，勸司馬炎說："陛下不除劉淵，臣恐并州不得久寧。"你越是排斥人家，人家離你越遠(yuǎn)，不能用則殺之，多么無奈的舉動啊，這豈非民族之間永世的悲哀。晉武帝卻不能殺他，殺了劉淵，連抹在民族裂痕上的那點(diǎn)虛偽也會被剝光。司馬炎對劉淵的任用上，顯示了封建王朝典型的少數(shù)民族政策，撫而不能用。

劉豹死后，劉淵繼任父職做匈奴左部帥，因他推誠接士，輕財(cái)好施，幽、冀名流紛紛不遠(yuǎn)千里前來歸附。晉惠帝繼位后，由楊駿輔政，楊駿為拉攏天下有兵權(quán)的人物，任命劉淵為建威將軍、五部大都督、封漢光鄉(xiāng)侯，后因過失免官。

李特起義、八王之亂爆發(fā)后，鎮(zhèn)守鄴城的成都王司馬穎一度執(zhí)政，為拉攏匈奴人，任命劉淵為寧朔將軍，監(jiān)五部軍事，協(xié)守鄴城。當(dāng)時(shí)中原戰(zhàn)亂，并州境內(nèi)的漢族居民大都流徙其他地區(qū)，胡漢勢力的分布和力量對比發(fā)生了重大變化，匈奴劉氏貴族見有機(jī)可乘，開始策劃"興邦復(fù)業(yè)"起兵反晉。劉淵的從祖父劉宣在匈奴人中大力推崇劉淵："昔年我匈奴族先人與漢約為兄弟，憂泰同之，自漢以來，魏晉代興，我單于雖有虛號，無尺土之業(yè)，自諸王侯，降同編戶。今司馬氏骨肉相殘，四海鼎沸，興邦復(fù)業(yè)此其時(shí)也，左賢王劉淵姿器絕人，斡宇超世，天若不恢崇單于，終不虛生此人也。"匈奴人在他的鼓動下，派人聯(lián)絡(luò)鄴城的劉淵，準(zhǔn)備起兵。

公元304年，司馬穎受到司馬越的討伐，幽州刺史王浚率鮮卑和烏桓人進(jìn)攻鄴城，司馬穎欲棄城逃走，劉淵勸他堅(jiān)守，假托回并州招募五部匈奴救援鄴城，乘機(jī)返回左國城（今山西離石縣）。劉淵回到左國城后召集兵眾，被諸部匈奴共推為大單于，二旬之間，擁眾五萬。劉淵準(zhǔn)備救援司馬穎，劉宣等匈奴人卻勸他恢復(fù)大匈奴的事業(yè)："晉朝人像奴隸一樣使用我們，現(xiàn)在他們骨肉親人之間互相殘殺，是上天拋棄他們而讓我們光復(fù)呼韓邪的事業(yè)。鮮卑、烏桓，是我們的同類，可以作為后援，怎么能攻打他們呢？"劉淵此時(shí)早已沒有了當(dāng)初欲為晉朝效力的一片忠心，但他卻不屑僅僅做一個(gè)大單于，雄心勃勃地表示："你們說得對！不過大丈夫當(dāng)為漢高祖、魏武帝，呼韓邪何足效哉！"

劉淵說這話，表面上一看雄心壯志更大，欲做中原的皇帝，不做匈奴的單于，其實(shí)他有自己的想法，匈奴人想擁兵自重，必然要與晉國作戰(zhàn)，漢族人多，匈奴人少，如何才能取得戰(zhàn)爭的勝利呢？出師要有名，國家要有道。有正統(tǒng)才能爭人心，于是劉淵拋棄匈奴人的外衣，祭出他的政治綱領(lǐng)，指出晉朝是非法的，他解釋說："漢朝長久的擁有天下，人民崇尚漢朝，昔年漢與匈奴和親，公主屢次出塞，我們大匈奴就是漢朝的外甥，是兄弟，兄亡弟繼，難道不可以嗎？"于是劉淵建國號為漢，并以天下未定為理由，暫不稱帝，依漢高祖劉邦之例稱漢王。追尊安樂公劉禪為孝懷皇帝，做漢三祖、五宗神主進(jìn)行祭祀，不祭歷代匈奴單于，從這個(gè)意義上說，劉淵做了大漢的兒皇帝。劉淵的這套措施基于他對當(dāng)時(shí)民族形勢的正確研判，將匈奴人融入漢人中間，消除兩大民族之間的隔閡，毫無疑問，他推行的這套政策相當(dāng)成功，爭取到一部分漢人的支持，包括山東的大士族王彌成為他在關(guān)東（延續(xù)三國的稱法）的得力戰(zhàn)將，劉淵的聲勢一天天高漲。