泰始六年与咸宁四年秃发鲜卑部首领秃发树机能两次击败斩杀秦州刺史胡烈和凉州刺史杨欣，于是西晋发兵秦、凉二州，准备平定叛乱，但晋军初战溃败，所以晋武帝访求将帅们收复失地的办法，上党人李憙说:“陛下您若是真的能够征发匈奴五部的兵众，授予刘渊一个将帅的封号，让他们向西部进军，那么，西部的秦州、凉州便指日可定。“孔恂说:“李公的话，不完全符合消除祸患的情理。“李憙勃然大怒道:“凭匈奴人的强悍，刘渊的熟悉兵法，让他们奉命去显示皇上的圣武，有什么不能得到!“孔恂接着说:“刘渊若是能够平定凉州，斩杀树机能，恐怕凉州境内又要乱了。蛟龙得到云雨，就不再是池塘中无法施展能耐的小东西了。“晋武帝于是放弃任用刘渊的打算。
后来，王弥从洛阳东回故乡东莱，刘渊在九曲河滨为王弥饯行，流着泪对王弥说:“王浑、李憙因为同乡的缘故而对我有所了解，他们常常称道、推荐我，可是一些人也乘机向皇上大进谗言，这些都不是我所希望的，相反，刚好足以对我构成危害。我本来并没有做官的想法，这一点只有您知道。恐怕我会死在洛阳，永远与您诀别了。“因此情绪激昂，尽情地喝酒，大声地慨叹、呼叫，声音嘹亮，在坐的人禁不住因此而流泪。齐王司马攸当时正在九曲，听说此事便派人快马去察看，看见刘渊在那里，于是对晋武帝说:“陛下您如果不除掉刘渊，恐怕并州就不能够长久地安定。“王浑又进言道:“刘渊是长者，我王浑替君王担保讲明此事。况且大晋正要向少数民族表明用诚信相待，用德政使远方的人归附，怎么能够凭连萌芽状态都没有的嫌疑杀戮别人送来伺候的人质，以表明晋朝恩德不广呢?“晋武帝同意王浑所言，最终没有杀刘渊。
咸宁五年，刘渊的父亲左部帅刘豹去世，西晋朝廷于是任命刘渊为代理左部帅。太康十年晋武帝任命刘渊为北部都尉。刘渊在任期间，严明刑法，禁止各种奸邪恶行，他不看重财物，爱好施舍，与他人相交，推诚相见。于是匈奴五部的豪杰都纷纷投奔到他的门下，就连幽州、冀州知名的儒生，后学中杰出的人士，都不远千里来此游历。永熙元年(290年)，晋惠帝司马衷继位，由外戚杨骏辅佐朝政，杨骏便任命刘渊为建威将军、五部大都督，封爵为汉光乡侯。