众皆说要取大城，必取上党。在左国城南部有两座名城，西边是平阳（临汾），东面是上党（长治）。
上党地势高，号称“与天为党，故曰上党”。中国有些古称都是从夏朝传来。太行本不高，可是夏商人就那点眼光。曹操的《苦寒行》说：北上太行山，艰哉何巍巍！车轮为之摧，延颈长叹息。怎么样？比李白的《蜀道难》如何？
所以太行也不高，上党更不高，可他确实是古代的军事名镇，也算易守难攻。战国的长平之战，就是因争上党而战。更重要的是上党东部有一座名关，此关正是壶关。壶关在晋是并州入中原的最重要的道路关卡，东窥邺城、邯郸，是进可攻，退可守的军事要隘。
以上党为基地，最大的好处是地利好，可以睡个安稳觉；再次就是能和石勒、王弥连成一体。
可是刘渊却不想去上党，找个大点的基地，除了发展需要，还有一个重要原因，就是睡个安稳觉。可是上党是并州最南的郡，是并州除晋阳以外最重要的城池，还是刘琨和大晋朝廷联系的最近路线，刘渊若攻占上党，刘琨必与之拼命。这是刘渊不愿意看到的。刘琨在不借助北方鲜卑的力量下，无法出战刘渊。但是刘渊要把所有的可能性都要考虑到，他知道如果自己逼得太紧，刘琨早晚会把鲜卑兵派来。
刘渊希望先打平阳（临汾），打平阳最大的好处是：当时平阳并非归并州所属。向南迁入平阳，将出离刘琨的辖区。当时的平阳归司州所属。司州是大晋直隶的州，京师洛阳正在司州。司州最北为平阳郡，最东为邺城，是大晋人口最多的州。
东海王在豫州指挥平定石勒、王弥，平阳没有强军。刘渊力排众议，先打下平阳，再东攻上党。打通和王弥、石勒的联系。
刘渊出并州攻平阳，是非常现实的。从地理上讲，上党最好，可是上党对并州刘琨来说太重要。后来双方在数年里激烈争夺上党。上党数易其主，谁也不能完全控制上党。
刘渊定下出兵南攻平阳之策，就要求大练兵众，准备攻城器械。安排妥当，就问文武还有什么事要说。
刘聪便问：“前时，刘琨偷袭我们，有百员伤兵被我俘虏，如今他们伤愈，如何安排这百人？”
刘渊冷笑道：“把他们放走。当初刘琨入并，放了我们去阻击他的人。有些杂胡才去投靠他。把他们放走，让他们知道，我们也不会亏待他们。”
刘聪遵命。刘曜听完，也上前禀报：“父王，您派去联络刘虎的人已经回归。刘虎说他在刘琨地盘包围之中。不得已只有表面臣服刘琨，不过将来您与刘琨决战并州，他必倾向我们。”
刘虎部也属于匈奴五部，但他部却在新兴（忻州）一带放牧。因在晋阳以北，在刘琨完全控制的地盘之中。被迫在表面上臣服刘琨。一百年之后其直系后人赫连勃勃天王建立胡夏国。《新唐书》竟记这一支为东汉开国皇帝刘秀的直系子孙。
九月，汉王刘渊再命王弥、石勒攻击河北各重镇，以乱晋廷。然后自己带领匈奴四部南下出并州。攻司州平阳。平阳百年未遇战争，刘渊35万部众进入平阳，仅是骑兵就不下五万人。平阳太守宋抽未战而逃，刘渊暂时驻扎蒲子城。命刘聪、刘景继续南下攻河东。胜利来的特顺利，刘渊胆子越来越大，他要把河东当做战略缓冲。以黄河为防线。
河东为洛阳北面屏障，又是关中长安的东大门，地位重要，城池也雄伟。刘聪来攻。一百多年以来，汉民多胜胡人。河东太守自信心过重，竟出城与匈奴兵野战。刘聪骑军比河东太守路述的步兵还多，结果可想而知。路述大败，伤亡半数，才回城死守。
同时王弥、石勒又攻下大晋天子第二号重镇——邺城，极大地牵制了大晋王朝的注意力。东海王越眼里，邺城及邺城以东的青州，以南的兖州是其根基所在。东海王亲自坐镇，令豫州刺史裴宪为前线主帅，寻找民军决战。
刘渊命刘聪全力攻打河东。刘聪督众狂攻二十余日，终于毁掉城池一角，胡军蜂拥而进，路述战败殉国。
刘渊拿下河东郡城，晋东海王派将军曹武出屯大阳，与刘渊争夺河东。大阳（山西平陆县）在黄河以北，其南面隔河相望的就是三门峡市。虽然刘渊占领河东郡城，由于曹武还在河东地区内，晋军还勉强控制着黄河北岸，还没有丧失主动。
而由于王弥、石勒在河北的农军各有数万，东海王把晋军中原主力放在王弥、石勒一面，以豫州刺史裴宪为元帅。
刘渊两路进攻大晋。风生水起，也就不管不顾自立为帝，国号还是汉。但他还是比西蜀的氐人李特晚称帝两年。刘渊把都城建立在平阳（临汾城），据说平阳在‘夏朝’时，本是匈奴故居。五胡乱华之中，羌、氐、匈奴均是中原故民。在上千年漫长的历史中，被农耕民族挤出中原。匈奴自称胡人，胡的古意为“远”，即远离故土的人。
由于兵不血刃的攻下平阳，以至于刘渊敢于继续南下，拿了大半个河东地区。刘渊获得出其意料的收获。河东郡本身是没有胡人放牧的，可是河东与陕西只有一河之隔，陕西胡人纷纷来投。人数较多的有氐族单徽，鲜卑后部等。快六十岁的刘渊以氐族单徽之女为皇后，意在联盟陕西诸胡。氐族单徽之女是十年前刘渊做‘匈奴五部大都督’时所娶，本是小妾。
匈奴除皇室以外