要起兵必須擴大兵力，李淵為太原留守，雖握有重兵，仍需招募一支自己的隊伍，可公開招募會引起高君雅、王威的注意。正在李淵、李世民為難的時候，馬邑人劉武周殺死了馬邑太守王仁恭，占據(jù)馬邑郡，起兵反隋，且自稱皇帝，還勾引突厥直驅太原。于是，李淵以討伐劉武周為托詞，召集各位將領商議，提出自己招募兵丁，高君雅和王威迫于當時的形勢，只好同意。于是，李淵命李世民與劉文靜、長孫順德、劉弘基、竇琮等人去招募士兵。不多久，便募兵近萬人。李淵父子大量募兵，畢竟無法完全掩蓋其真實的想法，況且其所用將領長孫順德、劉弘基是為了逃避征遼詔令而逃到太原的，而竇琮也是逃犯。高君雅、王威見此，懷疑李淵有謀反之心，于是就暗中策劃利用到晉祠祈雨的機會，將李淵父子誘騙來全部殺死。不料此事被經常出入王、高家的劉文龍得知，劉文龍立刻將此事報告給李淵，李淵于是決定先發(fā)制人。

公元617年初夏的一天夜里，李淵命令長孫順德、趙文恪等人帶領五百壯士，和李世民的精兵一起埋伏于晉陽宮城外。第二天清晨，李淵與高君雅、王威在留守府大廳議事，按照計劃，以王、高暗引突厥入侵為由，將其逮捕入獄。事也湊巧，第二天果然有突厥數(shù)萬人進攻晉陽，民眾以為是王、高所致，于是李淵趁機殺掉高君雅、王威。這標志著李淵父子正式開始晉陽起兵。

晉陽起兵后，李淵父子的目標就是乘虛入關，直取長安，以號令天下，建立新的王朝。

在長安(今陜西西安)的統(tǒng)治者聽說李淵帶兵進攻，忙派大將宋老生和屈突通分別領兵數(shù)萬，在霍邑與河東抵抗李淵大軍。大業(yè)十三年(617年)七月，李淵率軍進攻宋老生駐守的霍邑，卻逢秋雨連綿，無法開戰(zhàn)，而且道路泥濘，軍糧運輸困難。但他聽了李世民的意見，決定不撤兵。八月，連日的陰天終于放晴，李淵遂下令攻城，并由李世民率兵誘敵出城，雙方展開決戰(zhàn)。李世民身先士卒，奮勇沖鋒，“砍殺數(shù)十人，兩刀皆缺，流血滿袖”?；粢匾粦?zhàn)，李淵大獲全勝，斬殺了隋將宋老生，攻下了霍邑。隨后，李淵率兵進攻河東郡，雖取得初戰(zhàn)的勝利，但是隋將屈突通固守河東郡，李淵久攻不下。后根據(jù)李世民建議，李淵留下部分兵力包圍和牽制屈突通，自己率主力部隊渡過黃河，直取長安。

同時，李淵在關中地區(qū)的家屬和親族也紛紛起兵響應，其中有世民的胞妹平陽公主、李淵的從弟李神通，李淵的女婿段綸也在藍田縣聚眾萬余人。在這種有利形勢下，李淵父子一路上采取收攬人心的辦法，廢除了隋朝的嚴刑酷法，還開倉濟貧。一面收編關中各地的起義軍，一面爭取關中地主階級的支持。數(shù)月，李淵、李世民的軍隊已達二十萬人，并于十月開始圍攻長安。十一月，長安城破，李淵率軍進入長安宮，立年僅十三歲的代王楊侑為帝，是為隋恭帝，并改元義寧，遙尊江都的隋煬帝為太上皇。李淵總攬軍政大權，晉封為唐王。李建成為唐王世子，李世民為兆尹、秦公，李元吉為齊公。