李淵本來是隋王朝的貴族，靠繼承祖上的爵位，當上了唐國公。公元６１７年，隋煬帝派他到太原去當留守（官名），鎮(zhèn)壓農(nóng)民起義，開始他也打過幾個勝仗，后來看到起義軍越打越強，越打越多，他也感到緊張起來了。
李淵有四個兒子。第二個兒子李世民那時候剛十八歲，是個很有膽識的青年，平時喜歡結(jié)交有才能的人。人們也覺得他慷慨好客，喜歡跟他打交道。他看準隋朝的統(tǒng)治長不了，心里早有了自己的打算。
晉陽（今山西太原）縣令劉文靜，十分看重李世民。李世民也把他看作知心朋友。劉文靜跟李密有親戚關(guān)系。李密參加起義軍以后，隋煬帝下令捉拿李密親友。劉文靜受到株連，被革了職，關(guān)在晉陽的牢監(jiān)里。
李世民聽到劉文靜坐了牢，十分著急，趕到牢監(jiān)里去探望。
李世民拉著劉文靜的手說：“劉大哥，我來探望，不但是為了敘敘友情，主要是想請您幫我出個主意。”
劉文靜早就知道李世民的心思。他說：“現(xiàn)在皇上遠在江都，李密逼近東都，到處都有人造反。這倒是打天下的好時機哩。我可以幫您收集十萬人馬，您父親手下還有幾萬人。如果用這支力量起兵，打進長安，號令天下，不出半年，可以取得天下。”
李世民高興地說：“您真說到我心里去了。”
李世民回到家里，想想劉文靜的話，越想越覺得有道理。但是要說服他父親，倒是個難題。正好在這個時候，太原北面的突厥（我國古代北方民族之一）可汗進攻馬邑。李淵派兵抵抗，連接打敗仗。李淵怕這件事給隋煬帝知道了，要追究他的責任，急得不知道該怎么辦。
李世民抓住這個機會，就找李淵勸他起兵反隋。李淵一聽，嚇得要命，說：“你怎么說出這種沒上沒下的話來。要是我去報官，準會把你抓起來。”
李世民并不害怕，說：“父親要告就去告吧，兒才不怕死呢。”
李淵當然不會真的去告發(fā)，只是叮囑他以后別說這樣的話。
第二天，李世民又找李淵說：“父親受皇上的委派，到這里討伐反叛的人?？墒茄劭丛旆吹娜嗽絹碓蕉?，您能討伐得了？再說，皇上猜忌心很重，就算您立了功，您的處境更加危險。只有照我昨天說的辦，才是唯一的出路。”
李淵猶豫了許多時候，才長嘆一口氣說：“昨天夜里，我想想你說的話，也有道理。我也拿不定主意。從現(xiàn)在起，是家破人亡，還是能化家為國，就憑你啦！”
李淵把劉文靜從晉陽牢監(jiān)里放了出來。劉文靜幫助李世民，分頭招兵買馬。李淵又派人把正在河東打仗的另兩個兒子李建成和李元吉召了回來。
太原的兩個副留守看到李淵父子的舉動反常，想出來阻撓。李淵借口他們勾結(jié)突厥，把他們抓起來殺了。
李淵又聽從劉文靜的計策，派人備了一份厚禮，到突厥可汗那里講和，約他一起反隋。突厥可汗覺得這樣做對他們有好處，就答應幫助李淵。
李淵穩(wěn)住突厥這一頭，就正式起兵反隋。李淵自稱大將軍，派李建成和李世民分別做左右領(lǐng)軍大都督、劉文靜做司馬，又把兵士都稱為“義士”。他們帶領(lǐng)三萬人馬離開晉陽，向長安進軍。一路上繼續(xù)招募人馬，并且學農(nóng)民起義軍的做法，打開官倉發(fā)糧給貧民。這樣一來，應募的百姓就越來越多了。
唐軍到了霍邑（今山西霍縣），遭到隋朝將軍宋老生的攔擊?；粢匾粠У缆藩M隘，又正趕上接連幾天大雨，唐軍的軍糧運輸中斷了。兵士中還紛紛傳說突厥兵正準備偷襲晉陽。李淵動搖起來，想撤兵回晉陽去。
李世民對李淵說：“現(xiàn)在正是秋收季節(jié)，田野里有的是糧食，哪怕缺糧！宋老生也沒有什么可怕。我們用義兵的名義號召天下，如果還沒打仗就后撤，豈不叫人失望?；氐綍x陽，是斷斷沒有生路的。”
李建成也支持他弟弟的主張。李淵這才改變了主意，取消了撤兵的打算。
八月的一天，久雨剛剛放晴。唐軍一早沿著山邊小路，急行軍來到霍邑城邊。李淵先派建成率領(lǐng)幾十個騎兵在城下挑戰(zhàn)。宋老生一看唐軍人少，親自帶了三萬人馬出城。李世民帶兵居高臨下從南面山頭沖殺下來，把宋老生的人馬沖得七零八落。宋老生急忙回頭想逃回城去。李淵的兵士已經(jīng)占了城池，把城門關(guān)得緊騰騰的。宋老生走投無路，被唐軍殺了。
唐軍攻下霍邑以后，繼續(xù)向西進軍，在關(guān)中的農(nóng)民軍的配合下，渡過黃河。留在長安的李淵的女兒也招募了一萬多人馬，號稱“娘子軍”，響應唐軍進關(guān)。
李淵集中了二十多萬大軍攻打長安。守在長安的隋軍，要想抵抗也沒用了。李淵攻下長安以后，為了爭取民心，宣布約法十二條，把隋王朝的苛刻法令一概廢除，并且暫時讓隋煬帝的孫子楊侑（音ｙòｕ）做個掛名的皇帝。
