七月初四日，李淵在晉陽宮城東的乾陽門街軍門前豎白旗誓師，並任命四子李元吉爲鎮北將軍、太原郡守，讓其留守晉陽。李淵在誓文中歷數了隋煬帝楊廣的種種罪惡，宣佈要“興甲晉陽，奉尊代邸，掃定鹹洛，集寧寓縣”。初五日，李淵親率長子李建成、次子李世民及義師甲士3萬自太原揮兵南下，直指關中。
七月，李淵與長子建成、次子世民揮師南下，先後破霍邑(今山西霍縣)、渡黃河，向西南挺進。當時，隋煬帝遠在江都(今江蘇揚州)，關內隋軍力量薄弱;中原瓦崗軍與王世充激戰方酣，均無暇西顧。因此李氏父子進軍神速，十一月間攻入長安。李淵進入長安不久，就宣佈遙尊隋煬帝爲太上皇，擁立煬帝孫代王楊侑爲帝，改元義寧，是爲隋恭帝。恭帝進封李淵爲唐王，以李建成爲唐王世子;李世民爲京兆尹，改封秦國公;封李元吉爲齊國公。公元618年(義寧二年)李世民徙封趙國公。公元618年3月，隋煬帝在江都被部將殺死。
五月，李淵即位，國號唐，建元武德，定都長安，是爲唐高祖。李淵以李世民爲尚書令。不久，又立李建成爲皇太子，封李世民爲秦王，李元吉爲齊王。
公元617年(大業十三年)十一月初九日，李淵率軍攻陷長安，立隋煬帝之孫楊侑爲帝，是爲隋恭帝。隋恭帝任命李淵爲大都督內外諸軍事、大丞相、錄尚書事，進封唐王。
第二年五月，隋恭帝被迫禪位於李淵，李淵即皇帝位於長安，建立唐朝，是爲唐高祖。
