马邑郡（山西朔州）守将刘武周杀了郡守开仓放粮赈济饥民，自立为梁国皇帝，向突厥人称臣。
617年，隋炀帝派往山西剿匪的将军李渊起兵反隋。
李渊据说是汉代名将“飞将军”李广的后代。祖上世代为官。父亲李虎是北周的大将，被封唐国公。李虎的媳妇和隋文帝的皇后独孤氏是亲姊妹。因此李渊和隋炀帝是表兄弟。李渊7岁袭了唐国公的爵位。起兵前李渊任隋朝的太原留守（军事长官），负责山西剿匪。
李渊对隋炀帝忠心耿耿，尽心尽力。但他的儿子李世民认为隋朝气数已尽，开始活动脑筋。
李世民的亲信刘文静建议李世民起兵反隋。他认为天下大乱正是浑水摸鱼的好机会。趁关中军队去救援洛阳，我们趁虚而入袭取长安，只需半年时间就能为霸业奠定基础。
李世民深以为然，只是担心父亲李渊不同意，等待机会说服父亲。
突厥趁中原大乱频频骚扰中国。李渊率军抵抗，作战不利，败给了突厥。李渊担心隋炀帝追究他兵败之罪，惶恐不可终日。李世民趁机劝他反隋。
李渊还在犹豫不决。隋炀帝派使者来太原拘传李渊去江都。李渊于是下决心反隋。
李渊一面以抵抗突厥为名招兵买马，一面派刘文静秘密出使突厥，与突厥讲和。
李渊与突厥化敌为友，借助突厥之力扯旗造反。他与突厥约定：“若入长安，民众土地入唐公，金玉缯帛归突厥。”
李渊率领三万军队从太原出发杀往长安。
他让小儿子李元吉留守太原，任命长子李建成、次子李世民为左右将军随他进军长安。
李渊有四子一女。四子分别是李建成、李世民、李玄霸、李元吉，其中李玄霸早夭。唯一的女儿嫁给隋炀帝做嫔妃。李渊的三儿子都是文武双全的帅才，是李渊的得力干将。
李玄霸是《隋唐演义》里面第一条好汉李元霸的原型。李元霸天生神力，“恨天无耳、恨地无环”，天若有耳他就把天扯下来，地若有环他就把地提起来。掌中一对擂鼓瓮金锤，胯下一匹千里一盏灯，打遍天下无敌手。实际上，李元霸在历史上有其人无其事。把一个夭折的孩子，妙笔生花成一位盖世英雄。
TJ连下数城杀至霍邑（山西临汾霍州市）。隋将宋老生率军两万拦住TJ的去路。
两军交战中，TJ顶不住宋老生的攻势向后退却。关键时刻，李世民亲自率军冲锋陷阵，手刃数十人。两把钢刀都砍卷了刃。TJ重振士气，最终反败为胜。
李渊在霍邑挑选精壮男丁补充进自己的队伍。突厥始毕可汗送来五百骑兵和两千匹马。李渊的实力大增。
TJ乘胜进攻河东（山西运城永济县蒲州镇）。隋将屈突通率军数万镇守河东，慑于TJ兵势不敢出战，闭关自守。
李渊看河东城高墙厚，担心久攻不下挫伤士气。绕城而过吧，又害怕腹背受敌。他跟众将商量怎么办？
有人主张强攻，花多长时间也要把它打下来，否则后路难保。
李世民不同意。他说兵贵神速，趁关中空虚拿下关中，我们就处于不败之地。河东不敢出战，对我们构不成威胁。
李渊权衡两方意见，决定留一部分兵力围攻河东，让李世民带兵去打长安。
TJ渡过黄河杀入关中，兵锋直指长安。
TJ在进军长安的路上纪律严明，对百姓秋毫无犯。打下隋朝西部军粮城永丰仓后，TJ开仓放粮救济百姓。沿途百姓和变民纷起投奔。李渊的堂弟李神通、女婿柴绍起兵响应李渊。TJ吹气式地膨胀起来。
TJ攻到长安时已经拥兵几十万。
隋炀帝南巡时令他的孙子杨侑[yòu]留守长安。
杨侑派兵迎战TJ被TJ击败。
李渊要求杨侑投降。杨侑不肯回应。李渊于是下令攻城。
TJ几天便攻克长安。
大兴城也被攻克。李渊将其改名为长安。
大兴城是隋文帝在长安城外新建的一座城。隋炀帝嫌长安布局混乱，街道狭窄，污水横流，在城外新建了一座皇宫，称之为大兴城。后来隋炀帝在皇宫外加了一道城墙，把大兴城变成名副其实的城市。隋朝后期的都城其实是在大兴城。
大兴城的遗址在现在的西安市区。隋朝的长安城遗址在西安郊外，现在叫未央区。
李渊攻克长安后，杨侑就成了李渊的俘虏。
李渊对外宣称拥杨侑为帝，尊隋炀帝为太上皇。他自称唐王、大丞相。