李渊与建立隋朝的杨坚同样，也是出自关陇系统主流。李渊的母亲乃独孤信的女儿（四女），与隋文帝之妻独孤氏(独孤信的七女)是姊妹，因而李渊与隋炀帝实为同一个时期的表兄弟。

李家与隋室的关系如此之近，本来应该是隋朝的积极支持者。但李渊从小丧父，很年轻时就承袭了家业，总给人以少年老成的印象。加之李渊不拘小节、行侠仗义的作风使其颇具人望。与李渊形成对照，炀帝却是一个十足的独裁者，事无巨细都要亲自裁决，而且猜疑心超乎常人。因此，隋炀帝对于这个本来作为自己可以依靠力量的李渊充满了戒心，在李渊患病时，杨帝甚至希望李渊赶快病死。

但是，隋末严峻的形势不允许仅凭一点怀疑就犹豫不决，炀帝无奈还是委任李渊为太原留守，然而同时又派遣心腹王威、高君雅两人担任副手，监视李渊。

炀帝如此戒备李渊，除了上述李渊的家世、人望等原因之外，还有其他的理由。

当时社会上流行一首童谣，说是“桃李子”将成为下一代君主。这个“桃李子”被认为是指姓李的人。所谓童谣，就是儿童之间传唱的儿歌，在中国历史上，假托流行儿歌来有意识的预示未来的情况十分常见。隋炀帝自己也深知这一点，因而对于李姓之人非常敏感。当时，隋末群雄之一李密就被隋炀帝认为是最大的威胁，而李渊也被视为是其中的威胁之一。

在上述背景之下，李渊暗暗地积蓄实力，收留或藏匿逃亡兵士以及被官方追捕的人；借巡视辖区之际积极网罗各种人才。在这一时期，作为李渊的左榜右臂，并且给他以巨大帮助的乃是他的两个儿子，即李建成与李世民。

在太原附近有一个晋阳宫，这是炀帝在全国各地设置的离宫之一。尽管不知道炀帝何时前来行幸，晋阳宫里也还是配备了不少漂亮的宫女待命。负责管理这些宫女的宫监裴寂是李渊的心腹。

有一天晚上裴寂和李渊在晋阳宫中，由宫女服侍一起饮酒。作为臣子来说，这是绝对不能饶恕的犯上行为。当酒喝到高潮时，裴寂告诉李渊，犯下如此大错，已经没有任何退路。促使李渊当场做出了起事的决断。据说这实际上是裴寂与李世民私下串通好的结果。

对于上述插曲的真实性，我们虽然无法确切判定，但不管怎么说，优柔寡断的李渊终于做出了决断。李渊杀掉了炀帝派来监视自己的王威和高君雅，从各地汇集了三万兵力，于大业十三年七月树起了反隋的大旗。