李渊祖籍陇西成纪，祖父李虎，是后魏左仆射，封陇西郡公，官至太尉，成为著名的八柱国之一，位极尊贵，死后被追封唐国公。父亲李晒，袭封唐国公，北周时任安州总管、柱国大将军。公元566年，李渊出生于长安，不久世袭唐国公。

青年李渊，倜傥豁达，任性率真，宽仁容众，在当时的人们心目中有很高的威望。隋文帝独孤皇后是李渊的姨母，因此，李渊在朝廷中十分受宠，历任潐州（今安徽宅县）、陇州（今陕西陇县）、岐州（今陕西凤翔县）刺史。

李渊的妻子窦氏，是京兆平陵人，父亲窦毅在北周是上柱国，母亲是北周武帝的姐姐襄阳长公主，所以窦氏就是武帝的外甥女。窦氏从小就很聪明伶俐，深受武帝喜爱，被留在宫中。武帝当时的皇后是突厥女，其时突厥犯境，武帝不得已与之成婚，婚后始终耿耿于怀。窦氏却劝说舅舅隐忍，保持与突厥的婚姻，以消除北方的威胁，全力对付南陈和北齐。

在杨坚取代北周时，窦氏说：“我恨自己不是男子，无法为舅舅家扫除祸患。”吓得父亲赶紧捂住她的嘴：“不要胡说！这是灭门之罪！”

窦毅认为自己的女儿不是等闲之辈，在选女婿时想了一个办法：让人在门屏上画了两只孔雀，凡是两箭各射中一只孔雀眼睛的，就招为女婿。前边有几十人都没有射中，轮到李渊之时，两箭都射中孔雀的眼睛。窦毅十分高兴，便把女儿嫁给了李渊。

窦氏的聪明超出了一般人。一次，杨广看到李渊的脸上皱纹较多，便戏称李渊是“阿婆”。李渊回到家中很不高兴，窦氏问清原因，马上贺喜道：“这是吉兆啊，你继承的是唐国公，‘唐’便是‘堂’，‘阿婆面’就是指‘堂主’啊！”窦氏指的是李渊将来要做皇帝，取代杨广。窦氏育有4子，分别为建成、世民、元霸、元吉。元霸16岁夭折。

隋初，李渊为荥阳、楼烦二郡太守，不久，又被任命为殿内少监。公元613年，升为卫尉少卿。这一年，杨广发动了侵略高丽的战争，李渊受命在怀远镇负责督运粮草。当时，民不堪苦，怨声载道，大贵族杨玄感利用人民的不满情绪，起兵反隋。李渊飞书奏闻，杨广命李渊镇守弘化郡（今甘肃庆阳县）兼知关右诸军事，以备抵御杨玄感。杨玄感兵败，李渊留守如故。在这期间，李渊广树恩德，结纳豪杰。

公元617年，李渊被任命担任太原留守。太原是军事重镇，不仅兵源充沛，而且饷粮丰厚，军粮可供10年之用，因此李渊十分高兴，意欲在太原发展自己的势力，以图大举。

李渊刚到太原之初，有“历山飞”农民起义军结营于太原之南，上党、西河、京都道路都被断绝。李渊出兵击败义军，巩固了自己在太原的统治地位。晋阳一带的官僚、地主、豪绅也纷纷投靠李渊。李渊又命次子李世民在晋阳密招豪杰，倾财赈施，广纳贤才。其长子李建成也在河东暗中交结英俊，发展势力，而此时的杨广又远在江都，沉湎酒色，鞭长莫及。李渊在太原韬光养晦等待时机。