公元626年8月，李世民正式登上皇帝位，从此李渊徙居太安宫，过着太上皇的生活。

李渊当了太上皇后，自知权力已被李世民掌握，自己心灰意懒，也就不再干预政事。李世民表面上对李渊以隆礼相敬，对李渊的享乐需要尽量满足，并在长安城东北修建大明宫，作为李渊的养老享乐之所。李渊也明白李世民的用意，所以也就知趣而退，乐于过太上皇生活。

公元635年5月，李渊病死，时年71岁，谥号“神尧大圣大光孝皇帝”，庙号“高祖”，葬于献陵。

李渊的一生，基本上是在马背上度过的，他经过无数次血与火的洗礼，终成一代开国帝王，建立了大唐帝国。他处变不惊，计谋超绝，往往运筹帷幄，决胜千里之外；常常不战而屈人之兵。他胸怀宽博，宅心仁厚，待人诚恳，以心治人，是少见的帝王之才。