随着统一战争的顺利进行，李渊的思想开始松懈下来，安于享乐，不再对政治事务像以前那么关心了，这直接导致了皇储问题的产生。

他作为父亲，想让几个儿子和睦相处，但又在立皇太子的问题上反复，没有明确的主意，使得兄弟相争不已。在刘武周大举南下，攻陷太原威胁长安的时候，李渊亲自为儿子李世民送行，还许诺得胜回来后立他为太子。但李世民回来之后，他又反悔，听信后妃们的求情，保留了李建成的太子之位。这直接导致了兄弟之间的不和，成了激烈争夺太子的导火线，可以说，玄武门之变李渊也要承担一定的责任。

在玄武门之变发生之后，李世民让大将尉迟敬德入宫向李渊通报情况。这时的李渊正和裴寂等人在南海池中泛舟，见尉迟敬德一身铠甲地站到岸边，非常惊慌。尉迟敬德说，太子李建成和齐王李元吉谋反，秦王已经将他们处死，为防不测，派我来护驾。李渊吃惊得说不出话来，最后只得下诏命令太子李建成和齐王李元吉的部下听从李世民的调遣。

六月一日，李渊颁布诏书正式立李世民为皇太子，八月，李渊只好将皇位让出来，自己去做了太上皇。