我国的河流水系，除横断山区外，基本都为自西向东流，各水系间有分水岭阻隔。为扩大活动空间，人们自然想到沟通各水系的运河，以缓解陆路来往的艰辛。

京杭运河开凿始于春秋时的鲁哀公九年（公元前486年），吴王夫差为北上争霸，在今扬州南北，连接成串的天然湖泊沟通了长江和淮河。以后又有菏水和鸿沟把黄河和淮河联系起来；用灵渠穿越南岭把长江水系和珠江水系沟通。魏晋南北朝时，为战争需要又开凿了白沟等运河，把黄河和海河水系直至滦河水系连接起来。这样，早期联系滦河、海河、黄河、淮河、长江、钱塘江、珠江的南北通道已经形成，其中包括了初期的京杭运河。

在以后的年代，各段水道兴废不一，但水道网络却始终存在，并根据需要有不同的延伸。在隋朝和元朝，有两次大规模的改建和扩建。前者都城在西，后者都城在北，淮河以北的线路有大的改动，但重点基本没变。

一次耗时数百年的初创、两次巨大规模的改建、扩建和无法胜数的小规模改建、扩建，构成了京杭运河的全部历史。它是数十代人的集体创造，它关连着一个伟大国家的历史进程。