春秋战国时，我国运河工程首先兴起于长江中下游及黄、淮之间。到秦、汉时期范围扩大了，南到五岭，西至关中，北及幽燕，都凿有运河。灵渠便是其中之一。

在古代，我国南方有一个人数很多的越族，他们活跃在江、浙、闽、赣、粤、桂等广阔的土地上，其中分布在粤、桂等地的越人叫南越。战国时期，南越与楚国已有一定关系，吴起在楚变法时，即将湘南、粤北、桂东北的苍梧并入楚国的领土。秦灭楚后，进一步向南发展，进军南越腹地。当时由于五岭的阻隔，交通不便，粮秣运输困难，于是，秦始皇二十八年(公元前219年)，命监御史禄负责穿凿运河，以解决军队的给养问题。

五岭山脉中的越城岭和都庞岭之间，有一个谷地，谷地中有两条自然河道，一条是湘江上游的海洋河，另一条为粤江水系中的始安水。如果在两水之间凿一条运河，就可沟通长江和粤江，便可解决秦军的粮运问题。不过，在此穿凿运河，在工程上说，既有有利的一面，也有不利的一面。有利的是海洋河和始安水的距离很近，最近处只有1.5公里。不利的是海洋河和始安水间横亘着高约20—30米、宽约300—500米的小山阜；而且整个谷地地势的坡度也较大。监御史禄等决定克服困难，兴建这条运河。经过几年的努力，到秦始皇三十三年(公元前214年)，工程基本建成。这条运河的最早名称已经难以考查，后来人们相继称它为秦凿渠、零渠、灵渠、兴安运河等。

灵渠由分水工程、南渠、北渠三部分组成。分水工程建在水量比较丰富的海洋河上，其具体位置在今兴安县东南二公里处的分水村。这里不是离始安水最近的地方，所以舍近取远，选址于此，是因为此地的河床较高，大抵与始安水相当的缘故。分水工程呈“┚”形，似木工的曲尺，角尖对着海洋河的上游。平时，它拦截海洋河水，阻止河水流入原来的河道，将其一分为二，七分进北渠，三分入南渠。这座曲尺形的分水工程，后人称为人字堤，就是今天大、小天平的前身。大、小天平属滚水坝性质的工程，洪水时，水可从坝上漫出，流入故道，以减轻天平本身及南、北渠道的压力。后来，在大、小天平的顶端前面，又建铧嘴，以提高分水功能和保护天平。据考证，铧嘴是唐朝增建的。

南渠可分上下两段，上段自小天平向西北走向，到兴安县北，接始安水，长约4.5公里。这一段系凿岩成渠，全部由人工开成，宽度虽较小，约7—14米，但工程比较艰巨。下段沿始安水、零水向西，至今溶江镇附近，接漓江，长约30公里，是在始安水和零水的基础上拓展而成，宽约10—60米。南渠全长30多公里，落差29米，河床比降很大，渠道上不设辅助工程，不便舟楫上下。后人推测，为了便于通航，当年可能已在沿渠建有原始陡门。陡门现称船闸，平时关闭，随着舟楫的前进而顺序打开，从而可以减少航行的困难。我国的正式陡门，至迟形成于唐朝，其雏形有人认为可以上溯到修建灵渠时代。灵渠是世界上最早的有闸运河。

北渠从大天平向北，到今洲子上村附近回到湘江故道，长约3.5公里。北渠经过的地带，是个山间小平原，这里的地面虽然较少沟壑，但坡度偏大，采用直线渠道，与南渠一样，也会流水过急，不便航行。为了减少这段渠道的比降，建设者们采用曲线渠道，形如蛇行。巧妙地用伸长渠的长度，以达到减少比降、利于通舟的目的。

灵渠工程处处闪烁着建设者的聪明睿智。灵渠全长虽然不到40公里，是一条小型运河，但因为它沟通了长江、粤江两大水系，其地位却十分重要。它不仅在秦朝，而且在以后2000多年中，都是内地和岭南的主要交通孔道，对促进两地经济文化的交流，对加快岭南的开发，意义都非常重大。

对灵渠构造上的巧夺天工，航运上的舟行便捷，宋人范成大深有感触，曾作诗加以歌颂：