Kanal kemudian digunakan untuk mengangkut material curah dan kontainer besar dengan tongkang antara Tiongkok utara dan selatan. Barang yang dikirim sering kali meliputi batu bara, kerikil, solar, pasir, dan material konstruksi.
Pembangunan Kanal Besar juga berdampak pada lahan di sekitarnya selama bertahun-tahun. Karena akses air yang meningkat, lahan yang berdekatan dengan kanal menjadi sangat subur. Hal ini meningkatkan pertanian di daerah tersebut secara signifikan selama berabad-abad. Hasil panen pertanian dari lahan ini kemudian dikirim ke seluruh negeri melalui kanal, menjadikan wilayah tersebut sebagai wilayah ekonomi yang mandiri.
Bagian pertama Kanal Besar Tiongkok berasal dari tahun 468 SM
Sejarah Kanal Besar Tiongkok dapat ditelusuri hingga ke tahun 468 SM. Setelah itu, kanal terus mengalami renovasi dan perluasan selama berabad-abad hingga menjadi sistem jalur air besar seperti sekarang.
Pada tahun pertamanya, Fu Chai, raja negara bagian Wu, memerintahkan anak buahnya untuk menggali Kanal Hangou. Pembangunan itu merupakan langkah pertama menuju terciptanya Kanal Besar Tiongkok.
Raja Fu Chai menginginkan cara yang lebih sederhana untuk mengangkut perbekalan ke utara. Hal ini dilakukan untuk berjaga-jaga ketika berperang dengan negara bagian Song, Lu, dan lainnya. Dan karena alasan ini, Kanal Hangou dihubungkan dengan Sungai Huai dan Jiang. Setelah bagian kanal ini selesai, kanal tambahan, Dagou, digali sekitar tahun 475 SM. Kanal Dagou dibangun untuk menghubungkan Sungai He dan Ji. Ketika dua bagian awal ini selesai, Kanal Besar Tiongkok terhubung dengan empat sungai utama, Huai, Jiang, He, dan Ji.
Dua bagian pertama Kanal Besar Tiongkok, di Zhejiang dan Jiangsu Selatan, sebagian besar dibangun selama Dinasti Sui (581–618). Pembangunan dilakukan selama periode migrasi besar-besaran dari cekungan Sungai Kuning di utara ke wilayah selatan Tiongkok. Meskipun kekuasaan politik tetap berada di utara, wilayah selatan menjadi semakin makmur. Hal ini disebabkan karena para migran bertani di tanah selatan yang sangat subur. Oleh karena itu, bagian pertama kanal tersebut merupakan cara cepat untuk mendapatkan makanan dari selatan ke utara.
Kanal Besar berfungsi sebagaimana mestinya hingga sekitar tahun 600 M. Saat itu endapan lumpur di dasar salah satu kanal mulai menimbulkan masalah. Tongkang semakin sulit untuk melewati titik-titik sempit kanal ini dan akhirnya tidak dapat melewatinya. Akibatnya, kanal lama yang tersumbat endapan lumpur ditinggalkan. Kanal lama digantikan dengan kanal baru yang sejajar dengan yang lama.
Kaisar Yang dari Dinasti Sui memerintahkan Kanal Besar Suitang untuk diperluas lebih jauh. Ia mengorganisasi sekitar 3,1 juta budak dan tawanan untuk mengerjakannya. Tahap konstruksi ini memperbaiki Kanal Hangou dan juga menghasilkan tiga kanal baru. Pembangunan dilakukan dalam kurun waktu 7 tahun. Kanal baru tersebut adalah Yongji, Tongji, dan Jiangnan. Diperkirakan 2,5 juta pekerja konstruksi kanal pada tahap ini meninggal karena terlalu banyak bekerja dan terkena penyakit.
Sistem Kanal Yang dari Dinasti Sui menghubungkan Luoyang dan Hangzhou hingga abad ke-13, saat pengerjaan sistem tersebut berlanjut. Bertahun-tahun kemudian, Kanal Yongji digunakan untuk mengangkut pasukan Tiongkok selama Perang Goguryeo-Sui di Semenanjung Korea.
Bersama dengan kanal tersebut, Dinasti Sui memanfaatkan tanah baru yang subur ini dan memperkenalkan sistem kurir. Jalan raya kekaisaran dan beberapa kantor pos dibangun untuk membantu pengangkutan barang dari selatan ke utara. Tanggul juga dibangun di sepanjang Sungai Kuning. Kemudian dibuat pintu gerbang pengunci kanal. Pintu gerbang itu dapat digunakan untuk menaikkan permukaan air guna membantu kapal agar tidak terjebak di air yang rendah.
Dinasti Tang (618-906 M) "mewarisi" keuntungan besar dari perluasan Kanal Besar Dinasti Sui. Selama Dinasti Tang, Yangzhou menjadi kota yang makmur dan berkembang berkat kedekatannya dengan kanal. Yangzhou menjadi pusat kawasan ekonomi terbesar di Tiongkok. Berkat kanal, biaya pengangkutan gandum terus menurun. Sejak itu, barang-barang lain juga mulai dikirim lewat Kanal Besar Tiongkok.