Menurut Wei Hong, cendekiawan Konfusius, jumlahnya bahkan mencapai 700 orang. Fusu, sang putra, menasehati ayahnya. Menurutnya, saat itu kekaisaran baru bersatu dan musuh masih belum dikalahkan sepenuhnya. Tindakan keras yang dijatuhkan pada mereka yang menghormati Konfusius akan menyebabkan ketidakstabilan.
Alih-alih mengubah pikiran sang ayah, ia dikirim untuk menjaga perbatasan di pengasingan secara de facto.
Tahun-tahun terakhir kehidupan Qin Shi Huang didominasi oleh ketidakpercayaan yang terus tumbuh terhadap pemerintahnya. Ada tiga upaya pembunuhan hampir berhasil. Ia pun mengasingkan diri dari orang-orang.
Hampir tidak dapat diakses di istananya yang besar, kaisar menjalani kehidupan bak manusia setengah dewa. Pada tahun 210 Qin Shi Huang meninggal saat melakukan tur inspeksi kekaisaran.
Meski kontroversial dan sangat kejam, Qin Shi Huangdi sangat penting untuk pembentukan Tiongkok. Tanpa bimbingan tangan besi dari kaisar Tiongkok pertama, mungkin tidak akan ada Tiongkok seperti sekarang ini.
Pemerintahan dan dinastinya singkat, namun warisannya bisa kita rasakan hingga zaman modern. Salah satunya adalah Tembok Besar Tiongkok yang legendaris itu.