Kendati dia tak fasih bahasa Belanda dan Inggris, tampaknya Oie Tiong Ham menjadi orang terkaya diPada awal 1904 pemerintah Belanda mencabut semua lisensi madat dengan cara opium-regi, yaitu pemerintah secara resmi menjual opium dalam bungkus tube timah. Perniagaan candu sang pakter madat terakhir di Semarang itu pun pupus.
Raja gula itu pindah dari Semarang ke Singapura pada 1921 dan wafat tiga tahun kemudian. Tampaknya, Oei pindah dengan dalih menghindari beban pajak yang menurutnya tak adil dalam hal pemungutan, sekaligus ingin mengatur warisannya tanpa campur tangan pemerintah Hindia Belanda.
Ironisnya, imperium dagangnya hancur justru pada masa Indonesia telah merdeka, ketika Pemerintah Republik Indonesia memainkan peranan penting dalam sistem ekonomi. Pemerintah mendakwa adanya kejahatan ekonomi di balik warisan bisnisnya. Oei Tiong Ham Concern berpindah ke tangan negara secara tragis pada 1961.
No Feast Lasts Forever—tidak ada pesta yang tak berakhir—demikian Hui Lan memberi tajuk pada bukunya yang diterbitkan Quadrangle/The New York Times Book pada 1975. Kisah bisnis ayahnya memang berakhir mengenaskan.