Portugis telah dikenal sebagai mitra dagang yang dapat diandalkan di Banten selama bertahun-tahun. Mereka menyebarkan desas-desus bahwa Belanda tidak dapat dipercaya. Orang Portugis memfitnah bahwa Belanda hanya mencari keuntungan belaka.
Orang-orang Portugis menuding setelah para Belanda mengambil semua lada dari Banten, mereka akan menghancurkan seluruh kota. Akibat desas-desus itu, Sultan Banten segera mengambil langkah tegas.
Dalam catatan sejarah kolonial, para pelancong dari Belanda, termasuk Cornelis De Houtman akhirnya ditangkap pada 5 September 1596.
Segera, awak kapal Belanda yang belum sempat ditangkap, mulai menghancurkan kota Banten dengan meriam kapalnya.
Setelah kerusakan parah yang terjadi di kota pelabuhan Banten, Belanda menarik kapal-kapalnya untuk menjauh dari daratan.
Tak diketahui dengan pasti dalam catatan sejarah kolonial, ke mana mereka pergi dan melabuhkan kapal-kapalnya.
Setelah dua minggu kehabisan bekal logistik, kapal-kapal Belanda itu terlihat kembali menyandarkan kapalnya di pelabuhan Banten.
Mereka kehabisan akal selain harus membebaskan pemimpin mereka, De Houtman.
Sejumlah awak dalam armada Belanda itu kembali dan melakukan beberapa negosiasi. Alhasil, dibayarkan uang tebusan kepada Gubernur Banten.
De Houtman dan awak kapal lainnya yang ditangkap akhirnya dapat dibebaskan.
Setelah mengalami kepayahan, Belanda menginginkan beberapa rempah lainnya dari Hindia Timur.