Fakta bahwa Chastelein telah menempatkan budak-budaknya secara kolektif di wilayah Depok dan juga menugaskan mereka tugas-tugas dan kekuasaan administratif dan yudisial mendapat penolakan yang tidak dapat diatasi dari pemerintah Batavia.
Kesulitan hukum muncul pada tahun 1844. Kakak laki-laki dan dua saudara perempuan Grovinius, keturunan langsung Cornelis Chastelein, kemudian mengklaim kepemilikan Depok dan menolak hak pakai hasil dari 'pemegang saham' pribumi.
Penolakan Dewan Hindia itu memaksa para pribumi yang sudah mendapatkan haknya atas tanah Depok, harus berkemas dan pergi meninggalkan kampung halaman mereka. Hal ini malah menyulut perhatian pemerintah Hindia.
Pada tahun 1850, Mahkamah Agung Hindia Belanda membatalkan keputusan Dewan Hindia tahun 1714. Keturunan budak Chastelein yang dibebaskan diberi kepemilikan penuh (kolektif) dan kendali administratif atas perkebunan di Depok.
Namun, kenyataan hidup para budak yang dibebaskan tidaklah mudah. Pada akhirnya para budak itu mendapati diri mereka berada dalam keadaan yang sangat miskin. Beruntung, peran gereja di Depok telah meningkatkan tingkat kesejahteraan rakyat.
Seiring waktu, sekolah-sekolah didirikan (termasuk sekolah Eropa dengan pelajaran dalam bahasa Belanda) dan bahkan sebuah seminari, dengan lebih dari lima ratus misionaris pribumi dilatih dari tahun 1878 hingga 1926.
Chastelein telah meletakkan dasar untuk hal ini. Dalam surat wasiatnya ia memberikan segala macam hak kepada mantan budaknya, namun penduduk lainnya, petani Sunda biasa, tetap tidak memiliki hak.