Lahan Istana Kekaisaran saat ini hanya berukuran sekitar sepertiga luas lahan kastel aslinya. Namun, parit dan dinding batunya mengingatkan betapa luasnya Kastel Edo.
Selain Kastel Edo, Ieyasu juga membangun sejumlah kastel lainnya, seperti Kastel Nagoya dan Kastel Nijojo di Kyoto. Pada periode ini, daimyo lainnya juga membangun istana. Di antaranya adalah Kato Kiyomasa yang membangun Kastel Kumamoto serta Ikeda Terumasu yang membangun Kastel Himeji. Sedangkan Mori Terumoto membangun Kastel Hagi.
Kota-kota berkembang di sekitar kastel. Kota kastel (jokamachi) menjadi salah satu ciri khas pembangunan perkotaan pada zaman Edo.
Akhir pembangunan kastel oleh kelas samurai di Kekaisaran Jepang
Periode terakhir pembangunan kastel oleh kelas samurai berlangsung dari tahun 1615 hingga 1638 di Kekaisaran Jepang.
Segera setelah kehancuran Kastel Osaka, Ieyasu menerapkan sejumlah kebijakan yang bertujuan untuk memperkuat kendali Tokugawa atas kekaisaran. Beberapa di antaranya berdampak langsung pada konstruksi kastel. Sejak saat itu, daimyo hanya diperbolehkan memiliki satu kastel di wilayahnya dan yang lainnya harus dibongkar.
Kastel yang ada hanya dapat diperbaiki dengan persetujuan Tokugawa dan ada larangan untuk membangun yang baru. Artinya, pada periode ini, satu-satunya pembangunan kastel yang dilakukan adalah proyek yang dilakukan oleh klan Tokugawa sendiri. Hal ini termasuk pembangunan kembali Kastel Osaka dan kelanjutan pengembangan Kastel Edo. Kastel Edo akhirnya selesai pada tahun 1638.
Dengan datangnya perdamaian dan larangan konstruksi baru, kastel pun mengalami penurunan. Selama periode Edo, banyak daimyo mengalami kesulitan keuangan. Pemeliharaan kastel juga mahal, selain itu, kastel pun tidak terlalu bermanfaat.
Seiring waktu, gempa bumi, erosi, sambaran petir, topan, dan kebakaran menghancurkan puluhan tenshu, ratusan gerbang dan menara pengawas. Pada tahun 1657, misalnya, api menghancurkan tenshu Kastel Edo. Pada tahun 1660, petir menyulut gudang mesiu di Kastel Osaka dan kastel tersebut terbakar.
Ketika kastel rusak karena alam, sebagian besar tidak dibangun kembali.
Nasib kastel setelah Restorasi Meiji
Setelah Restorasi Meiji, sistem politik Tokugawa dihapuskan. Daimyo kehilangan posisinya dan kepemilikan banyak kastel diserahkan kepada pemerintah pusat yang baru.
Karena tidak lagi berfungsi, kastel dipandang sebagai simbol masa lalu. Banyak yang dihancurkan atau ditinggalkan begitu saja.
Pada tahun 1872, pemerintah melakukan survei untuk mengetahui mana yang layak dipertahankan dan mana yang bisa dimusnahkan. Oleh pemerintah baru, kastel digunakan untuk tujuan propaganda. Keberadaan kastel membantu mempromosikan gagasan bahwa tentara Jepang modern mewarisi tradisi samurai.
Dengan berlalunya waktu, orang-orang yang lahir sebelum Restorasi Meiji berangsur-angsur mati. Periode Edo dipandang sebagai periode sejarah dengan sedikit signifikansi politik kontemporer. Ketika hal ini terjadi, kastel mulai dipandang sebagai elemen penting dalam warisan budaya Jepang.
Sejarawan mulai melakukan penelitian tentang kastel dan muncullah gerakan untuk melestarikan kastel yang tersisa. Mencerminkan semangat baru ini, pada tahun 1931, tenshu Kastel Osaka dibangun kembali dengan beton.
Tenshu di Kastel Hiroshima dan Nagoya dihancurkan selama Perang Dunia II. Namun, ketika perekonomian Kekaisaran Jepang pulih pada periode pasca perang, terdapat gerakan untuk membangun kembali lebih banyak tenshu.
Selain itu, kastel menjadi kebanggaan masyarakat setempat dan tempat wisata populer. Bagi wisatawan asing, perjalanan ke Jepang belum lengkap tanpa mengunjungi kastel peninggalan masa lalu.