Sebagai istana tertua di Jepang yang masih bertahan hingga kini, Istana Matsumoto merupakan salah satu dari empat istana yang digelari Cagar Budaya Nasional Jepang.
Menara utama (Tenshu) dari istana ini masih mempertahankan bangunan aslinya, dibangun sekitar tahun 1593-1594. Di sekitarnya juga dibangun empat bangunan tambahan, menara utara yang lebih kecil (Inui-ko-tenshu), koridor beratap (Watari-yagura), sayap selatan (Tatsumi-tsuke-yagura), dan sayap berjendela lebar yang difungsikan untuk menikmati indahnya malam (Tsukimi-yagura).
Walaupun tampak ada lima tingkat di menara utama, sebenarnya ada satu lantai tambahan. Lantai ke tiga ini merupakan area teraman, karena tidak terlihat dari luar dan merupakan ruangan rahasia.
Dibangun pada masa perang, istana ini dilengkapi lubang-lubang kecil di sepanjang dinding istana. Yazama, lubang berbentuk persegi panjang untuk para pemanah. Dan teppo-zama, lubang kotak yang lebih kecil untuk para prajurit bersenapan.
Pengunjung akan dipandu para relawan yang menceritakan sejarah istana, dan barang-barang peninggalan yang terdapat di dalamnya. Senapan, ornamen atap, hingga baju zirah komandan samurai bisa dilihat di museum yang terdapat di dalam istana.