Setelah penghapusan daerah kekuasaan pada tahun 1871, kastil-kastil di Jepang yang sebelumnya merupakan milik para penguasa lokal semuanya dinasionalisasi dan, di tahun-tahun berikutnya, banyak di antaranya yang dihancurkan.

Meski kehilangan beberapa bangunan kecilnya, Kastil Inuyama adalah salah satu dari beberapa istana yang selamat dari kehancuran. Namun, pada tahun 1891, tenshu (menara utama)-nya rusak parah akibat gempa bumi, dan pihak berwenang memutuskan untuk mengembalikannya ke pemilik sebelumnya, keluarga Naruse, mantan pengikut klan Matsudaira. Sebagai gantinya, sang pemilik diminta untuk merenovasi kastil. Mereka berhasil melakukannya, dan Kastil Inuyama tetap bertahan untuk waktu yang lama sebagai kastil milik pribadi di Jepang. Namun, 10 tahun yang lalu, kepemilikan kastil ini dipindahkan ke yayasan yang dibentuk oleh kota Inuyama.