Kobe Mosque merupakan masjid pertama di Jepang. Masjid ini dibangun pada 1928 di Nakayamate Dori, Chuo-ku. Kobe berarti gate of God atau gerbang Tuhan.

Pada 1945, Jepang terlibat Perang Dunia Kedua, Jepang menyerang Pelabuhan Pearl Harbour di Amerika Serikat. Ini membuat Jepang dijatuhi bom atom untuk pertama kali dalam sebuah peperangan oleh AS. Dua kotanya, Nagasaki dan Hiroshima luluh lantak akibat bom atom AS. Jepang pun kalah. Saat itu, Kota Kobe juga tak luput dari serangan pengeboman lewat udara, walau tidak dengan sejenis bom atom seperti di Nagasaki dan Hiroshima. Tapi boleh dibilang, Kobe juga rata dengan tanah

.Ketika bangunan di sekitarnya hancur, Masjid Kobe tetap tegak berdiri. Masjid ini hanya mengalami retak pada dinding luarnya dan semua kaca jendelanya pecah. Bagian luar masjid menjadi agak kehitaman akibat asap serangan bom.Tentara Jepang yang berlindung di lantai dasar masjid bersama senjata yang mereka sembunyikan di sana berhasil selamat dari serangan itu. Masjid ini kemudian menjadi tempat pengungsian korban perang.

Pasca Perang Dunia II, Pemerintah Arab Saudi dan Kuwait menyumbang dana renovasi dalam jumlah besar. Kaca-kaca jendela yang pecah diganti dengan kaca-kaca jendela baru yang didatangkan langsung dari Jerman.Sebuah lampu hias baru digantungkan di tengah ruang shalat utama. Sistem pengatur suhu ruangan lalu dipasang di masjid ini. Sekolah yang hancur akibat perang kembali direnovasi dan beberapa bangunan tambahan pun mulai dibangun.Umat Islam kembali menikmati kegiatan-kegiatan keagamaan mereka di Masjid Muslim Kobe.

Krisis keuangan sering menghampiri kas Komite Masjid Kobe. Pajak bangunan yang tinggi membuat komite masjid harus mengeluarkan dana cukup banyak dari kasnya.Beruntung, banyak donatur yang memberi uluran tangan untuk menyelesaikan masalah keuangan pembangunan dan renovasi masjid ini. Donasi itu bahkan bisa membuat Masjid Muslim Kobe menjadi semakin berkembang.

Kekokohan Masjid Kobe kembali diuji dengan gempa bumi dahsyat pada Selasa, 17 Januari 1995, pukul 05.46 waktu setempat. Gempa ini tak hanya mengguncang Kobe, tapi juga South Hyogo, Hyogo-Ken Nanbu dan lainnya.Para ahli menyebut gempa itu disebabkan tabrakan tiga lempeng yaitu lempeng Filipina, lempeng Pasifik, dan lempeng Eurasia. Meski hanya berlangsung 20 detik, namun gempa ini memakan korban jiwa sebanyak 6.433 orang, yang sebagian besar merupakan penduduk kota Kobe. Gempa juga mengakibatkan kerusakan besar di kota seluas 20 kilometer dari pusat gempa.