Tidak diketahui secara pasti siapakah orang atau kelompok yang pertama kali mendiami pulau-pulau yang kini kita sebut sebagai Jepang, tetapi ada sebuah bukti arkeologi kuat di mana nenek moyang bangsa Jepang hidup di antara tahun 50.000 - 35.000 SM. Mereka adalah pemburu yang berasal dari Asia bagian selatan yang berpergian dalam kelompok-kelompok kecil untuk berburu kawanan hewan liar seperti mammoth, kijang, dan gajah. Pemburu-pemburu ini datang pada sekitar tahun 35.000 SM. Periode paleolitik di Jepang ini sering disebut sebagai periode “pre-ceramic” (sendoki) karena pada saat itu tidak ditemukan barang-barang yang dibuat dari tembikar.

Fosil-fosil manusia pertama di Jepang ditemukan pada tahun 1962 di Gua Yamashita Daiichi, Okinawa. Fosil-fosil ini diyakini sebagai seorang perempuan berumur 80-an dan dengan menggunakan metode penanggalan radiokarbon, fosil-fosil ini berusia sekitar 32.000 tahun. Fosil-fosil ini dijuluki dengan nama panggilan Yamashita Dojin. Pada tahun 1967, di sebuah tambang batu di Minatogawa, 7 fosil manusia jaman batu yang berusia sekitar 18.000 tahun ditemukan. Ini merupakan kerangka manusia terlengkap dari periode ini yang ditemukan di Asia dan mendapat perhatian dari dunia. Manusia Minatogawa tetap menjadi yang paling terkenal dari penemuan jaman Paleolitik Jepang.

Tidak sulit untuk memahami mengapa periode Paleolitik disebut sebagai jaman batu mengingat jumlah alat-alat yang berbahan batu yang digali dari periode ini. Alat-alat ini dicatat telah ada sejak 30.000 tahun lalu dan seringkali diasosiasikan dengan budaya Jepang yang muncul sekitar 10.000 tahun lalu. Situs penggalian paleolitik biasanya mengandung banyak serpihan-serpihan kecil dari hasil pekerjaan mengasah batu. Orang-orang Paleolitik kemungkinan besar hidup dari makan ikan, hewan, buah-buahan, kacang-kacangan, dan biji-bijian. Situs Hatsunegahara memiliki lebih dari 50 perangkap binatang seperti babi hutan dan gajah Naumann.

Para arkeolog berpikir bahwa Jepang didatangi oleh orang-orang Paleolithic melalui dua jalur, yakni jalur utara dan selatan. Sebuah bukti DNA menunjukkan bahwa orang-orang dari Periode Jomon bermigrasi dari daerah timur laut dari Asain sebagai bagian dari kelompok Paleo-Asia yang tinggal di wilayah luas di Asia. Saat ini, aborigin Ainu sebagian besar tinggal di daerah Hokkaido, pulau paling utara dari Jepang.