Первые признаки заселения Японского архипелага появились около 40 тысячелетия до н. э. с началом японского палеолита, который продолжался по 12 тысячелетие до н. э. Население древней Японии занималось охотой и собирательством, изготавливало первые каменные орудия труда грубой обработки. В этом периоде отсутствуют керамические изделия, поэтому период также носит название периода докерамической культуры. С 12 000 года до н. э. начинается период дзёмон, который, согласно археологической периодизации истории стран Запада, соответствует мезолиту и неолиту. Особенностями этого периода стали формирование Японского архипелага и начало использования его жителями керамических изделий.

В периоде яёй, который начался около 500 года до н. э., на Японском архипелаге появились поливное рисосеяние, гончарный круг и ткацкий станок, обработка металлов (меди, бронзы и железа) и строительство защитных городищ. Эти новшества были занесены в Японию иммигрантами из Китая и Кореи.

Японцы впервые упоминаются в одной из китайских исторических хроник — Ханьшу. Более подробно земля Ва, как китайцы называли Японский архипелаг, описывается в китайской «Истории трёх царств» (часть «Предание о людях ва»). Согласно ей, наиболее могущественным княжеством в третьем веке было княжество Яматай, которым руководила правительница Химико.

В 250 году яёй сменился периодом Кофун, во время которого получила распространение культура курганов, а в районе Ямато появилось одноимённое японское государство.