Japan er et ørige bestående af mere end 14.000 øer, hvoraf kun lidt over 400 af disse er beboet. Landet består af fire store hovedøer kaldet Honshu, Hokkaido, Kyushu og Shikoku, hvor størstedelen af befolkningen bor, samt flere småøer samt øgrupper, der ligger afsides hovedøerne, som desuden er forbundet med hinanden via broer og tunneller. Japan har imidlertid ingen fast forbindelse til udlandet, så herfra kan man kun komme til Japan med båd eller fly. Selvom Japans territorium som sådan er defineret, så hersker der fortsat territoriale stridigheder med nabolandende angående visse øer, hvilket eksempelvis gælder Kurilerne nord for Hokkaido, hvor Japan gør krav på de fire sydlige øer, selvom disse er kontrolleret af Rusland. De sydligste af disse ligger under 4 kilometer nord for Hokkaido, hvilket er det nærmeste, man i Japan kommer en udenlandsk landegrænse.
Historisk set har kontakt med omverdenen dog foregået via Kyushu, der ligger 190 kilometer fra Korea-halvøen, hvorfra handel før i tiden foregik med Japan, der engang var det østlige endepunkt på Silkeruten. Da Japan blev befolket under den seneste istid, var der tale om en halvø, som var forbundet til det asiatiske kontinent i nord, hvorfra folk begav sig til Japan til fods, mens andre derimod sejlede dertil med båd fra syd, så Japan derfor bestod af forskellige etniske grupper, der med tiden udkonkurrerede hinanden, så der i dag kun er tre tilbage: de moderne japanere kendt som Yamato-folket samt det indfødte Ainu-folk, der primært har hjemme på Hokkaido, og Ryukyu-folket, der var det oprindelige folk på Ryukyu-øerne. Som ørige har Japan kunnet begrænse kontakten til udlandet og således udvikle sin egen unikke kultur med minimal påvirkning fra andre.
Japan er Asiens østligste land og ligger ud til Stillehavet, hvor der er flere tusinde kilometer til det amerikanske kontinent. Af den grund har Japan altid været kendt som solens rige, fordi det var her, man mente, at solen først stod op, og det japanske navn for Japan (Nihon) betyder tilmed solens oprindelse, ligesom Japans flag er baseret på en solopgang. Japan er desuden omgivet af Det Østkinesiske Hav, Det Japanske Hav og Det Okhotske Hav, der holder det adskilt fra nabolandene Rusland, Kina, Nordkorea, Sydkorea og Taiwan. 12 % af Japans landområder består af vand i form af floder og søer. Den største sø er Biwa-søen, som har en størrelse på 671 km2, mens den længste flod er den 367 kilometer lange Shinano-flod.
De japanske øer udgør til sammen lige knap 378.000 km2, så Japan dermed er det 62. største lad i verden baseret på landmasse. Over halvdelen af denne udgøres af den største ø Honshu, der har en størrelse på næsten 228.000 km2, efterfulgt af Hokkaido, der har en størrelse på mere end 83.400 km2, og Kyushu, der har en størrelse på knap 36.800 km2. Shikoku er med sine 18.800 km2 den mindste af de fire hovedøer, mens Japans femte største ø er Okinawa, der har en størrelse på 1.200 km2. Dette er den største ø blandt Ryukyu-øerne, der udgør Japans vestligste punkt i form af øen Yonaguni. Japans østligste punkt er derimod øen Minami Torishima, mens det sydligste punkt er et lille klippestykke kendt som Okinotorishima, og det officielt nordligste punkt er øen Bentenjima ud for Hokkaido. Dette giver det japanske territorium et samlet geografisk areal på over 4 millioner km2, hvilket gør Japan til den 8. største nation i verden baseret på territorialt ejerskab. Den samlede kystlinje er på mere end 29.700 kilometer.
Japan kan inddeles i regioner, hvilket drejer sig om Hokkaido, Shikoku, Kyushu og Ryukyu-øerne, mens Honshu kan opdeles i Tohoku, Kanto, Chubu, Chugoku og Kansai, der også er kendt som Kinki. Officielt er Japan dog opdelt i 47 administrative enheder kaldet præfekturer, der på japansk er kendt som todofuken. Blandt disse optræder Hokkaido som et enkelt præfektur, mens de fire andre hovedøer derimod er opdelt i præfekturer, mens de sydlige Ryukyu-øer er slået sammen i et enkelt præfektur. De nordlige Ryukyu-øer kaldet Amami-øerne hører derimod til Kagoshima-præfekturet på Kysuhu, hvilket skyldes, at den amerikanske okkupation efter Anden Verdenskrig fortsatte på Ryukyu-øerne, efter at denne ophørte på hovedøerne i 1952. Året efter valgte man så at overdrage Amami-øerne til Japan, hvor disse blev administrativt tilknyttet Kagoshima-præfekturet, mens de sydlige Ryukyu-øer blev omdannet til Okinawa-præfekturet, da den amerikanske okkupation af disse endte i 1972.
Otte af Japans præfekturer befinder sig indenlands uden nogen kystlinje, hvilket drejer sig om Gifu-præfekturet, Nara-præfekturet, Shiga-præfekturet, Gunma-præfekturet, Saitama-præfekturet, Yamanashi-præfekturet, Tochigi-præfekturet og Nagano-præfekturet, hvor man finder det sted i Japan, som ligger længst fra havet, hvilket er en afstand på 113 kilometer. Det største præfektur er Hokkaido, mens den mindste er Kagawa-præfekturet på Shikoku. Præfekturerne blev oprindeligt introduceret i slutningen af 1800-tallet som en erstatning for datidens domæner, hvis grænser man generelt valgte at tage udgangspunkt i, så disse i høj grad blev bevaret. Mens man ligeledes valgte at beholde flere af domænenavnene, blev andre præfekturer derimod navngivet efter de største byer i disse, så præfekturerne derfor oftest deler navn med den såkaldte hovedstad, hvor det administrative hovedsæde befinder sig. Japans præfekturer er ydermere opdelt i kommunale enheder, der består af byer kendt som shi, småbyer kendt som machi og landsbyer kendt som mura, mens storbyer består af bydele kendt som ku.
Japan befinder sig langs intet mindre end fire tektoniske plader: Stillehavspladen, Den nordamerikanske plade, Den filippinske plade og Den eurasiske plade. Det er de tektoniske pladers aktivitet, der har formet landmasserne, og de er derfor også forklaringen på, hvorfor Japan er et bjergrigt land med over 1200 bjerge, og blandt disse er mange vulkaner, hvoraf over 100 af dem har status som værende aktive - svarende til cirka 10 % af verdens aktive vulkaner. Blandt disse er Japans højeste punkt, hvilket er Fuji-bjerget, der har en højde på 3.776 meter. Japans bjerge udgør tilsammen cirka 3/4 af nationens landområder, og på grund af dem består næsten 70 % af landet af skov. Bjergene er medvirkende til, at mængden af flade landskaber er begrænset, og disse er domineret af mennesker, da man her finder både marker og byer.
Japans største by er hovedstaden Tokyo, der ligesom mange andre storbyer ligger ud til kysten, da det er her, byudviklingen i sin tid begyndte. Tokyo flyder dog sammen med de omkringliggende byer, der tilsammen er kendt som metropolområdet, hvilket baseret på befolkningsstørrelsen er et af de største byområder i verden. Dette inkluderer eksempelvis Yokohama, der er Japans anden største by, mens Osaka er den tredje største by i Japan, hvor mere end 123 millioner mennesker har hjemme. Mere end 80 % af befolkningen er bosiddende på Honshu, hvor 35 % af japanerne bor i Kanto-regionen, hvor metropolområdet befinder sig.
Det japanske landkort ændrer sig konstant. Før troede man eksempelvis, at Japan bestod af næsten 7.000 øer, indtil man i 2023 fandt ud af, at tallet var dobbelt så højt, da man med brug af moderne teknologi foretog en finoptælling af landes mange klippemasser, der karakteriseres som øer, selvom de ikke er beboelige. Vulkansk aktivitet er eksempelvis også med til at forme øer, ligesom udbrud sågar kan ophæve øer, når en lavastrøm knytter dem til andre. I Japan har man også et utal af menneskabte øer, som man har valgt at opføre grundet pladsmangel, hvilket eksempelvis har været tilfældet med etableringen af lufthavne og byudvidelser. Grundet den tektoniske aktivitet bliver Japan også jævnligt ramt af jordskælv, der kan sætte geografiske spor - eksempelvis i form af jordskred, der fører til ændringer i landskabet, mens der kan opstå forskydninger i jordskorpen. På grund af oversvømmelser har man desuden valgt at "tæmme" langt de fleste af Japans store floder via dæmninger og kanalisering.
Til trods for at være et naturrigt land, så er størstedelen af den japanske natur dog påvirket af mennesker, så der kun er ganske få uberørte steder i naturen, hvor den menneskelige aktivitet har været begrænset, så man hér finder såkaldt urskov. Japan er ikke desto mindre hjemsted for et rigt dyreliv, hvilket også inkluderer arter, som er unikke for Japan, men mange af disse er imidlertid truet, fordi det menneskelige samfund udgør en trussel for deres eksistens. Man har derfor valgt at opføre en masse nationalparker rundt omkring i landet for at beskytte og bevare naturen, mens hele øer sågar er blevet forbudt at betræde, fordi de er blevet omdannet til reservater for det lokale dyreliv.