Hakone-helligdommen er dedikeret til Hakone-bjergets guder, og oprindeligt blev den derfor bygget på Hakone-bjerget, men i 1590 blev helligdommen dog ødelagt under borgerkrige i området, og i 1667 blev den så flyttet til foden af bjerget nær Ashinoko-søen, hvor den den dag i dag stadig befinder sig. Selve helligdommens bygninger ligger gemt i et lille skovområde, men til helligdommen hører en af Japans mest berømte torii-porte eftersom denne står ved bredden af Ashinoko-søen hvor den med sine rødlige nuancer træder markant frem i landskabet, hvorved den er endt med at blive et hyppigt anvendt motiv blandt fotografer. Hakone-helligdommens bygninger befinder sig et par hundrede meter fra torii-porten og er ligeledes kendetegnet ved at have røde farver. I 1964 valgte man desuden at genopføre den originale helligdom på Hakone-bjerget, så Hakone-helligdommen altså har to sektioner - en nedre og øvre.
Den nedre sektion af Hakone-helligdommen ligger på den modsatte side af bjerget i forhold til den jernbanestrækning, der er tilknyttet Hakone, og det er også herfra, der går en svævebane til toppen af Hakone-bjerget og frem til den øvre helligdom.