Edo-borgen blev opført i Tokyo i 1457, dengang byen var kendt som Edo, og den blev i begyndelsen af 1600-tallet base for Tokugawa-shogunatet, da den første Tokugawa-shogun, Ieyasu, valgte at anlægge sit politiske hovedsæde i Edo, hvorved byens udvikling og fremtidige status som hovedstad begyndte. Netop fordi det var hér selveste shogunen havde hjemme, så var Edo-borgen også blandt de største og mest komplekse i hele Japan. I løbet af tiden blev den imidlertid ramt af flere brande, der lagde mange bygninger i ruiner - heriblandt hovedbygningen, der brændte ned under en bybrand i 1657, hvorefter den aldrig blev genopført. I dag er dens fundament endnu at finde på borggrunden, der sådan set stadig er intakt, idet det blandt andet er hér, det japanske kejserpalads befinder sig.
Da shogunatet blev afskaffet, og Kejseren flyttede fra Kyoto til Tokyo i 1868, blev det nemlig besluttet, at han og hans familie skulle bosætte sig på borggrunden, der fortsat fungerede som et fort, fordi flere bygninger var intakte. Mange gik dog tabt i endnu en brand i 1873, så i dag er der stort set kun mure, broer, porte og vagttårne tilbage, og nogle af disse er moderne rekonstruktioner opført i kølvandet på Anden Verdenskrig, hvor Tokyo blev udsat for massive bombeangreb. Men ikke desto mindre er bygningerne med til at give et indblik i Edo-borgens oprindelige design samt størrelse, hvilket desuden er markeret med voldgrave, der holder borggrunden adskilt fra det moderne Tokyo. Denne udgør dog stadig hjertet i Tokyo og befinder sig i dag i Chiyoda-distriktet, der er det mindst befolkede i Tokyo, netop fordi borggrunden har en størrelse på mere end 2 kvadratkilometer, hvilket svarer til cirka en femtedel af distriktet. På satellitbilleder træder området derfor også markant ud.
Det område, der oprindeligt udgjorde Edo-borgen, er nu om dage delt op i forskellige sektioner. Den største af disse er lukket af for offentligheden, idet det er hér kejserpaladset befinder sig, men resten af grunden udgøres imidlertid af parker og haver, som folk gerne må befærde sig i. Der er sågar flere veje på dele af borggrunden, og gennem denne løber også en motorvej. Grundet sin størrelse er der naturligvis også mange stationer i nærheden, men Tokyo station ligger blandt andet kun få hundrede meter væk.