Tatsuoka-borgen blev opført i nutidens Nagano-præfektur i 1867 af Matsudaira Norikata, efter han var blevet udpeget som kommandør af shogunatet. Eftersom han ikke havde status som daimyo, måtte han dog ikke opføre en egentlig borg, så han var nødsaget til i stedet at anlægge en fæstning, og eftersom Matsudaira var bekendt med Vestlig krigsførelse, så lod han sig også inspirere af Vestlige fæstninger, idet han valgte at udforme sin egen fæstning ved at anlægge en stjerneformet voldgrav rundt om denne.
Til trods for at der ikke var tale om en officiel borg, så har Tatsuoka-borgen ikke desto mindre status som værende kun én af to japanske borge med en stjerneformet fæstning. Den anden er Goryokaku på Hokkaido, der ligesom Tatsuoka-borgen ikke længere eksisterer. Begge blev nemlig opført, imens Japan var ved at åbne sig op for omverdenen efter mere end 200 års isolation fra denne, hvilket førte til en gennemgribende moderniseringsproces af samfundet, der blandt andet betød, at majoriteten af landets borge blev revet ned. Dette var også tilfældet med Tatsuoka-borgen, der kun nåede at stå i fem år, men voldgraven blev dog bevaret og er i dag det eneste bevis på den historiske fæstning, der var den første af sin slags i Japan.
Tatsuoka-borgen ligger 1,5 kilometer fra Usuda station.