Yoshida-borgen ligger i byen Toyohashi, og den er derfor også kendt som Toyohashi-borgen, ligesom den har været kaldt for Imabashi-borgen. Borgen blev oprindeligt anlagt som en fæstning ved Toyo-floden i 1505, og i de kommende årtier skiftede den hænder mellem stridende klaner, inden den blev overtaget af Tokugawa Ieyasu, der efter Slaget ved Sekigahara i 1600 fik indstillet de japanske borgerkrige ved at oprette Tokugawa-shogunatet. På dette tidspunkt var Yoshida-borgen ved at blive moderniseret, men planerne blev droppet, så borgen blev aldrig udstyret med en hovedbygning. I stedet blev den base i Yoshida-domænet, som gennem tiden blev kontrolleret af forskellige daimyoer frem til slutningen af 1800-tallet.
I denne periode åbnede Japan nemlig sine grænser op for omverdenen efter knap 250 års isolation, og herefter begyndte en moderniseringsproces af det japanske samfund, hvilket førte til, at majoriteten af landets borge blev revet ned. Denne skæbne nåede dog ikke at overgå Yoshida-borgen, for efter at være blevet overdraget til den japanske hær, brændte den ned i 1873. Hæren fortsatte dog med at eje grunden til efter Anden Verdenskrig, hvor det blev besluttet at anlægge en park, og i 1954 opførte man så et tre-etagers vagttårn af beton, mens stenfundamentet er blevet renoveret for at give et indtryk af, hvor stor borggrunden i sin tid har været.
Yoshida-borgen ligger kun få hundrede meter fra Shiyakusyo-mae station.