Ozu-borgen ligger i byen Ozu på Shikoku, hvor den første gang blev opført af Utsunomiya-klanen i 1331. I 1568 blev denne dog besejret af Mono-klanen og Kono-klanen, der af samme grund overtog området og dermed også borgen, men kun 17 år senere ankom Toyotomi Hideyoshis hær dog til Shikoku, hvor det lykkedes dem at tilegne sig den regionale kontrol, og det betød samtidig, at Ozu-borgen blev revet ned og erstattet med en moderne konstruktion. Denne adskilte sig fra mange andre borge i Japan, idet dens hovedbygning bestod af fire etager, hvilket var en sjældenhed, fordi tallet 4 kan udtales som "shi", der er det japanske ord for "død". Langt de fleste borge bestod derfor af 3 eller 5 etager, men Ozu-borgen kom altså til at bestå af 4, selvom der var en udbredt opfattelse af, at dette bragte uheld. Borgen blev da også ramt af et par brande i løbet af 1700-tallet, men den formåede alligevel at overleve helt frem til 1888, hvor den ligesom mange andre borge i Japan blev revet ned, fordi man søgte efter at bevæge sig ind i den moderne tidsalder, hvilket betød, at fortidens bygninger blev betragtet som et unødvendigt levn fra fortiden.
Fire af Ozu-borgens vagttårne fik lov at stå på grunden, og disse fik i 1957 status som kulturskatte. Siden da har man forsøgt at genskabe borgkomplekset, som det engang så ud, og det indebar, at man i 2004 opførte en moderne rekonstruktion af den fireetagers hovedbygning, hvilket med gjort med traditionelt materiale og traditionelle byggeteknikker, så der altså er tale om en noget nær autentisk kopi af originalen. Denne fungerer dog som et lille museum, hvor besøgende kan lære mere om selve borgen og Ozu, som man har udsigt ud over fra øverste etage.
Ozu-borgen ligger imellem Nishi-Ozu station og Iyo-Ozu station. Der er cirka 2 kilometers gang fra dem begge.