Borgen i Amagasaki blev opført i 1617, hvor der dengang var tale om et større kompleks med flere voldgrave og snesevis af bygninger, hvoraf flere af disse dog gik op i røg under en brand i 1846. Selvom man genopførte borgen i løbet af et år, så fik de nye bygninger dog kun lov at stå i ganske få årtier, for i slutningen af 1800 begyndte man i Japan en omfattende moderniseringsproces, der betød, at størstedelen af landets borge blev revet ned, hvilket også var tilfældet med Amagasaki-borgen, som blev ødelagt i 1873. En enkelt bygning blev dog relokaliseret og benyttet som tempel, før denne blev ødelagt af bombetogter under Anden Verdenskrig.
Med tiden blev størstedelen af borggrunden anvendt til nybyggeri, så det i dag ikke er muligt at se, hvor stor Amagasaki-borgen i sin tid har været. En del af grunden blev dog bevaret som en offentlig park, og i 2018 valgte man at opføre en moderne rekonstruktion af borgens hovedbygning efter at Amagasaki by havde modtaget en privat donation. Denne hovedbygning er på 4 etager og er en kopi af den oprindelige borg og samtidig en af de nyeste rekonstruktioner af en japansk borg.
Amagasaki-borgen ligger få hundrede meter fra den privatejede Amagasaki station.