Bannaji er et buddhistisk tempel beliggende i Ashigaka, hvor det blev grundlagt i 1197 på samme grund, hvor Ashikaga-klanen dengang havde opført en borg. Denne forsvandt dog med Ashikaga-klanens fald, men Bannaji fik imidlertid lov at stå, og det forholdsvis lille tempel er derfor kendetegnet ved at have en enorm grund på 4 hektar, samtidig med at det endnu den dag i dag er omgivet af en voldgrav. Der er således tale om et unikt tempel, idet dette fuldkommen har overtaget området og resterne af den borg, der engang befandt sig på stedet, men alligevel er Bannaji faktisk på listen over Japans 100 bedste borge, fordi dets fundament endnu betragtes som et borgkompleks.
Hovedbygningen fra 1400-tallet har status som nationalskat, og udover denne består templet blandt andet af hele fire porte, der kan dateres tilbage til 1500-tallet. Med til templet hører også et 600 år gammelt Gingko Biloba, også kendt som tempeltræ, og ved siden af dette ligger skatkammeret fra 1692, hvor Bannajis værdifulde effekter er udstillet.
Bannaji ligger en kilometer fra Ashikaga station, hvorfra der er 20 minutter til fods.