Borgen i Matsumoto kaldes også for krageborgen på grund af sin sorte farve. Der er tale om en ud af de blot 12 originale borge i Japan, som stod færdigbygget omkring år 1594. I slutningen af 1800-tallet oplevede Japan en moderniseringsperiode, hvor de fleste af landets borge blev revet ned, idet de repræsenterede det feudale samfund, man forsøgte at udvikle sig bort fra. Størstedelen af borgen i Matsumoto blev i den anledning revet ned, mens hovedbygningen og borggrunden blev sat på auktion, men dette udløste en kampagne med hvilken de lokale forsøgte at bevare bygningen, og det endte med at give pote, idet ejerskabet overgik til bystyret.
Grundet mangel på vedligeholdelse blev det i starten af 1900-tallet nødvendigt at renovere borgen, hvilket foregik i en periode på 10 år. Endnu en renovering fulgte i 1950erne, og i nyere tid har man genskabt nogle af grundens gamle bygninger, så man nu har mulighed for at opleve en autentisk japansk borg, der den dag i dag endnu er omkranset af en voldgrav. Med til borgen hører en lille rød bro, der normalt er lukket af for besøgende, mens man inde i borgen blandt andet har mulighed for at opleve et våbenmuseum og spadsere op ad stejle trapper og gennem snævre gange, så man kan beundre udsigten over området.
Matsumoto-borgen er sammen med borgene i Himeji og Kumamoto en af Japans tre prægtigste borge. Den ligger cirka 1,5 kilometer og omkring 25 minutters gang fra Matsumoto station.