De generösa förläningarna och gåvorna drev den svenska kronan i svår ekonomisk kris. Räddningen erbjöds av reduktion, det vill säga att förläningarna togs tillbaka av kronan. Kajaneborg stod åter under kronans förvaltning 1681.

I kronans ögon verkade borgen både ålderdomlig och onödig och det fanns till och med tankar att lägga ner den. Sist och slutligen stängdes inte borgens portar men garnisonen minskades till minsta möjliga. När kriget hotade tvingades bönderna i Paltamo och Sotkamo att skicka 150 män tillsammans med stadens borgargarde till borgens förstärkning.

Vardagen i borgen var till en början lugn. Det stora nordiska kriget bröt ut 1700 men effekterna av det nådde till en början inte ända upp till Kajana. Situationen i Kajanaland lugnades 1703 av freden som slöts med karelarna på andra sidan om gränsen. Freden avbröts den 13 mars 1712 när karelarna och ryssarna anföll staden Kajana. Efter att de bränt och rövat en del av staden retirerade fienden.

Ryssarna ockuperade hela södra Finland 1714. Kajana som var belägen bakom svårgenomtränglig terräng fick vara i lugn och ro en längre tid. Denna tid användes för att rusta borgen inför de förväntade anfallen. Övre delen av borgens båda torn revs och istället byggdes kanonbatterier. Som skydd för borgmurarna samlades ett stort torvlager. Totalt byggdes sju kanonbatterier: batterierna i det östra tornet kallades Ulrika och Hessen Cassel, batterierna i det västra tornet Carolus och Gloria, vid porten mot staden sköttes försvaret av Armfelt, och på den nordostliga porten Clerck. Det sjunde batteriet Victoria var på det s.k. tornet Tauhanen. Uppströms från borgholmen samlades hinder av sten och spanska ryttare. Även resten av staden brändes för att inte utgöra ett skydd för fienden.

1715 närmade sig ryssarna borgen två gånger med en liten trupp. Borgens försvarare kunde hålla stånd mot fienden dessa gånger och ryssarna måste retirera. Borgen var då svenskarnas enda bas i Finland.

I januari 1716 närmade sig en stor rysk trupp borgen. Enligt sägen var det cirka 4000 ryssar. De påbörjade en systematisk belägring av slottet genom att bygga vallar och kanonbatterier på båda sidor om älven. Borgen och dess garnison på cirka 50 man utsattes för kontinuerlig kanonskjutning natt och dag. Detta pågick över en månad. Eftersom belägringen blev långvarig sinade proviant-, ved- och ammunitionsförråden. I en situation som verkade hopplös kom borgens försvarare överens om att kapitulera och öppnade portarna den 24 februari 1716. Försvararna hade lovats fri lejd men det tillät ryssarna inte utan alla togs till fånga och fördes till Ryssland. Ryssarna tömde själva borgen och när de lämnade borgen sprängde de den med krut som försvararna lämnat kvar.

Efter det stora nordiska kriget påbörjades återuppbyggnaden av Kajaneborg men återuppbyggnadsarbetet hade inte hög prioritet i ett krigshärjat rike. Borgen reparerades långsamt och småningom avslutades reparationsåtgärderna. 1793 gavs fästningen upp helt och hållet. Kajaneborg förlorade sin strategiska betydelse 1809 då Finland blev ett autonomt furstendöme under Ryssland och sålunda en del av Ryssland.

Även om användningen av borgen upphörde kvarstod borgholmens betydelse som färdväg över Ule älvs vattendrag. Sedan början av 1600-talet har en väg som gick genom borgen och portarna passerat över älven. På så sätt passerade alla besökare alltid först borgen och senare borgruinen. Den fallfärdiga bron förnyades på 1840-talet och genomgick en grundlig renovering 1886. Den nuvarande betongbron som går över ruinen byggdes 1937.

Att fiska i Linnanvirta