Varför domedagsscenarier är en distraktion – och den verkliga AI-risken vi bör oroa oss för

Om du följer nyhetsmedier är det svårt att blunda för den växande alarmismen kring AI-branschen och domedagsvarningarna. Berättelsen, som varnar för den ”existentiella risk” som AI-system utgör för mänskligheten, har gjort det alltför lätt för cybersäkerhetsföretag att haka på trenden och låta rädslan stå för försäljningen. Att fokusera på ”domedagen” är dock missvisande, eftersom det förbiser de mer omedelbara risker som agentisk AI innebär för organisationer i dag.

Det råder förstås ingen tvekan om att AI-agenter som agerar oberoende av en organisations kontrollmekanismer medför tydliga risker. Så sent som nyligen visade rapporter från Australien och USA att OpenAI:s AI-agenter hade gått utanför sina uppgifter på statliga system i båda länderna.

Hotet från AI-relaterade domedagsscenarier är ändå överdrivet. I stället för att fixera sig vid hypotetiska scenarier måste organisationer möta den nya verkligheten och se till att deterministiska skyddsåtgärder finns på plats för att säkerställa operativ motståndskraft.

Internet har ingen enda avstängningsknapp

De som tror på domedagsberättelsen menar att AI, i takt med att den blir mer avancerad och får större räckvidd, skulle kunna bli en samlad ”avstängningsknapp” – en enda punkt som är sårbar för att någon tar full kontroll och utlöser en katastrof.

Internet är dock mycket mer decentraliserat och mångfacetterat än vad teorin om avstängningsknappen förutsätter. Det fungerar som ett ”nätverk av nätverk” och består av miljarder komponenter som är uppbyggda i olika lager och arkitekturer och skyddas av oräkneliga driftteam som arbetar enligt olika standarder och med olika verktyg. Därför finns det ingen enskild knapp som någon – människa eller maskin – kan trycka på, och ingen enskild sårbarhet eller kedja av sårbarheter som kan utnyttjas med så förödande följder.

Tanken på att AI skulle kunna konstruera och sprida en patogen eller ta sig in i kärnsystem som är isolerade från andra nätverk kanske passar som underhållning på bio. Men det är långt ifrån ett trovärdigt scenario i en operativ hotbedömning.

Utom synhåll, utom kontroll

I takt med att agentisk AI fortsätter att utvecklas har två faktorer i grunden förändrat företagsriskernas karaktär.

Å ena sidan kan AI nu hjälpa illasinnade aktörer att hitta och utnyttja cyberbrister på minuter snarare än månader. När sannolikhetsbaserade AI-försvar väl har identifierat misstänkt aktivitet är det ofta för sent att bemöta hotet. Eftersom de bygger på statistiska sannolikheter i stället för fasta regler missar även de bästa vissa skadliga aktiviteter, och en angripare behöver bara slinka igenom en enda gång

Å andra sidan har medarbetares användning av ”skugg-AI” gjort det mycket svårare att veta vad som behöver skyddas. Hela 82 % av organisationerna som undersöktes av Cloud Security Alliance upptäckte under det senaste året AI-agenter som kördes utan att säkerhets- eller IT-teamen kände till det, trots att 68 % uppgav att de hade god insyn i sina agenter. Separat fann EY att en fjärdedel av de stora amerikanska företagen som använder agentisk AI medgav att de inte kunde upptäcka obehöriga agenter som verkade inom företaget.

Båda förändringarna sätter naturligtvis stor operativ press på företagens system. Tillsammans försätter de organisationer i ett betydande underläge: de är för långsamma med att identifiera och åtgärda exponerade sårbarheter och saknar insyn i vilka system som över huvud taget är exponerade.

Ta kontroll över det som går att kontrollera

Organisationer behöver en aktuell förteckning över alla agenter som verkar inom företaget, oavsett om de är godkända eller inte. Varje agent ska ha en namngiven ansvarig och ett tydligt definierat omfång för vad den får komma åt och göra. Det är det första steget mot att få kontroll över det som går att kontrollera. AI-modeller kan visserligen vara probabilistiska, men de kontrollmekanismer som införs kring dem kan vara deterministiska, fasta och tydligt definierade.

I praktiken innebär det att varje gång en agent föreslår en åtgärd måste ett separat kontrollager, oberoende av själva modellen, verifiera att åtgärden är tillåten och spara en revisionslogg. Ändå är det bara 11 % av organisationerna som automatiskt blockerar en agents åtgärd när den går utanför dess behörighetsområde. De flesta förlitar sig på mänskligt godkännande eller nöjer sig med att logga åtgärden. Händelsen i Australien visar vad det kostar att förlita sig på att målsystemet säger nej: när agenten nekades åtkomst hittade den en annan väg in. Den övergripande styrningsarkitekturen måste också fortlöpande kunna identifiera, auktorisera och verifiera alla agenter för att förhindra att oförutsedda operativa risker förverkligas. Allt detta måste ske snabbt, eftersom attacker som rör sig i maskinhastighet kräver regler som också håller maskinhastighet.

Från hypotetisk rädsla till praktiska lösningar

Hur övertygande rapporteringen om domedagsscenarier orsakade av autonoma AI-system än kan verka, ligger den långt från verkligheten. Risken vi bör oroa oss för är mycket mer vardaglig än att AI skulle bestämma sig för att förgöra oss: en agent som agerar i ditt företag snabbare än någon hinner upptäcka det och med behörigheter som ingen har gett den.

Problemen med hastighet och insyn går att lösa, så länge säkerhetssystemen som styr AI är deterministiska och kan verifiera och spåra varje agent korrekt i den hastighet den arbetar.

För styrelser och säkerhetsansvariga kokar det ner till tre konkreta frågor: känner vi till varje agent som körs i vår miljö, har var och en en ansvarig ägare och tydligt fastställda begränsningar, och kan vi stoppa en obehörig åtgärd innan den genomförs? Att hjälpa kunder att täppa till dessa praktiska brister är ett område där cybersäkerhetsleverantörer kan göra betydligt mer för motståndskraften än genom att sälja in rädslan för hypotetiska framtidsscenarier.