Hvorfor dommedag er en afledning, og hvilken reel AI-risiko vi bør bekymre os om

Hvis man følger med i nyhederne, er det svært at ignorere den voksende alarmisme omkring AI-branchen og advarslerne om dommedag. Fortællingen, der advarer om den »eksistentielle risiko«, som AI-systemer udgør for menneskeheden, har gjort det alt for let for cybersikkerhedsfirmaer at følge trop og sælge med frygten som drivkraft. Men det er misvisende at fokusere på »dommedag«, fordi det overser de mere umiddelbare risici, som agentisk AI udgør for organisationer i dag.

Der er naturligvis tydelige risici forbundet med AI-agenter, der handler uafhængigt af en organisations kontrolforanstaltninger. For nylig viste rapporter fra Australien og USA, at AI-agenter fra OpenAI havde overskredet deres opgaver på offentlige systemer i begge lande.

Truslen fra dommedagsscenarier med AI er dog overdrevet. I stedet for at hænge sig i hypotetiske scenarier må organisationer forholde sig til den nye virkelighed og sikre, at der er deterministiske sikkerhedsforanstaltninger på plads for at opretholde den driftsmæssige robusthed.

Internettet har ingen enkelt slukknap

Tilhængere af dommedagsfortællingen mener, at AI med stadig større avanceringsgrad og rækkevidde kan blive en koncentreret »dræberkontakt« – et enkelt sårbart punkt, hvor nogen kan overtage den fulde kontrol og udløse en katastrofe.

Internettet er imidlertid langt mere distribueret og mangfoldigt, end teorien om en dræberkontakt lægger op til. Det fungerer som et »netværk af netværk’« og består af milliarder af komponenter, der indgår i forskellige arkitekturer og beskyttes af utallige driftsteams, som arbejder efter forskellige standarder og med forskellige værktøjer. Derfor findes der ingen enkelt kontakt, som et menneske eller en maskine kan slå fra – ingen enkelt sårbarhed eller kæde af sårbarheder, der kan udnyttes med så katastrofale følger.

Tanken om, at AI kunne udvikle og frigive et konstrueret patogen eller bryde ind i atomare systemer uden netværksforbindelse, kunne være spændende biografunderholdning. Men det er langt fra et troværdigt scenarie i en vurdering af operationelle trusler.

Ude af syne, ude af kontrol

I takt med at agentisk AI fortsat udvikler sig, har to faktorer grundlæggende ændret karakteren af de risici, virksomheder står over for.

På den ene side gør AI det nu muligt for ondsindede aktører at finde og udnytte cybersårbarheder på minutter i stedet for måneder. Når probabilistiske AI-forsvar først har identificeret mistænkelig aktivitet, er det ofte for sent at reagere på truslen. Fordi de bygger på statistiske sandsynligheder frem for faste regler, vil selv de bedste overse noget ondsindet aktivitet, og en angriber behøver kun at slippe igennem én gang

På den anden side har medarbejdernes brug af »skygge-AI« gjort det langt sværere at vide, hvad der skal beskyttes. Hele 82 % af organisationerne, som Cloud Security Alliance undersøgte, opdagede i løbet af det seneste år AI-agenter, som sikkerheds- eller it-teams ikke vidste var i drift, selvom 68 % meldte om stor tillid til deres overblik over agenterne. EY fandt desuden, at en fjerdedel af de store amerikanske virksomheder, der bruger agentisk AI, indrømmede, at de ikke kunne opdage uautoriserede agenter, der arbejdede i virksomheden.

Begge udviklinger lægger naturligvis et betydeligt driftspres på virksomheders systemer. Tilsammen stiller de organisationer markant dårligere: De er for langsomme til at identificere og udbedre eksponerede sårbarheder og ved ikke, hvilke systemer der overhovedet er eksponerede.

Kontrollér det, der kan kontrolleres

Organisationer har brug for en opdateret oversigt over alle agenter, der arbejder i virksomheden, uanset om de er godkendte eller ej, og for hver agent skal der være en navngiven ansvarlig og et klart defineret omfang for, hvad den må tilgå og gøre. Det er første skridt til at kontrollere det, der kan kontrolleres, for selvom AI-modeller kan være probabilistiske, kan de kontrolforanstaltninger, der etableres omkring dem, være deterministiske, faste og klart definerede.

I praksis betyder det, at et særskilt håndhævelseslag, som er uafhængigt af selve modellen, skal kontrollere, om en foreslået handling er tilladt, og føre en revisionslog, hver gang en agent foreslår en handling. Alligevel er det kun 11 % af organisationerne, der automatisk blokerer en agents handling, når den overskrider dens beføjelser; de fleste baserer sig på menneskelig godkendelse eller nøjes med at logge handlingen. Hændelsen i Australien viser, hvad det koster at stole på, at målsystemet siger nej: Da adgangen blev afvist, fandt agenten en anden vej ind. Den overordnede styringsarkitektur skal også løbende kunne identificere, godkende og kontrollere alle agenter for at forhindre, at uforudsete driftsrisici bliver til virkelighed. Alt dette skal ske hurtigt, for angreb, der bevæger sig med maskinhastighed, kræver regler, der bevæger sig med maskinhastighed.

Fra hypotetisk frygt til praktiske løsninger

Hvor overbevisende den end måtte være, ligger den strøm af dommedagsberetninger, som autonome AI-systemer har affødt, langt fra virkeligheden. Den risiko, det er værd at bekymre sig om, er langt mere jordnær end en AI, der beslutter sig for at udslette os: En agent, der handler i din virksomhed hurtigere, end nogen kan følge med, med tilladelser, ingen har givet den.

Problemerne med hastighed og overblik kan begge løses, så længe sikkerhedssystemerne, der styrer AI, er deterministiske og præcist kan kontrollere og spore hver agent i det tempo, den arbejder.

For bestyrelser og sikkerhedsledere handler det om tre praktiske spørgsmål: Ved vi, hvilke agenter der kører i vores miljø? Har hver agent en ansvarlig ejer og klart definerede grænser? Og kan vi stoppe en uautoriseret handling, før den udføres? Ved at hjælpe kunderne med at lukke disse praktiske huller kan cybersikkerhedsleverandører gøre langt mere for robustheden end ved at sælge frygt for hypotetiske fremtidsscenarier.