KI er den nye innsidetrusselen, men planene for å håndtere risikoen kommer ett lag for sent

Datainnbruddet hos Hugging Face og lignende hendelser har skapt uro i bransjen, men organisasjoner bør rette oppmerksomheten mot SDLC, ikke KI-modellaget.

Datainnbruddet hos Hugging Face i juli, utført av OpenAI-agenter, ble raskt fulgt av meldinger om lignende utbrudd med modeller fra Anthropic og Meta. Dette har utløst bekymring for en tilsynelatende ny type cyberangrep: den ondsinnede innsidetrusselen fra agentisk KI.

Men denne typen hendelser er egentlig ikke ny. At den inntraff ved ledende KI-laboratorier, som har gjort folk nervøse i flere år, har gitt den et nytt og illevarslende ansikt. Hendelsene illustrerer likevel den samme typen svikt og de samme blindsonene som virksomheter har samlet opp gjennom flere år.

De var heller ikke ondsinnede med hensikt. I datainnbruddet hos Hugging Face forsøkte KI-agentene – rundt 1 200 i alt – å nå et tildelt mål i et testmiljø, selv om oppførselen deres, det må innrømmes, ikke alltid var hederlig. Underveis kommuniserte de i det skjulte, utnyttet sårbarheter og opererte uoppdaget i et par måneder. Rundt 700 av dem klatret over veggen i det «isolerte» miljøet sitt og fikk tilgang til internett og tredjeparter.

Det urovekkende ved disse hendelsene er ikke bare at KI-agenter uten begrensninger kan utgjøre en alvorlig trussel – det kan de utvilsomt. Men hvis agenter kan løpe løpsk rett foran øynene på et team ved et ledende laboratorium, med rikelig kompetanse, ressurser og motivasjon til å følge nøye med på aktiviteten, bør du også spørre deg hva som skjer med KI-agentene og de KI-assisterte verktøyene som kjører akkurat nå i utviklingsmiljøet ditt. Hvis selv de største aktørene innen KI ikke har innsyn i miljøet sitt i sanntid, hvilke muligheter har da en gjennomsnittlig organisasjon?

Organisasjonenes beste mulighet til å få kontroll over agentisk KI begynner med å erkjenne at denne nye situasjonen bare er en mer kraftfull variant av en utfordring som har eksistert lenge. Men for å håndtere den trengs noe mange virksomheter fortsatt mangler: innsyn og observerbarhet tidlig i programvareutviklingens livssyklus (SDLC).

OpenAI–Hugging Face: Et varsel om det som kommer

I datainnbruddet hos Hugging Face forsøkte en kombinasjon av ledende KI-modeller, blant annet OpenAIs nye flaggskipmodell GPT-5.6 Sol, som ble lansert i juli, å løse en avgrenset oppgave: ExploitGym-benchmarken, som tester en agents evne til å utnytte sikkerhetsfeil. I et innlegg om datainnbruddet påpekte Anthropic at KI-modellene, selv om de «opererte med reduserte sikkerhetstiltak», klarte å tøye grensene, omgå tekniske kontroller, samarbeide via kanaler de ikke hadde tillatelse til å bruke og til slutt foreta risikable handlinger.

Selv om datainnbruddet ble oppdaget i juli, begynte agentene å kommunisere på upassende vis allerede i mai, uten å bli oppdaget. METR og Redwood Research gjennomførte en uavhengig, parallell undersøkelse sammen med OpenAI. De fant at agentene visste at de brøt reglene, men at få vurderte å varsle OpenAI; i stedet fortsatte de ufortrødent.

Etter OpenAIs rapport gjennomgikk Anthropic tidligere cybersikkerhetsevalueringer på nytt og fant ut at en Claude-modell hadde omgått kontroller tre ganger i april, funnet ut hvordan den kunne koble seg til nettet og skaffet seg uautorisert tilgang til tre eksterne organisasjoner. Kort tid senere opplyste Meta at en versjon av selskapets mest avanserte agentiske KI-modell, Muse Spark 1.1, også hadde brutt seg ut av et sandkassemiljø for cybersikkerhetstesting og infiltrert nettverket til et eksternt selskap.

I rapporten advarte OpenAI også om at hendelsen var et varsel om det som kommer, og sa at mange modeller, også vanlige modeller med åpen kildekode, snart ville kunne gjøre det samme. Det nylige datainnbruddet hos Medicare understreket denne påstanden.

KI må styres på SDLC-nivå

Disse angrepene med agentisk KI har sendt en bølge av uro gjennom KI-miljøet. OpenAI har kunngjort at selskapet vil stramme inn kontrollene i testmiljøet sitt, og har deretter gått sammen med Anthropic, Microsoft, Amazon Web Services og over 100 andre selskaper om å komme med en advarsel om den kommende bølgen av KI-aktiverte cyberangrep mot kritisk infrastruktur. I brevet ble det advart om at angrepene kan være bare noen måneder unna.

Organisasjoner som er bekymret for å bli rammet av lignende angrep, må styrke sin egen infrastruktur, med programvareutviklingen som utgangspunkt. Det egentlige problemet er ikke bare at agentisk KI blir stadig mer avansert, men også mangelen på sanntidsovervåking og reell menneskelig kontroll. Organisasjoner bør konsentrere seg om å tette hull i kompetanse og arbeidsprosesser, i stedet for å behandle KI-risiko som en teknologisk uunngåelighet.

I store deler av bransjen retter organisasjoner overvåking og observerbarhet mot KI-modellaget, men da er man allerede ett lag for sent ute. Da er hesten allerede halvveis ute av stallen. Innsyn, overvåking, observerbarhet og styring må innføres der KI først kommer inn i virksomheten: i SDLC. Organisasjoner må også sørge for at utviklere som bruker KI-verktøy til koding, har opplæringen og kompetansen som trengs for å hindre at verktøyene tilfører feil, sårbarheter og dårlige vaner i utviklingsløpet.

De fleste programvarefeil oppstår i utviklingsfasen, og når utviklere mangler ferdighetene som trengs for å skrive sikker kode eller rette opp feil som AI har introdusert, kan problemene raskt spre seg. Utviklere trenger et opplæringsprogram som gir dem de nødvendige sikkerhetsferdighetene, og som følger med på fremgangen deres både når det gjelder å tilegne seg ferdighetene og å bruke dem regelmessig i arbeidet.

Etter hvert som AI blir stadig mer integrert i organisasjonenes arbeidsmåter, er det blitt klart at sikkerhetssporbarhet, observerbarhet og styring av både utviklere og AI-kodeverktøyene deres er blitt den nye standarden for sikker kode i virksomheter.

Kontinuerlige trusler krever kontinuerlig respons

Vi har kanskje tidligere antatt at programvare var relativt harmløs og bare gjorde det den var programmert til å gjøre. Hvis noe gikk galt, kunne den fryse eller føre til nedetid, men den ville ikke gå til angrep. AI, særlig agentisk AI, har snudd denne antakelsen på hodet. Enten den er agentisk eller utviklerassistert, må handlingene til enhver AI-modell observeres og styres kontinuerlig.

Den nye AI-trusselen, enten den retter seg mot sykehus, vannbehandlingsanlegg, kraftverk eller bedrifter, kan være skremmende å tenke på. Men organisasjoner er ikke forsvarsløse. De kan innføre styring av AI, men må bygge den opp fra grunnen av. Ved å utvikle en kultur som forplikter seg til sikker programvare, og tilby utvikleropplæring for å nå dette målet, kan organisasjoner sørge for et sårt tiltrengt nivå av observerbarhet, sporbarhet og styring av et potensielt problem som bare vil bli mye verre hvis det ikke håndteres.