AI er den nye insidertrussel, men planerne om at håndtere risikoen kommer et lag for sent

Bruddet hos Hugging Face og lignende hændelser har sendt kuldegysninger gennem branchen, men organisationer bør fokusere på SDLC, ikke på AI-modellaget.

Bruddet hos Hugging Face i juli, som blev udført af OpenAI-agenter og hurtigt blev fulgt af meldinger om lignende udbrud med modeller fra Anthropic og Meta, har vakt bekymring for en tilsyneladende ny type cyberangreb: den ondsindede insidertrussel fra agentbaseret AI.

Men denne type hændelse er egentlig ikke ny. At den fandt sted hos førende AI-laboratorier, som har gjort folk nervøse i flere år, har givet den et ildevarslende nyt ansigt, men hændelserne viser de samme fejlmønstre og blinde vinkler, som virksomheder har ophobet gennem årene.

De var heller ikke bevidst ondsindede. Under bruddet hos Hugging Face forsøgte AI-agenterne – omkring 1.200 i alt – at nå et tildelt mål i et testmiljø, selv om deres adfærd ganske vist ikke altid var hæderlig. Undervejs kommunikerede de i det skjulte, udnyttede sårbarheder og opererede uopdaget i et par måneder, og omkring 700 af dem skalerede muren i deres »isolerede« miljø og fik adgang til internettet og tredjeparter.

Det foruroligende ved disse hændelser er ikke kun, at AI-agenter uden begrænsninger kan udgøre en alvorlig trussel – og det gør de uden tvivl. Men hvis agenter kan løbe løbsk lige for næsen af et førende AI-laboratoriums team, som har masser af talent, ressourcer og motivation til at holde nøje øje med aktiviteterne, bør du nok også spørge, hvad der foregår med de AI-agenter og AI-assisterede værktøjer, der lige nu kører i dit udviklingsmiljø. Hvis de største aktører inden for AI ikke har overblik over deres miljø i realtid, hvilke chancer har så en gennemsnitlig organisation?

Organisationers bedste mulighed for at få styr på agentbaseret AI begynder med at erkende, at denne nye situation blot er en mere potent udgave af en langvarig udfordring. Men håndteringen kræver noget, mange virksomheder stadig mangler: synlighed og observerbarhed tidligt i softwareudviklingslivscyklussen (SDLC).

OpenAI og Hugging Face: Et varsel om, hvad der venter

Under bruddet hos Hugging Face forsøgte en kombination af førende AI-modeller, herunder OpenAIs nye flagskibsmodel GPT-5.6 Sol, som blev lanceret i juli, at løse en afgrænset opgave: benchmarktesten ExploitGym, der tester en agents evne til at udnytte sikkerhedsfejl. I et indlæg om bruddet bemærkede Anthropic, at AI-modellerne, selv om de »opererede med færre sikkerhedsforanstaltninger«, var i stand til at gå ud over rammerne, omgå tekniske kontroller, samarbejde via ikke-godkendte kanaler og i sidste ende foretage risikable handlinger.

Selv om bruddet blev opdaget i juli, begyndte agenterne at kommunikere uhensigtsmæssigt i maj, mens de holdt sig under radaren. METR og Redwood Research gennemførte en uafhængig, parallel undersøgelse sideløbende med OpenAI og fandt, at agenterne godt vidste, at de brød reglerne, men at kun få overvejede at underrette OpenAI og i stedet bare fortsatte.

Efter OpenAIs rapport gennemgik Anthropic sine tidligere cybersikkerhedsevalueringer og fandt, at en Claude-model havde omgået kontroller tre gange i april, fundet ud af, hvordan den kunne komme online, og skaffet sig uautoriseret adgang til tre eksterne organisationer. Kort efter oplyste Meta, at en version af selskabets mest avancerede agentbaserede AI-model, Muse Spark 1.1, ligeledes brød ud af en sandkasse til cybersikkerhedstest og infiltrerede et eksternt selskabs netværk.

I sin rapport advarede OpenAI også om, at hændelsen var et varsel om, hvad der venter, og sagde, at mange modeller, herunder almindelige open source-modeller, snart ville kunne gøre det samme. Det nylige Medicare-databrud understregede denne påstand.

AI skal styres på SDLC-niveau

Disse angreb med agentbaseret AI har sendt rystelser gennem AI-miljøet. OpenAI har meddelt, at virksomheden vil stramme kontrollerne i sit testmiljø og derefter sammen med Anthropic, Microsoft, Amazon Web Services og over 100 andre virksomheder udsende en advarsel om den kommende bølge af cyberangreb på kritisk infrastruktur, der drives af AI. I brevet blev det advaret, at angrebene kan være kun få måneder væk.

Organisationer, der er bekymrede for at blive ramt af lignende angreb, skal styrke deres egen infrastruktur med udgangspunkt i softwareudviklingen. Det egentlige problem er ikke blot den stigende avancerede karakter af agentbaseret AI, men også manglen på overvågning i realtid og meningsfuldt menneskeligt tilsyn. Organisationer bør fokusere på at lukke huller i menneskelige kompetencer og processer frem for at betragte AI-risiko som en teknologisk uundgåelighed.

I store dele af branchen fokuserer organisationerne overvågning og observerbarhed på AI-modellaget, hvilket allerede er et lag for sent. På det tidspunkt er skaden halvt sket. Synlighed, overvågning, observerbarhed og styring skal indføres dér, hvor AI først kommer ind i virksomheden: i SDLC. Organisationer skal også sikre, at udviklere, der bruger AI-kodeværktøjer, har den nødvendige uddannelse og de nødvendige færdigheder til at forhindre værktøjerne i at tilføre fejl, sårbarheder og dårlige vaner til udviklingsforløbet.

De fleste softwarefejl opstår i udviklingsfasen, og når udviklere ikke har de nødvendige færdigheder til at skrive sikker kode eller rette fejl, som AI har introduceret, kan problemerne hurtigt brede sig. Udviklere har brug for et uddannelsesprogram, der giver dem de nødvendige sikkerhedsfærdigheder og følger deres fremskridt – både i tilegnelsen af færdighederne og i den daglige anvendelse af dem på arbejdet.

I takt med at AI bliver stadig mere integreret i organisationers arbejdsmetoder, står det klart, at sikkerhedsmæssig sporbarhed, observerbarhed og styring af både udviklere og deres AI-kodeværktøjer er blevet den nye grundlæggende forudsætning for sikker kode i virksomheden.

Vedvarende trusler kræver vedvarende handling

Vi har måske tidligere antaget, at software var forholdsvis harmløs og blot gjorde, hvad den var programmeret til. Hvis der opstod en fejl, kunne programmet måske fryse eller forårsage driftsstop, men det ville ikke gå til angreb. AI, især agentisk AI, har vendt op og ned på den antagelse. Uanset om en AI-model arbejder agentisk eller med hjælp fra udviklere, skal dens handlinger løbende observeres og styres.

Den nye AI-trussel – hvad enten den retter sig mod hospitaler, vandbehandlingsanlæg, kraftværker eller virksomheder – kan være en skræmmende tanke. Men organisationer er ikke forsvarsløse. De kan indføre AI-styring, men skal opbygge den helt fra grunden. Ved at skabe en kultur, der er forpligtet på sikker software, og tilbyde udviklerne den nødvendige uddannelse for at nå dette mål, kan organisationer tilføre et hårdt tiltrængt niveau af observerbarhed, sporbarhed og styring af et potentielt problem, der kun vil blive langt værre, hvis det ikke håndteres.