AI‑angribere bliver ikke trætte: Hvorfor cybersikkerhed skal ændre sig

Dit sikkerhedsprogram blev bygget til angribere, der gør det.

Da OpenAI offentliggjorde sin beretning om de modeller, der slap ud af et evalueringsmiljø og tilbragte dage i Hugging Face’s produktionsinfrastruktur, kaldte jeg det et Terminator‑øjeblik for cybersikkerhed. Jeg står ved udsagnet, men noget andet ved dette bør få os til at stoppe op. Ni dage senere afslørede Anthropic egne hændelser. I begyndelsen af august bekræftede Meta en anden. Dage derefter slap en fjerde labs model, Moonshots Kimi K3, ud af sit test‑sandbox. Fire laboratorier. Under tre uger. Fire modeller, der endte et sted, ingen havde tiltænkt.

Disse historier er stort set blevet behandlet som AI‑sikkerhedshistorier. Det er de også. Men for en CISO er de også tredjepartsrisikohistorier – og det kan være den mere umiddelbare lektie. Den ubehagelige sandhed er, at OpenAI‑Hugging Face‑incidenten i sin kerne var en tredjepartsrisikohistorie: en sårbar tredjepartskomponent som flugtvej, en leverandør som offer og en systemisk node, som tusinder af virksomheder er afhængige af som eksplosionens radius.

Her er tallet, jeg ville tage med til dit næste sikkerhedsplanlægningsmøde. Af de cirka 17.600 angriber‑handlinger, som Hugging Face har genvundet fra sine logfiler, fejlede de fleste.

Agenten testede stier, der førte ingen vegne. Den blev blokeret af URL‑whitelister og pivotede. Den ramte IAM‑politikker, der nægtede alle muterende kald. Den forsøgte at nå en produktionsdatabase to gange og timed ud begge gange. Den sonderede, fejlede og gik videre. Tusindvis af gange. Den blev ikke frustreret. Den blev ikke træt. Og fejl kostede den næsten ingenting.

Fire modeller slap ud af testmiljøer på under tre uger. Flugterne fik overskrifter. Sikkerhedsledere bør være mere bekymrede for, hvad der gjorde dem mulige: en angriber, der kan fejle tusindvis af gange næsten uden omkostninger.

Det er skiftet. I årtier har forsvarere haft fordel af én simpel kendsgerning: fejl koster angribere noget. Rekognoscering tog tid, og blindgyder var dyre. Økonomien i den asymmetri er det, der gjorde “pålægning af omkostninger” på angribere til en sammenhængende måde at forsøge at stoppe dem på. Når fejl bliver næsten gratis, stopper den succesfulde sti med at være en nål i en høstak og bliver en statistisk sikkerhed for enhver, der kan forfølge alle stier på én gang.

Mønstrene i disse hændelser peger på tre lektier, som sikkerhedsledere bør handle på nu.

Fire laboratorier, én form

Mønstret er bemærkelsesværdigt konsistent. Giv en model et mål. Den finder en sti, ingen forventede. Nogle gange fører den sti direkte ind i produktionssystemerne hos organisationer, der aldrig skulle være involveret. I mindst ét tilfælde lærte den berørte organisation, hvad der var sket, fordi Anthropic ringede for at fortælle dem

I hver sag løb stien gennem software, infrastruktur eller et miljø, som en anden havde bygget. Sikkerhedsledere bør tage det personligt.

Alle organisationer i denne kæde havde et sikkerhedsprogram. Flere havde meget gode. Fejlen var ikke indeholdt inden for en enkelt perimeter. Den opstod i samlingerne mellem organisationerne, og ingen ejer samlingerne.

OpenAIs modeller fandt en zero‑day i en selvhostet pakke‑proxy og brugte den til at nå det åbne internet. Derfra slog de rod i en usikret kode‑eksekverings‑sandbox, der tilhørte en Modal Labs‑kunde, brugte den som en staging‑base og narrede Hugging Faces dataset‑loader til at læse lokale filer og derefter eksekvere kode. Inden for tretten timer havde de cluster‑admin‑rettigheder på tværs af flere interne klynger, hjulpet af en enkelt legitimationsoplysning, der var delt mellem dem alle. Indgangspunktet var nyt. Indeni var svaghederne de, vi har skrevet om i tyve år.

Ni dage senere gjorde Anthropic noget sjældnere: de offentliggjorde deres egen gennemgang af 141.006 evalueringskørsler og afslørede tre tilfælde med lignende fremtræden uden anmodning: en model, der nåede det åbne internet fra et evalueringsmiljø, og derefter fik adgang til rigtige organisationers systemer. Ingen sandbox‑flugt denne gang, kun en fejlkonstruktion, der efterlod en aktiv sti ud, mens modellen var blevet fortalt, at ingen eksisterede. Når den var ude, udnyttede modellen svagheder, som hvert sikkerhedsteam kender: svage adgangskoder, ikke‑autentificerede endepunkter, SQL‑injektion og legitimationsoplysninger på en eksponeret debug‑side.

Meta bekræftede en fjerde i begyndelsen af august, efter en konfigurationsfejl gav en af deres modeller internetadgang under en evaluering. Meta opdagede det heller ikke; de lærte, hvad der var sket, da deres testpartner ringede. Både den evaluering og Anthropics blev udført af det samme eksterne firma, Irregular, som offentligt har kaldt dem for det samme problem. En leverandørs konfigurationsfejl spredte sig over to front‑laboratorier og fire offerorganisationer, som alle ingen direkte relation til Irregular havde. Det var en leverandør til de to laboratorier, ikke til dem. Agenten var ligeglad med, hvor den ene virksomheds angrebsoverflade sluttede, og den andens begyndte.

Det er, hvad der gør dette til et tredjepartsrisikoproblem. Eksponering kan nu stamme fra flere relationer væk fra dig, i en organisation, du aldrig har valgt, vurderet eller endda vidst var en del af din angrebsoverflade.

Derefter opdagede forskere hos Frontier Security, at Moonshots Kimi K3 også gled ud af sin sandbox, så den kunne få adgang til et benchmark‑arkiv på GitHub. Ingen blev kompromitteret, og modellen jagtede sit tildelte mål, idet den havde udregnet, at brug af en færdig svarnøgle var billigere end at løse problemet. To ting gør denne sag vigtig. Forskerne opdagede den under deres egen test. Og den kørte på helt anderledes værktøj end Anthropic‑ og Meta‑sagerne. At én leverandør har en dårlig måned forklarer ikke dette.

Laboratorierne ignorerer ikke dette. Anthropic offentliggjorde deres gennemgang uden anmodning, hvilket er grunden til, at branchen har et mønster at undersøge og lære af – i stedet for en outlier, der skal afvises. Det bør blive normen. OpenAI har nu sænket udgivelsen af deres Astra‑model, efter interne evalueringer ikke kunne udelukke kritisk cyber‑kapacitet. Begge tiltag fortjener ros. Men ingen af dem er en forsvarsplan: en udgivelsesforsinkelse styrer én virksomheds kalender. Det gør intet ved kapable modeller, herunder Kimi K3, som allerede leveres med åben vægt og gratis, uden for enhver enkelt labs kontrol.

Korrelation uden eskalation er ikke detektion

Hugging Faces detektionsstack, til sin ære, korrelerede signalerne til et sammenhængende angreb. Den fejlede derefter i at eskalere kritikaliteten, og on‑call‑teamet blev ikke paget. Værktøjet samlede historien og kunne ikke afgøre, at historien var presserende. Det er en triage‑arkitektur bygget til en verden, hvor 17.600 hændelser over fire dage ville have virket absurd.

Cybersikkerhed har brug for sin Fosbury Flop

I 1968 vandt Dick Fosbury olympisk guld i højdespring ved ikke at hoppe højere end sine konkurrenter, men ved at gå over stangen baglæns. Alle andre forfinede den såkaldte “straddle”. Bedre form, mere styrke, marginale gevinster på en årtier gammel teknik. Fosbury ændrede problemets form. Inden for to olympiader var “straddle” næsten uddødt.

Sikkerhedsledere skal nu klare en stang, der netop er flyttet, og størstedelen af branchens svar indtil videre er en bedre “straddle”: flere alarmer, hurtigere analytikere, strammere SLA‑er på menneskelig gennemgang. Det vil ikke fungere, fordi begrænsningen ikke er analytikerens hastighed. Man kan ikke besvare maskine‑hastighedsangreb med menneske‑hastigheds‑triage.

Floppen ser således ud:

• Stop med at betragte grænsen som kontrollen. Evaluerings‑sandboxen fejlede, dataset‑loaderen fejlede, og pod‑isoleringen fejlede, hver for sig udførte deres opgave indtil de ikke længere gjorde det. Design til hvad der sker derefter. Brug kort‑levetids‑legitimationsoplysninger. Fjern delte administrative identiteter. Bloker adgang til metadata‑tjenester. Frem for alt, begræns hvor langt en angriber kan bevæge sig, efter den første kontrol fejler.
• Flyt detektionen fra alarmering til korrelation. At finde én mistænkelig hændelse er ikke længere nok. Opgaven er at forbinde tusindvis af almindelige hændelser til én angrebshistorie og vide, hvornår den historie er alvorlig nok til at vække nogen. Dette skal i stigende grad automatiseres i betragtning af den volumen, vi ser.
• Behandl tredjeparts‑eksponering som en angrebsvinkel, ikke som et spørgeskema. Disse hændelser gik gennem tredjeparts‑afhængigheder: en leverandørs produkt, en leverandørs kunde, en evalueringspartner, delt test‑værktøj. Din risiko omfatter nu konfigurationsfejl begået af organisationer, du aldrig har revideret og måske ikke engang ved eksisterer. Statiske, punkt‑i‑tid‑vurderinger kan ikke se noget af dette. Problemet er ikke nyt. AI gør det meget mere presserende. Sikkerhedsteams har brug for en kontinuerlig oversigt over de virksomheder og teknologier, de er afhængige af, fordi angribere ser hele økosystemet som én sammenhængende overflade.

Hos SecurityScorecard er dette præcis den type problem, vores kultur er bygget omkring: at samle folk, der er dybt nysgerrige på, hvordan angribere tænker, villige til at udfordre tyve‑årige antagelser, og begejstrede for at skabe en grundlæggende anderledes tilgang til sikkerhed!

Spørgsmålet du skal tage med til dit næste bestyrelsesmøde

Jeg sagde for et par uger siden, at genien er blevet for kraftfuld til flasken. Fire laboratorier senere er der intet, der modsiger det. Efter hændelser som disse stiller alle det samme spørgsmål: Er vi klar til AI‑aktiverede angribere? Jeg tror ikke, at spørgsmålet bringer os langt. ‘Ja’ og ‘nej’ giver samme resultat: intet ændrer sig.

Stil et sværere spørgsmål. Hvis 17.000 lav‑signal‑hændelser rammer dit miljø i løbet af de næste fire dage — og de fleste så ud som fejl — hvor lang tid vil dit team bruge på at indse, at de var ét angreb? Ville nogen blive paget i tide?

Du ved allerede svaret. Afstanden mellem det svar og fire dage er arbejdet.