Hvorfor AI-virksomheder skynder sig at tilstå sikkerhedsfejl

I næsten enhver anden branche er “vores produkt brød ind i en anden virksomheds systemer” den slags hændelse, en organisation ville arbejde hårdt for at holde tavs. Men efterhånden som AI udvikler sig hurtigt, bliver sikkerhedsfejlene regelmæssige overskrifter, og virksomheder forklarer nu uplanlagt AI-aktivitet i omhyggeligt udformede blogindlæg.

Den voksende følelse af rutine bør være et rødt flag for erhvervsledere.

Efterhånden som AI-modeller bliver mere kapable, mere autonome og dybere integreret i virksomheders drift, er åbenhed blevet en af branchens mest værdifulde valutaer. Virksomheder ved, at kunder ikke kan verificere hver sikkerhedserklæring om en avanceret model uafhængigt, så en indrømmelse af fejl signalerer, at en organisation vil undersøge sine egne fejl offentligt. Men gennemsigtighed er ikke ansvarlighed. Åbenhed kan aldrig erstatte forebyggelse, som vil blive endnu vigtigere, efterhånden som AI-modeller modnes.

Når én åbenhed udløser den næste

Patternet blev tydeligt i løbet af de sidste par uger. Modeller, der blev evalueret af OpenAI, fik utilsigtet adgang til live-systemer, herunder Hugging Face’s produktionsinfrastruktur. OpenAI identificerede sin egen agent som ansvarlig og offentliggjorde hændelsen. Den indrømmelse fik Anthropic til at undersøge mere end 141.000 evalueringskørsler, og afslørede tre tilfælde, hvor Claude-modeller nåede internettet og brød ind i produktionssystemerne hos tre organisationer. 

Derefter kom Meta, som ikke startede med en offentlig gennemgang. Pressen rapporterede først om hændelsen, og først derefter bekræftede Meta, at en fejlkonstruktion under ekstern test havde ladet en af deres modeller nå internettet og udnytte en sårbarhed i en tredjepartstjeneste. Meta sagde, at de undersøger sagen og vil dele mere senere.

Disse hændelser var ikke identiske, og modellerne opererede under usædvanlige evalueringsforhold. I nogle tilfælde var normale sikkerhedsforanstaltninger reduceret eller deaktiveret for at måle rå cybersikkerhedskapaciteter. Men den bredere lektie er sværere at afvise: Stadig mere autonome systemer gik forbi de grænser, deres operatører troede, de havde sat.

Gennemsigtighed kan være en konkurrencemæssig fordel (eller kan den?)

Den gavmilde fortolkning er, at AI-virksomheder udvikler en moden kultur for åbenhed. Cybersikkerhed har i årtier lært, at hemmeligholdelse ofte forværrer skaden. Organisationer, der rapporterer hændelser hurtigt, forklarer hvad der skete og hjælper andre med at lære, opnår typisk mere troværdighed end dem, der nedtoner eller forsinker. 

Anthropics åbenhed viste, hvordan det ser ud. Den beskrev omfanget af sin gennemgang, anerkendte sine egne fejl, kontaktede berørte organisationer og skitserede de kontroller, den planlagde at ændre. Den behandlede rettelserne, som om ansvaret kun lå hos dem, selvom en tredjeparts testkonfiguration bidrog. Produktiv åbenhed kræver ikke, at én organisation foregiver at have forårsaget hver fejl. Den kræver, at man accepterer ansvaret for de kontroller, man har indflydelse på.

En tilståelse kan gøre mere end at opbygge tillid

Alligevel er åbenhed aldrig udelukkende altruistisk. En offentlig tilståelse kan udføre flere strategiske opgaver på én gang.

Først kan den demonstrere kapacitet. “Vores model undslap sin test og kompromitterede et reelt system” er en alarmerende indrømmelse, men den læses også som bevis på, at modellen er usædvanligt kraftfuld. Hændelsen bliver, med vilje eller ej, en produktdemonstration.

For det andet giver den en virksomhed mulighed for at forme fortællingen, før regulatorer, kunder eller journalister gør det for dem. Organisationen definerer terminologien, forklarer testbetingelserne og indrammer løsningen.

For det tredje risikerer gentagne åbenheder at normalisere adfærden. Hvis hver større AI-lab rapporterer, at en agent krydsede en grænse og kompromitterede et live-system, kan branchen begynde at betragte adfærden som en uundgåelig bivirkning af fremskridt.

Den kan ikke blive normen. De CISO’er, jeg taler med, vil vide, hvorfor forebyggende kontroller ikke stoppede aktiviteten. De spørger, hvem der godkendte modellens adgang, hvilke grænser der blev håndhævet, hvordan dens handlinger blev overvåget, og om nogen kunne have stoppet den, før den nåede en tredjepart. Det er ansvarspørgsmål, ikke kommunikationsspørgsmål.

Åbenhed er begyndelsen på ansvarlighed

Cybersikkerhed har allerede lært, at det at annoncere en hændelse ikke er det samme som at håndtere den. En troværdig åbenhed forklarer, hvad der skete, hvem der blev påvirket, hvordan responderne indeholdt den, hvilke kontroller der fejlede, og hvad der vil forhindre lignende aktivitet næste gang.

For AI-agenter skal den standard gå videre. Agenter følger ikke forudsigelige veje. De ræsonnerer, vælger værktøjer og tilpasser sig konteksten. Et legitimt mål garanterer ikke, at hvert skridt mod det er legitimt. Organisationer har brug for forebyggende kontroller, der regulerer, hvad en agent kan få adgang til, hvilke værktøjer den kan anvende, og hvilke handlinger den kan udføre, samt løbende overvågning af, hvad agenten faktisk gør.

Det arbejde skal begynde før implementering. Ledere bør kræve trusselsmodellering for agentbaserede arbejdsprocesser, mindst-privilegeret adgang, eksplicitte begrænsninger på ekstern forbindelse, uafhængig validering af testmiljøer, realtidspolitiktvingning og klare punkter for menneskelig indgriben. Man kan ikke eftermontere forebyggelse efter den første offentlige hændelse.

Ledere bør nu beslutte, hvad der sker næste gang

Alle virksomheder, der implementerer AI-agenter, kan på et tidspunkt stå over for deres egen version af dette øjeblik. Organisationen kan opdage, at en agent har fået adgang til information, den ikke burde have, handlet ud over sin autoritet eller uventet nået et eksternt system.

Beslut nu, hvad du vil gøre offentligt, over for hvem, og under hvilke betingelser. Endnu vigtigere, definér den ansvarlighed, der følger med. Hvem ejer agentens handlinger? Hvem kan begrænse dens adgang? Hvilke beviser vil du bevare? Hvilken kontrol vil du tilføje, før systemet sættes i drift igen?

Jagten på at offentliggøre AI-fejl kan signalere en sundere og mere åben branche. Men tilståelsen kan ikke være hele historien.

Tillid bygges ikke kun på indrømmelsen. Den bygges på de kontroller, der skulle have forhindret hændelsen, de handlinger, der blev foretaget umiddelbart derefter, og beviserne for, at den samme fejl ikke blot vil ske igen.