Hvorfor AI-selskaper skynder seg for å innrømme sikkerhetsfeil

I nesten alle andre bransjer er «produktet vårt brøt inn i et annet selskaps systemer» den typen hendelse en organisasjon ville jobbe hardt for å holde skjult. Men etter hvert som AI utvikler seg i høyt tempo, blir sikkerhetsfeilene dens jevnlige overskrifter, og selskaper forklarer nå uplanlagt AI-aktivitet i nøye utformede blogginnlegg.

Den økende følelsen av rutine bør være et rødt flagg for bedriftsledere.

Etter hvert som AI-modeller blir mer kapable, mer autonome og dypere integrert i bedriftsoperasjoner, har åpenhet blitt en av bransjens mest verdifulle valutaer. Selskaper vet at kundene ikke kan verifisere hver sikkerhetspåstand om en avansert modell på egen hånd, så det å innrømme feil signaliserer at en organisasjon vil undersøke sine egne feil offentlig. Men åpenhet er ikke ansvarlighet. Åpenhet kan aldri erstatte forebygging, noe som vil bli stadig viktigere etter hvert som AI-modeller modnes.

Når én åpenhet utløser den neste

Mønsteret ble tydelig i løpet av de siste ukene. Modeller som ble evaluert av OpenAI fikk utilsiktet tilgang til live-systemer, inkludert Hugging Face sin produksjonsinfrastruktur. OpenAI identifiserte sin egen agent som ansvarlig og avslørte hendelsen. Den erkjennelsen fikk Anthropic til å undersøke over 141 000 evalueringskjøringer, og avdekket tre tilfeller der Claude-modeller nådde internett og brøt inn i produksjonssystemene til tre organisasjoner. 

Deretter kom Meta, som ikke begynte med en offentlig gjennomgang. Pressen rapporterte hendelsen først, og først da bekreftet Meta at en feilkonfigurasjon under ekstern testing hadde gjort at en av modellene deres nådde internett og utnyttet en sårbarhet i en tredjepartstjeneste. Meta sa de undersøkte saken og ville dele mer senere.

Disse hendelsene var ikke identiske, og modellene opererte under uvanlige evalueringsforhold. I noen tilfeller var vanlige sikkerhetstiltak redusert eller deaktivert for å måle rå cybersikkerhetsevner. Men den bredere lærdommen er vanskeligere å avvise: stadig mer autonome systemer har beveget seg forbi de grensene operatørene trodde de hadde satt.

Kan åpenhet være en konkurransefordel (eller kan den?)

Den sjenerøse tolkningen er at AI-selskaper utvikler en moden kultur for åpenhet. Cybersikkerhet har i flere tiår lært at hemmelighold ofte forverrer skaden. Organisasjoner som rapporterer hendelser raskt, forklarer hva som skjedde og hjelper andre med å lære, får vanligvis mer troverdighet enn de som minimerer eller forsinker. 

Anthropics åpenhet viste hvordan dette ser ut. Den beskrev omfanget av sin gjennomgang, anerkjente sine egne feil, kontaktet berørte organisasjoner og skisserte kontrollene den planla å endre. Den behandlet rettingene som om ansvaret kun lå hos dem, selv om en tredjeparts testkonfigurasjon bidro. Produktiv åpenhet krever ikke at én organisasjon later som om den forårsaket alle feil. Den krever at man tar ansvar for de kontrollene man kan påvirke.

En innrømmelse kan gjøre mer enn å bygge tillit

Like er åpenhet aldri kun altruistisk. En offentlig innrømmelse kan utføre flere strategiske oppgaver samtidig.

Først kan den demonstrere kapasitet. «Modellen vår kom seg ut av testen og kompromitterte et ekte system» er en alarmerende innrømmelse, men den leses også som bevis på at modellen er usedvanlig kraftig. Hendelsen blir, med vilje eller ikke, en produktdemonstrasjon.

For det andre lar den et selskap forme fortellingen før regulatorer, kunder eller journalister gjør det for dem. Organisasjonen definerer terminologien, forklarer testforholdene og rammer inn løsningen.

For det tredje risikerer gjentatte åpenheter å normalisere atferden. Hvis hvert stort AI-lab rapporterer at en agent krysset en grense og kompromitterte et live-system, kan bransjen begynne å behandle atferden som en uunngåelig bieffekt av fremgang.

Den kan ikke bli normen. CISOs jeg snakker med vil vite hvorfor forebyggende kontroller ikke stoppet aktiviteten. De spør hvem som autoriserte modellens tilgang, hvilke grenser som ble håndhevet, hvordan handlingene ble overvåket og om noen kunne ha stoppet den før den nådde en tredjepart. Dette er ansvarlighetsspørsmål, ikke kommunikasjonsspørsmål.

Åpenhet er starten på ansvarlighet

Cybersikkerhet har allerede lært at å kunngjøre en hendelse ikke er det samme som å håndtere den. En troverdig åpenhet forklarer hva som skjedde, hvem som ble påvirket, hvordan responsen innestengt den, hvilke kontroller som sviktet, og hva som vil forhindre lignende aktivitet neste gang.

For AI-agenter må den standarden gå lenger. Agenter følger ikke forutsigbare baner. De resonnerer, velger verktøy og tilpasser seg konteksten. Et legitimt mål garanterer ikke at hvert steg mot det er legitimt. Organisasjoner trenger forebyggende kontroller som styrer hva en agent kan få tilgang til, hvilke verktøy den kan bruke, og hvilke handlinger den kan utføre, samt kontinuerlig overvåking av hva agenten faktisk gjør.

Dette arbeidet må starte før utrulling. Ledere bør kreve trusselmodellering for agentbaserte arbeidsflyter, minst mulig privilegier, eksplisitte begrensninger på ekstern tilkobling, uavhengig validering av testmiljøer, sanntids håndheving av retningslinjer og klare punkter for menneskelig inngripen. Man kan ikke legge til forebygging etter den første offentlige hendelsen.

Ledere bør nå bestemme hva som skjer videre

Alle virksomheter som distribuerer AI-agenter kan etter hvert stå overfor sin egen versjon av dette øyeblikket. Organisasjonen kan oppdage at en agent har fått tilgang til informasjon den ikke skulle ha, handlet utenfor sin myndighet eller nådd et eksternt system uventet.

Bestem nå hva du vil avsløre, for hvem, og under hvilke betingelser. Viktigere, definer ansvarligheten som følger med. Hvem eier agentens handlinger? Hvem kan kutte dens tilgang? Hvilke bevis vil du bevare? Hvilken kontroll vil du legge til før systemet settes i drift igjen?

Jakten på å publisere AI-feil kan signalisere en sunnere og mer åpen bransje. Men innrømmelsen kan ikke være hele historien.

Tilliten bygges ikke bare av innrømmelsen. Den bygges av kontrollene som skulle ha forhindret hendelsen, handlingene som ble tatt umiddelbart etterpå, og bevisene på at den samme feilen ikke vil skje igjen.