KI-bransjen vil ha tilliten vår, men først må den få bedre kontrollmekanismer

I sikkerhetsarbeid kan vi ikke vente til noe går galt for å finne ut om kontrollmekanismene våre virker. Vi tester dem. Vi utfordrer dem. Vi går ut fra at noen før eller siden finner svakheten vi overså.

Det er sikkerhetens ABC.

Så hvorfor skal banebrytende KI vurderes etter en annen standard?

Etter hvert som KI-systemer blir mer autonome og får større tilgang til systemer i den virkelige verden, ser vi noe som bør bekymre alle som har erfaring med den defensive siden av cybersikkerhet: Evnene utvikler seg raskere enn kontrollen.

Og høy hastighet er ingen unnskyldning for svakere sikkerhet. Det er grunnen til at vi trenger sterkere sikkerhet.

En nylig vurdering fra den ideelle organisasjonen Guidelight AI undersøkte offentlig tilgjengelig dokumentasjon på praksis for KI-kontroll hos Anthropic, Google, Meta, OpenAI og xAI. Ingen fikk bedre enn C+ i samlet vurdering.

Det betyr ikke at disse selskapene er uforsiktige. Det betyr heller ikke at det ikke finnes ytterligere kontrollmekanismer som brukes bak lukkede dører.

Men sikkerhet kan ikke bygge på antakelser. Hvis vi blir bedt om å stole på stadig kraftigere systemer, bør vi forvente dokumentasjon på at kontrollmekanismene rundt dem tåler den samme granskningen som vi ville krevd på alle andre områder.

Slutt å behandle svikt som interessante historier

Når en KI-agent oppfører seg uventet, får utilsiktet tilgang eller avdekker en svakhet, handler historien gjerne mest om hva teknologien gjorde.

Det er interessant.

Men det er ikke det viktigste spørsmålet.

En sikkerhetsekspert vil vite: Ble aktiviteten loggført? Var det noen som så hva som skjedde? Var farlige handlinger underlagt godkjenning? Kunne noen stanse systemet? Fantes det en plan for å begrense skade, og hadde noen testet den?

Disse spørsmålene gjelder ikke bare KI. Det er spørsmål vi har stilt innen cybersikkerhet i årevis.

Likevel ser forebygging og skadebegrensning fortsatt ut til å være svake punkter i det nye kontrollregimet for banebrytende KI. Det finnes fortsatt lite offentlig dokumentasjon på handlinger som krever godkjenning, sikkerhetsbrytere og nødtiltak for å begrense skade.

Det bør veie tyngre enn hvor nytt og uvanlig en hendelse er. Når noe svikter, vil jeg vite hva som sviktet, hva som hindret situasjonen i å bli verre, og hva som ble endret etterpå.

Åpenhet er nyttig. Læring er enda bedre.

Den virkelige sikkerhetsutfordringen med KI er hastighet

Jeg tror ikke den største trusselen på kort sikt er at KI plutselig finner opp en helt ny type cyberangrep. Det større problemet er langt mer praktisk: KI kan få angrep vi allerede kjenner til, til å skje mye raskere.

Forskning som tidligere tok timer, kan gjennomføres på minutter. Angrepsteknikker kan settes sammen raskere. Sårbarheter kan identifiseres og utnyttes før en sikkerhetsprosess som er tilpasset mennesker, har rukket å komme gjennom sin første eskaleringssamtale.

Det er et problem fordi mye av dagens sikkerhetsinfrastruktur fortsatt bygger på en antakelse om at det vil være tid til å reagere.

Noen ganger vil det ikke være det.

Hvis et angrep utvikler seg raskt, kan en responsprosess basert på saksbilletter, møter, godkjenninger og manuell eskalering bli utdatert før noen kommer til trinn tre.

Og det er her KI-bransjen har en jobb å gjøre.

Hvis ledende KI-laboratorier forventer at virksomheter skal tenke nytt om synlighet, sårbarhetshåndtering, arkitektur og hendelseshåndtering i KI-æraen, bør de vise oss at de har gjort det samme selv.

«Stol på oss» er ikke et rammeverk for kontroll

Jeg har jobbet med sikkerhetstesting gjennom hele karrieren, og ett prinsipp holder seg bemerkelsesverdig godt: Gode hensikter beviser ikke at noe er sikkert. Det gjør dokumentasjon.

• Test.
• Overvåk.
• Prøv å få ting til å svikte.

Du finner ut hva som skjer når kontrollmekanismene ikke oppfører seg slik arkitekturdiagrammet tilsier. Og du sørger for at noen har myndighet til å stanse systemet når det er nødvendig. Banebrytende KI må vurderes etter samme standard.

Det betyr at kontrollmekanismene må testes fra en motstanders perspektiv, at det må finnes målbar dokumentasjon på at de virker, og at noen må ha tydelig myndighet til å slå av systemer når noe går galt.

Det betyr også at vi må tenke nytt om hvordan vi begrenser skade.

Ledende KI-laboratorier kan ikke improvisere skadebegrensning etter at en KI-agent har handlet utenfor de tiltenkte rammene. Når de trener og tester stadig mer kapable modeller, må de ta ansvar for handlingene disse systemene kan utføre. Det krever grundig testing fra en motstanders perspektiv, forhåndsgodkjente sikkerhetstiltak, tydelige grenser for agentens fullmakter og utprøvde metoder for å gripe inn eller slå av et system før en svikt sprer seg.

Menneskelig skjønn er fortsatt viktig. Men laboratoriene som utvikler disse systemene, må fastsette grensene, teste om de holder og stå til ansvar når de ikke gjør det.

Deres ansvar er ikke bare å vise hva en agent kan gjøre. De må vise at agenten kan operere trygt, at atferden kan kontrolleres, og at nye egenskaper gjør verden sikrere, ikke mindre sikker.

Tillit må fortjenes

Jeg argumenterer ikke for at vi skal bremse innovasjonen innen KI nesten helt opp. Jeg argumenterer for at sikkerheten må holde tritt med den. Hvis vi investerer enorme ressurser i å gjøre KI mer kapabel, må vi vise tilsvarende hastverk med å sørge for at den kan forsvares.

Men når ledende laboratorier fremskynder treningen og testingen av nye KI-modeller med cyberkapasiteter, må de ha forsvarerne i tankene. Først ved å hjelpe dem med å oppdage trusler og reagere raskere. Enda viktigere er det å hindre at disse systemene selv blir trusler. Dette ansvaret innebærer også å akseptere ekstern granskning.

Uavhengig granskning kan ikke være noe selskaper bare ønsker velkommen når den støtter fortellingen de ønsker å formidle. Hvis KI-systemer i frontlinjen er kraftige nok til å endre trusselbildet, bør kontrollmekanismene deres være robuste nok til å tåle grundig, uavhengig testing.

KI-bransjen ønsker vår tillit.

Som sikkerhetsfagperson er jeg villig til å vise bransjen tillit. Men først må dere vise meg kontrollmekanismene.