AI-branchen ønsker vores tillid, men først skal den have bedre kontrolmekanismer

Inden for sikkerhed kan vi ikke vente med at finde ud af, om vores kontrolmekanismer virker, til noget går galt. Vi tester dem. Vi udfordrer dem. Vi går ud fra, at nogen før eller siden finder den svaghed, vi overså.

Det er cybersikkerhedens grundregler.

Hvorfor skulle den mest avancerede AI så bedømmes efter en anden standard?

I takt med at AI-systemer bliver mere selvstændige og får større adgang til systemer i den virkelige verden, ser vi noget, der bør bekymre alle, som har arbejdet med cybersikkerhed fra et forsvarsperspektiv: Kapaciteten udvikler sig hurtigere end kontrolmekanismerne.

Højere hastighed er ikke en undskyldning for ringere sikkerhed. Det er grunden til, at vi har brug for stærkere sikkerhed.

En nyere vurdering fra nonprofitorganisationen Guidelight AI undersøgte offentligt tilgængelige oplysninger om AI-kontrolpraksis hos Anthropic, Google, Meta, OpenAI og xAI. Ingen af dem fik en samlet karakter over C+.

Det betyder ikke, at disse virksomheder handler uansvarligt. Det betyder heller ikke, at der ikke findes yderligere kontrolmekanismer bag lukkede døre.

Men sikkerhed bygger ikke på antagelser. Hvis vi bliver bedt om at have tillid til stadig mere magtfulde systemer, bør vi forvente dokumentation for, at sikkerhedsforanstaltningerne omkring dem kan modstå den samme kritiske granskning, som vi ville kræve alle andre steder.

Lad være med at behandle fejl som interessante historier

Når en AI-agent opfører sig uventet, får utilsigtet adgang eller blotlægger en svaghed, kommer historien typisk til at handle om, hvad teknologien gjorde.

Det er interessant.

Men det er ikke det vigtigste spørgsmål.

En sikkerhedsspecialist vil gerne vide: Blev aktiviteten logget? Var der nogen, der opdagede, hvad der skete? Var farlige handlinger underlagt godkendelse? Kunne nogen stoppe systemet? Fandtes der en plan for inddæmning, og havde nogen afprøvet den?

De spørgsmål er ikke unikke for AI. Det er spørgsmål, vi har stillet inden for cybersikkerhed i årevis.

Alligevel ser forebyggelse og inddæmning fortsat ud til at være svage punkter i de nye kontrolmiljøer for den mest avancerede AI. Der er fortsat kun begrænsede offentligt tilgængelige oplysninger om handlinger, der kræver godkendelse, nødstopmekanismer og akut inddæmning.

Det bør veje tungere end hændelsens nyhedsværdi. Når noget svigter, vil jeg vide, hvad der svigtede, hvad der forhindrede situationen i at blive værre, og hvad der blev ændret bagefter.

Gennemsigtighed er nyttig. Læring er endnu bedre.

Det egentlige sikkerhedsproblem med AI er hastigheden

Jeg tror ikke, at den største trussel på kort sigt er, at AI pludselig opfinder en helt ny kategori af cyberangreb. Det større problem er langt mere håndgribeligt. AI kan få de angreb, vi allerede kender, til at ske meget hurtigere.

Undersøgelser, der tidligere tog timer, kan gennemføres på få minutter. Angrebsteknikker kan kædes sammen hurtigere. Sårbarheder kan identificeres og udnyttes, før en menneskestyret sikkerhedsproces når frem til sit første opkald om eskalering.

Det er et problem, fordi en stor del af dagens sikkerhedsinfrastruktur stadig bygger på en antagelse om, at der vil være tid til at reagere.

Nogle gange er der ikke tid.

Hvis et angreb udvikler sig hurtigt, kan en reaktionsproces baseret på sagsoprettelser, møder, godkendelser og manuel eskalering være forældet, før nogen når til trin tre.

Og det er her, AI-branchen har noget at arbejde med.

Hvis de førende AI-laboratorier forventer, at virksomheder gentænker synlighed, sårbarhedshåndtering, arkitektur og hændelsesberedskab i AI-æraen, bør de vise os, at de selv har gjort det samme.

„Stol på os“ er ikke en kontrolramme

Jeg har arbejdet med sikkerhedstest gennem hele min karriere, og ét princip holder bemærkelsesværdigt godt: Gode hensigter beviser ikke, at noget er sikkert. Det gør dokumentation.

• Man tester.
• Man overvåger.
• Man forsøger at få tingene til at fejle.

Man finder ud af, hvad der sker, når kontrolmekanismerne ikke fungerer, som arkitekturdiagrammet siger, de skal. Og man sikrer sig, at nogen har beføjelse til at stoppe systemet, når det er nødvendigt. Den samme standard bør gælde for den mest avancerede AI.

Det betyder, at kontrolmekanismerne skal testes under modstand, at der skal foreligge målbar dokumentation for, at de virker, og at nogen tydeligt skal have beføjelse til at lukke systemer ned, når noget går galt.

Det betyder også, at vi må gentænke inddæmning.

Førende AI-laboratorier kan ikke improvisere en plan for inddæmning, efter at en AI-agent har overskredet sine tilsigtede grænser. Mens de træner og tester stadig mere kapable modeller, skal de påtage sig ansvaret for de handlinger, systemerne kan udføre. Det kræver grundige tests af kontrolmekanismerne under modstand, sikkerhedsforanstaltninger, der er godkendt på forhånd, tydelige grænser for agenternes beføjelser samt gennemprøvede metoder til at gribe ind eller lukke et system ned, før en fejl spreder sig.

Menneskelig dømmekraft er stadig vigtig. Men laboratorierne, der udvikler disse systemer, skal fastlægge grænserne, teste, om de holder, og stå til ansvar, når de ikke gør.

Deres ansvar handler ikke blot om at demonstrere, hvad en agent kan gøre. De skal vise, at agenten kan fungere sikkert, at dens adfærd kan styres, og at nye funktioner gør verden mere sikker, ikke mindre.

Tillid skal fortjenes

Jeg argumenterer ikke for, at vi skal bremse AI-innovation til næsten stilstand. Jeg argumenterer for, at sikkerheden skal følge med. Hvis vi investerer enorme ressourcer i at gøre AI mere avanceret, må vi udvise en tilsvarende grad af hastværk med at sikre, at den er tilstrækkeligt beskyttet.

Men efterhånden som de førende AI-laboratorier fremskynder træningen og afprøvningen af nye AI-modeller med cyberkapacitet, skal de have forsvarerne for øje. Først og fremmest ved at hjælpe dem med hurtigere at opdage og reagere på trusler. Og endnu vigtigere ved at forhindre, at systemerne selv bliver trusler. Det ansvar indebærer også, at man accepterer udefrakommende granskning.

Uafhængig evaluering må ikke blive noget, virksomheder kun tager til sig, når den understøtter den fortælling, de ønsker at formidle. Hvis førende AI-systemer er kraftfulde nok til at ændre trusselsbilledet, bør deres sikkerhedsforanstaltninger være stærke nok til at modstå en grundig, uafhængig afprøvning.

AI-branchen ønsker vores tillid.

Som sikkerhedsprofessionel er jeg villig til at give den. Men først skal I vise mig sikkerhedsforanstaltningerne.