AI-branschen vill ha vårt förtroende, men först måste den införa bättre kontroller

Inom säkerhetsarbete väntar vi inte tills något går fel med att ta reda på om våra kontroller fungerar. Vi testar dem. Vi sätter dem på prov. Vi utgår från att någon förr eller senare kommer att hitta den svaghet vi missade.

Det är grundkursen i säkerhet.

Varför skulle då de mest avancerade AI-systemen bedömas enligt en annan standard?

I takt med att AI-system blir mer autonoma och får större tillgång till system i den verkliga världen ser vi något som borde oroa alla som har arbetat med cybersäkerhet ur ett försvarsperspektiv: förmågan utvecklas snabbare än kontrollen.

Och snabbhet är ingen ursäkt för svagare säkerhet. Det är just därför vi behöver starkare säkerhet.

En nyligen genomförd granskning av den ideella organisationen Guidelight AI undersökte offentligt tillgängliga belägg för AI-kontrollrutiner hos Anthropic, Google, Meta, OpenAI och xAI. Ingen av dem fick högre än C+ i totalbetyg.

Det betyder inte att de här företagen är vårdslösa. Det betyder inte heller att det saknas ytterligare kontroller bakom stängda dörrar.

Men säkerhetsarbete bygger inte på antaganden. Om vi förväntas lita på allt kraftfullare system bör vi kräva belägg för att kontrollerna kring dem klarar samma granskning som vi skulle kräva på alla andra områden.

Sluta behandla säkerhetsbrister som intressanta historier

När en AI-agent beter sig oväntat, får tillgång till något den inte borde eller blottlägger en svaghet brukar fokus hamna på vad tekniken gjorde.

Det är intressant.

Men det är inte den viktigaste frågan.

En säkerhetsspecialist vill veta: Loggades aktiviteten? Såg någon vad som hände? Krävdes särskilt godkännande för riskfyllda åtgärder? Kunde någon stoppa systemet? Fanns det en plan för att begränsa skadan, och hade någon testat den?

De här frågorna är inte unika för AI. Det är frågor vi har ställt inom cybersäkerhet i åratal.

Ändå verkar förebyggande åtgärder och skadebegränsning fortfarande vara svaga punkter i det framväxande kontrollarbetet kring de mest avancerade AI-systemen. Det finns få offentligt tillgängliga belägg för åtgärder som kräver godkännande, nödbromsar och akut skadebegränsning.

Det borde väga tyngre än hur ovanlig incidenten är. När något går fel vill jag veta vad som brast, vad som hindrade situationen från att förvärras och vad som ändrades efteråt.

Öppenhet är värdefullt. Att dra lärdomar är ännu bättre.

Det verkliga säkerhetsproblemet med AI är snabbheten

Jag tror inte att det största hotet på kort sikt är att AI plötsligt uppfinner en helt ny typ av cyberattack. Det större problemet är mycket mer praktiskt: AI kan göra de attacker vi redan känner till mycket snabbare.

Forskning som tidigare tog timmar kan genomföras på några minuter. Angreppstekniker kan kombineras snabbare. Sårbarheter kan identifieras och utnyttjas innan en säkerhetsprocess med människan i centrum ens har hunnit till sitt första eskaleringssamtal.

Det är ett problem eftersom en stor del av dagens säkerhetsinfrastruktur fortfarande utgår från att det finns tid att agera.

Ibland gör det inte det.

Om en attack utvecklas snabbt kan en process som bygger på ärenden, möten, godkännanden och manuell eskalering bli föråldrad innan någon ens har hunnit till steg tre.

Och där har AI-branschen en del att göra.

Om ledande AI-labb förväntar sig att företag ska tänka om kring insyn, sårbarhetshantering, arkitektur och incidenthantering inför AI-eran bör de visa att de själva har gjort detsamma.

”Lita på oss” är inget ramverk för säkerhetskontroller

Jag har arbetat med säkerhetstester under hela min karriär, och en princip håller anmärkningsvärt väl: goda avsikter bevisar inte att något är säkert. Det gör belägg.

• Man testar.
• Man övervakar.
• Man försöker få saker att fallera.

Man tar reda på vad som händer när kontrollerna inte fungerar som arkitekturdiagrammet säger att de ska. Och man ser till att någon har befogenhet att stoppa systemet när det behövs. Samma standard bör gälla för de mest avancerade AI-systemen.

Det innebär att kontrollerna testas adversariellt, att det finns mätbara belägg för att de fungerar och att det finns tydliga befogenheter att stänga av system när något går fel.

Det innebär också att tänka om kring skadebegränsning.

Ledande AI-labb kan inte improvisera fram skadebegränsning efter att en AI-agent har agerat utanför sina avsedda ramar. När de tränar och testar allt mer kapabla modeller måste de ta ansvar för de handlingar som systemen kan utföra. Det kräver rigorösa adversariella tester, skyddsåtgärder som godkänts i förväg, tydliga gränser för agenternas befogenheter och beprövade sätt att ingripa eller stänga av ett system innan en incident sprider sig.

Mänskligt omdöme är fortfarande viktigt. Men de labb som utvecklar systemen måste fastställa gränserna, testa om de håller och ta ansvar när de inte gör det.

Deras ansvar är inte bara att visa vad en agent kan göra. De måste visa att agenten kan arbeta säkert, att dess beteende går att kontrollera och att nya förmågor gör världen säkrare, inte mindre säker.

Förtroende måste förtjänas

Jag hävdar inte att vi ska bromsa AI-innovation till krypfart. Jag menar att säkerheten måste hålla jämna steg med den. Om vi investerar enorma resurser i att göra AI mer kapabel måste vi visa lika stor brådska när det gäller att göra den mer motståndskraftig mot angrepp.

Men när de främsta AI-laboratorierna påskyndar träningen och testningen av nya AI-modeller med cyberförmågor måste de ha försvararnas behov i åtanke. För det första genom att hjälpa dem att snabbare upptäcka och reagera på hot. Ännu viktigare är att se till att systemen inte själva blir hot. Det ansvaret kräver också att de accepterar granskning utifrån.

Oberoende granskning får inte bli något som företag bara välkomnar när den stöder den berättelse de vill föra fram. Om avancerade AI-system är tillräckligt kraftfulla för att förändra hotbilden måste deras skyddsåtgärder vara tillräckligt robusta för att tåla en meningsfull oberoende granskning.

AI-branschen vill ha vårt förtroende.

Som säkerhetsspecialist är jag beredd att ge den mitt förtroende. Men först vill jag se skyddsåtgärderna.