Tankeledare

Agenter som attacker: Lektioner från kycklingar, katter och jättevombater

mm
Lägg till Unite.AI bland dina föredragna källor på Google

AI som den översta rovdjuret i utvecklingsvärlden

Evolutionär press: En snabb introduktion

Innan vi dyker in i köttet av detta finns det ett par begrepp som är värda att etablera. Det första är evolutionär press.

Evolution är inte ett val. Djur väljer inte att utvecklas på ett visst sätt — deras miljö tvingar dem till det, eller deras miljö eliminerar dem. Så när vi pratar om hur ett djur har utvecklats, eller varför det existerar som det gör idag, pratar vi inte om en serie medvetna beslut. Vi pratar om slumpmässiga mutationer och miljöpress som har drivit en art i en viss riktning.

För tillfället går programvaruföretag igenom en liknande evolutionär ögonblick. AI-system som kan identifiera sårbarheter, generera exploater och accelerera cyberattacker på egen hand är förändrar trycket som utvecklare och säkerhetsteam arbetar under.

AI skapar nu samma sorts miljöpress för programvaruföretag. Modeller som kan upptäcka sårbarheter, generera exploater och automatisera attacker på stor skala är förändrar säkerhetslandskapet mycket snabbare än de flesta organisationer är beredda på.

Den specifika evolutionära pressen jag vill prata om är den översta rovdjuret på jorden just nu: människor. Och hur tre mycket olika djur svarade på den pressen.

Vem gjorde det sämst: Jättevombaten eller kycklingen?

Jättevombaten

Jättevombaten — jag är blank på det exakta namnet, men den levde i Australien — vägde omkring 6 000 pund. Innan människor anlände var Australien en grönskande, grön, nästan paradisisk plats. Önskar att vi aldrig hade rört vid den. Dessa enorma vombater levde i stort sett ostörda. Vissa rovdjur tog ibland ner en, men med tanke på deras enorma storlek, matens överflöd och deras förmåga att reproducera sig, höll de sin egen mot allt som kontinenten kunde kasta mot dem.

Sedan anlände människor.

En couple of saker hände omedelbart. Först såg människor denna enorma källa till protein som kunde mata en grupp i veckor — längre, om de kunde bevara köttet. Andra började avverka skogarna som vombaten var beroende av, antingen genom att hugga ner träd för ved eller genom att bränna hela områden för att driva ut djur i det öppna där de kunde dödas. Människor är exceptionellt bra på denna sorts koordinerade, effektiva förstöring.

På en mycket kort tid — geologiskt sett, praktiskt taget över natten — avverkade människor stora delar av kontinenten och jagade den sista jättevombaten till utdöende.

Det är värt att notera att inte alla australiska djur dog ut. Kängurun, små vombater, koalor och andra överlevde — för att de var tillräckligt små, tillräckligt snabba eller tillräckligt anpassningsbara för att stanna utanför räckhåll. När européerna anlände hade kontinenten formats till något hårt och oförlåtligt. En mindre mänsklig befolkning, robust och anpassad till extrema förhållanden. Djur som antingen var mycket små, mycket dödliga eller båda. Som de säger: allt i Australien försöker döda dig.

Det är version ett.

Kycklingen

Nu, på sitt sätt, är kycklingen förmodligen det mest framgångsrika landlevande djuret på jorden. Ungefär 70% av den totala fågelbiomassan på planeten är domesticerad kyckling. Det finns till och med områden där kycklingar har blivit vilda — på öar där de inte har några naturliga rovdjur, som Caymanöarna — och de har trivts.

Kycklingar utvecklades till något som människor finner oerhört användbart: de reproducerar sig snabbt, de växer snabbt, de producerar ägg. Människor matar dem, skyddar dem och uppmuntrar dem att föröka sig. Med nästan alla mått på biologisk framgång — populationens storlek, geografisk spridning, tillgång till resurser — är kycklingen vinnaren.

Förutom, naturligtvis, delen där vi äter dem.

Så kycklingen lyckades genom att bli den perfekta maten. Det är inte ingenting. Men det finns ett tak för den sortens framgång.

Katten: Rätt svaret

Det finns ett djur som, jag skulle hävda, fick det här nästan exakt rätt.

Katten.

Katter är inte översta rovdjur. De dominerar inte människor eller jagar dem. Men istället för att krossas av den mänskliga expansionen eller underkasta sig mänskliga aptiter, gjorde de något annat: de samutvecklades med oss. De gjorde sig användbara genom att jaga råttor och småfåglar som drogs till mänskliga bosättningar och, någonstans på vägen, gjorde de sig önskade. De blev kamrater.

Resultatet? Katter reproducerar sig snabbt. De har rikliga matkällor, antingen som husdjur eller som opportunistiska jägare runt mänsklig bosättning. De möter få allvarliga rovdjur. De är överallt där människor är.

Och igen, detta var inte ett val de gjorde. Det var inte en strategi. Det var bara hur evolutionär press spelade ut. Men resultatet är anmärkningsvärt: istället för att kämpa mot den översta rovdjuret, eller mata den översta rovdjuret, vänner de den översta rovdjuret.

Vad detta har att göra med AI

Så varför spelar detta någon roll?

Ankomsten av modeller som Anthropics Mythos och Project Glass Wing är, jag skulle hävda, motsvarigheten till den dag då människor landade i Australien. Förutom att tidsplanen är komprimerad dramatiskt. Vad som tog generationer att spela ut på den kontinenten kommer att hända på år — kanske mindre.

Det finns mycket skrivande just nu om hur säkerhetsteam bör svara på hotet från AI-aktiverade hackerattacker. Jag tycker att den ramen är ett misstag. Detta är inte primärt ett säkerhetsproblem. Det är ett utvecklingsproblem.

Här är vad som förändras: före denna nya våg av AI opererade både försvarare och angripare i en värld med relativt begränsade insatser. Attacker hände. Dataintrång hände. Men takten och sofistikeringen var begränsade av mänsklig kapacitet. Det har grundläggande förändrats. Nu finns det AI-modeller som är specifikt utformade för att hitta och utnyttja sårbarheter på egen hand, i stor skala, utan trötthet.

De flesta utvecklingsteam är jättevombaten i den här historien. De har levt i en miljö där ja, det fanns hot, men ingenting riktigt som detta. De byggde system som var rimligt säkra mot de tryck de faktiskt mötte. De hade inte mött något som det som är på väg.

Det är på väg att förändras.

De tre alternativen — och varför bara ett fungerar

När detta nya hot anländer kommer organisationer att i princip ha tre val:

  1. Vara jättevombaten. Anpassa dig inte. Utrotas. Detta kommer att hända med många företag. Vissa kommer aldrig att komma tillbaka.
  2. Vara kycklingen. Bli reaktiv, skyndande för att laga varje ny sårbarhet som dyker upp. Detta är “dra ut spjutet och behandla såret”-tillvägagångssättet. Det är bättre än ingenting, men när det finns 45 spjut som kommer mot dig från alla håll, kommer den färdigheten inte att rädda dig. Du är fortfarande mat; du är bara långsammare att nå bordet.
  3. Vara katten. Grundläggande förändra din relation med hotet. Använd AI för att försvara mot AI. Införliva säkerhet i utveckling från grunden. Designa system som antar att en intrång sker — inte hoppas på att förhindra det.

Målet är inte att anställa fler säkerhetsanalytiker för att patrullera periferin. Det är att försöka skydda elefanterna på savannen. Det fungerar inte mot den här sortens hot. Målet är att omforma savannen.

Vad “att bli katten” faktiskt ser ut som

Detta är inte ytlig arbete. Det är inte att köra en AI-säkerhetsskanner på din kodbas en gång i kvartalet. Det kräver en omprövning av hur utveckling görs.

Praktiskt sett betyder det saker som:

  • Enklare kodbas som är lättare att resonera om och granska
  • Att dra från bibliotek med kända, granskade säkerhetsattityder
  • Att bygga infrastruktur på antagandet att en intrång sker — inte hoppas på att förhindra det — och göra det så svårt som möjligt för en illvillig aktör att röra sig lateralt en gång de är inne
  • Att vänja sig med rovdjuret genom att utnyttja det på samma sätt som angriparen. AI-modeller kan förstärka utvecklingsteam och säkerhetsteam för att utveckla sina försvar och komma före kurvan.

Företag som grundas imorgon har en ren tavla. De kan bygga på det sättet från dag ett. Företag som redan existerar, med kunder, med känsliga data, med levande system, har inte den lyxen. De måste börja omvandla nu.

Uppmaningen till handling

Anthropic har sagt detta själva: det kommer att finnas en uppgörelse. Det kommer att finnas ekonomisk och samhällelig störning från AI-aktiverade attacker. Vissa företag kommer inte att överleva. De kommer att komprometteras av människor som använder dessa verktyg, och de kommer aldrig att återhämta sig fullständigt. Det kommer att hända.

Så här är meddelandet: börja nu.

Utveckling och säkerhet behöver sitta i samma rum. Gå igenom hotlandskapet tillsammans. Bygg en gemensam vägkarta. En där det primära arbetet görs av utvecklingsteam och designteam, validerat av säkerhet, inte tvärtom. Säkerhet kan inte leda detta. Säkerhet kan kontrollera arbetet. Men den grundläggande förändringen måste komma från de människor som bygger systemen.

De företag som börjar denna process idag kommer inte alla att lyckas. Men de kommer att ha skapat förutsättningarna för överlevnad. Och i den miljö som är på väg, är det det bästa någon av oss kan göra.

Var katten.

Adam Arellano är Field Chief Technology Officer (CTO) på Harness där han tillhandahåller partnerskap och vägledning till kunder och branschen i stort om API- och applikationssäkerhet. Han är välkänd som en progressiv och uppfinningsrik teknisk chef som erbjuder över 15 års framgång i att främja målorienterade initiativ med fokus på moln, AI och informations säkerhetsinnovation.