Vahid Behzadan, chef för Secured and Assured Intelligent Learning (SAIL) Lab – Intervjuserie

Vahid är biträdande professor i datavetenskap och dataanalys vid University of New Haven. Han är också chef för Secure and Assured Intelligent Learning (SAIL) Lab

Hans forskningsintressen omfattar säkerhet och säkerhet för intelligenta system, psykologisk modellering av AI-säkerhetsproblem, säkerhet för komplexa adaptiva system, spelteori, multi-agentsystem och cybersäkerhet.

Har du en omfattande bakgrund inom cybersäkerhet och att hålla AI säker. Kan du dela med dig av din resa om hur du blev intresserad av båda områdena?

Min forskningsbana har drivits av två kärnintressen: att ta reda på hur saker och ting fungerar och att lära mig om mekanismerna i den mänskliga hjärnan. Jag har varit aktivt engagerad i cybersäkerhet sedan mina tidiga tonår och byggde därför min tidiga forskningsagenda runt de klassiska problemen inom detta område. Några år in i mina doktorandstudier fick jag en sällsynt möjlighet att ändra mitt forskningsområde. Vid den tiden hade jag just kommit i kontakt med de tidiga arbetena av Szegedy och Goodfellow om adversarial exempelattacker och fann idén om att attackera maskinlärning mycket intressant. När jag granskade detta problem närmare lärde jag mig om det mer allmänna området AI-säkerhet och säkerhet och fann att det omfattade många av mina kärnintressen, såsom cybersäkerhet, kognitiv vetenskap, ekonomi och filosofi. Jag kom också att tro att forskning inom detta område inte bara är fascinerande, utan också avgörande för att säkerställa de långsiktiga fördelarna och säkerheten för AI-revolutionen.

Du är chef för Secure and Assured Intelligent Learning (SAIL) Lab som arbetar med att lägga konkreta grunder för säkerhet och säkerhet för intelligenta maskiner. Kan du gå in på några detaljer om arbetet som utförs av SAIL?

På SAIL arbetar mina studenter och jag med problem som ligger i skärningspunkten mellan säkerhet, AI och komplexa system. Det primära fokuset för vår forskning är att undersöka säkerheten och säkerheten för intelligenta system, både från teoretiska och tillämpade perspektiv. På den teoretiska sidan undersöker vi för närvarande värde-utrustningsproblemet i multi-agentsammanhang och utvecklar matematiska verktyg för att utvärdera och optimera målen för AI-agenter i fråga om stabilitet och robusta utrustningar. På den praktiska sidan undersöker några av våra projekt säkerhetsriskerna för de senaste AI-teknologierna, såsom autonoma fordon och algoritmisk handel, och syftar till att utveckla tekniker för att utvärdera och förbättra motståndskraften hos sådana teknologier mot adversarialattacker.

Vi arbetar också med tillämpningar av maskinlärning inom cybersäkerhet, såsom automatiserad penetrationstestning, tidig upptäckt av intrångsförsök och automatiserad insamling och analys av hotinformation från öppna datakällor som sociala medier.

Du ledde nyligen en insats för att föreslå modellering av AI-säkerhetsproblem som psykopatologiska störningar. Kan du förklara vad detta är?

Detta projekt behandlar den snabbt växande komplexiteten hos AI-agenter och system: det är redan mycket svårt att diagnostisera, förutsäga och kontrollera osäkra beteenden hos förstärkt inlärningagenter i icke-triviala inställningar genom att bara titta på deras lågnivåkonfigurationer. I detta arbete betonar vi behovet av högre abstraktionsnivåer för att undersöka sådana problem. Inspirerade av de vetenskapliga tillvägagångssätten för beteendeproblem hos människor föreslår vi psykopatologi som en användbar hög abstraktionsnivå för modellering och analys av emergent skadliga beteenden i AI och AGI. Som ett bevis på konceptet studerar vi AI-säkerhetsproblemet med belöningshacking i en RL-agent som lär sig att spela det klassiska spelet Snake. Vi visar att om vi lägger till ett “drog”-frö i miljön lär sig agenten ett underoptimalt beteende som kan beskrivas via neurovetenskapliga modeller för beroende. Detta arbete föreslår också kontrollmetoder baserade på behandlingsmetoder som används inom psykiatri. Till exempel föreslår vi användningen av artificiellt genererade belöningsignaleringar som analoger till läkemedelsbehandling för att modifiera det skadliga beteendet hos agenter.

Har du några farhågor om AI-säkerhet när det gäller autonoma fordon?

Autonoma fordon blir allt mer framträdande exempel på att använda AI i cyber-fysiska system. Med tanke på den grundläggande sårbarheten hos nuvarande maskinlärningsteknologier för misstag och adversarialattacker är jag djupt oroad över säkerheten och säkerheten för även semi-autonoma fordon. Dessutom lider fältet autonomous körning av en allvarlig brist på säkerhetsstandarder och utvärderingsprotokoll. Men jag förblir hoppfull. Liksom naturlig intelligens kommer AI också att vara benägen att göra misstag. Men målet med självkörande bilar kan fortfarande uppfyllas om frekvensen och påverkan av sådana misstag görs lägre än de hos mänskliga förare. Vi ser en växande ansträngning för att hantera dessa frågor inom industrin och akademin, liksom regeringarna.

Hacking av vägskyltar med klistermärken eller med andra medel kan förvirra datorseende-modulen i ett autonomt fordon. Hur stort problem tror du att detta är?

De här klistermärkena och adversarial exempel i allmänhet ger upphov till grundläggande utmaningar i robustheten hos maskinlärningsmodeller. För att citera George E. P. Box: “alla modeller är fel, men vissa är användbara”. Adversarial exempel utnyttjar detta “fel” hos modellerna, som beror på deras abstrakta natur, samt begränsningarna hos de prover som de tränas på. Nya ansträngningar inom området adversarial maskinlärning har resulterat i enorma framsteg mot att öka motståndskraften hos djupa lärningsmodeller mot sådana attacker. Ur ett säkerhetsperspektiv kommer det alltid att finnas ett sätt att lura maskinlärningsmodeller. Men det praktiska målet med att säkra maskinlärningsmodeller är att öka kostnaden för att implementera sådana attacker till den punkt där de blir ekonomiskt ogenomförbara.

Din fokus ligger på säkerhets- och säkerhetsfunktionerna för både djupinlärning och djup förstärkt inlärning. Varför är detta så viktigt?

Reinforcement Learning (RL) är den främsta metoden för att tillämpa maskinlärning på kontrollproblem, som per definition innebär manipulation av deras miljö. Därför tror jag att system som baseras på RL har betydligt högre risker för att orsaka stora skador i den verkliga världen jämfört med andra maskinlärningsmetoder som klassificering. Detta problem förvärras ytterligare med integrationen av djupinlärning i RL, som möjliggör antagandet av RL i högt komplexa inställningar. Dessutom är det min åsikt att RL-ramverket är nära relaterat till de underliggande mekanismerna för kognition i mänsklig intelligens, och att studera dess säkerhet och sårbarhet kan leda till bättre insikter i gränserna för beslutsfattande i våra sinnen.

Tror du att vi är nära att uppnå Artificiell Allmän Intelligens (AGI)?

Detta är en notoriskt svår fråga att besvara. Jag tror att vi för närvarande har byggnadsblocken för vissa arkitekturer som kan underlätta uppkomsten av AGI. Men det kan ta några fler år eller decennier att förbättra dessa arkitekturer och förbättra kostnadseffektiviteten för utbildning och underhåll av dessa arkitekturer. Under de kommande åren kommer våra agenter att växa mer intelligenta i en snabbt växande takt. Jag tror inte att uppkomsten av AGI kommer att tillkännages i form av en [vetenskapligt giltig] rubrik, utan som ett resultat av gradvis framsteg. Dessutom tror jag att vi fortfarande inte har en allmänt accepterad metodik för att testa och upptäcka existensen av en AGI, och detta kan fördröja vår förståelse av de första exemplen på AGI.

Hur kan vi upprätthålla säkerhet i ett AGI-system som kan tänka för sig själv och som sannolikt kommer att vara exponentiellt mer intelligent än människor?

Jag tror att den förenade teorin om intelligent beteende är ekonomi och studiet av hur agenter agerar och interagerar för att uppnå vad de vill. Besluten och handlingarna hos människor bestäms av deras mål, deras information och de tillgängliga resurserna. Samhällen och samarbetsinsatser är emergent från dess fördelar för enskilda medlemmar i sådana grupper. Ett annat exempel är den straffrättsliga koden, som avskräcker vissa beslut genom att fästa en hög kostnad vid handlingar som kan skada samhället. På samma sätt tror jag att kontrollen av incitamenten och resurserna kan möjliggöra uppkomsten av en jämviktstillstånd mellan människor och instanser av AGI. För närvarande undersöker AI-säkerhetsgemenskapen denna tes under paraplyet för värde-utrustningsproblem.

En av de områden du följer noga är motverkande av terrorism. Har du farhågor om att terrorister tar över AI- eller AGI-system?

Det finns många farhågor om missbruk av AI-teknologier. I fallet med terroristoperationer är den största farhågan hur lätt det är för terrorister att utveckla och genomföra autonoma attacker. Många av mina kollegor varnar aktivt mot riskerna med att utveckla autonoma vapen (se https://autonomousweapons.org/ ). Ett av de största problemen med AI-aktiverade vapen är svårigheten att kontrollera den underliggande teknologin: AI är i framkanten av öppen källkods-forskning, och vem som helst med tillgång till internet och konsumentklassens hårdvara kan utveckla skadliga AI-system. Jag misstänker att uppkomsten av autonoma vapen är oundviklig, och tror att det snart kommer att finnas ett behov av nya tekniska lösningar för att motverka sådana vapen. Detta kan leda till en katt-och-mus-lek som driver utvecklingen av AI-aktiverade vapen, vilket kan ge upphov till allvarliga existentiella risker på lång sikt.

Vad kan vi göra för att hålla AI-system säkra från dessa adversariala agenter?

Det första och viktigaste steget är utbildning: alla AI-ingenjörer och praktiker måste lära sig om sårbarheterna hos AI-teknologier och överväga de relevanta riskerna i designen och implementeringen av sina system. Vad gäller mer tekniska rekommendationer finns det olika förslag och lösningkoncept som kan användas. Till exempel kan utbildning av maskinlärningsagenter i adversariala inställningar förbättra deras motståndskraft och robusthet mot undvikande- och policy-manipulationsattacker (t.ex. se min artikel med titeln “Whatever Does Not Kill Deep Reinforcement Learning, Makes it Stronger“). Ett annat lösning är att direkt ta hänsyn till risken för adversariala attacker i arkitekturen för agenten (t.ex. Bayesian-ansatser för riskmodellering). Det finns dock ett stort gap i detta område, och det är behovet av universella mått och metoder för att utvärdera motståndskraften hos AI-agenter mot adversariala attacker. Nuvarande lösningar är mestadels ad hoc och lyckas inte med att ge allmänna mått på robusthet mot alla typer av attacker.

Finns det något annat du vill dela om något av dessa ämnen?

2014 publicerade Scully et al. en artikel på NeurIPS-konferensen med ett mycket upplysande ämne: “Machine Learning: The High-Interest Credit Card of Technical Debt“. Även med alla framsteg inom området under de senaste åren har denna uttalande ännu inte förlorat sin giltighet. Nuvarande tillstånd för AI och maskinlärning är ingenting annat än imponerande, men vi har fortfarande inte fyllt ett betydande antal stora luckor i både grundläggande och ingenjörsdimensioner av AI. Detta faktum är, enligt min mening, den viktigaste slutsatsen från vår konversation. Jag menar naturligtvis inte att avskräcka den kommersiella antagandet av AI-teknologier, men bara att möjliggöra för ingenjörssamhället att ta hänsyn till riskerna och begränsningarna hos nuvarande AI-teknologier i deras beslut.

Jag njöt verkligen av att lära mig om säkerhets- och säkerhetsutmaningarna för olika typer av AI-system. Detta är verkligen något som individer, företag och regeringar behöver bli medvetna om. Läsare som vill lära sig mer kan besöka Secure and Assured Intelligent Learning (SAIL) Lab.