MIT-forskningsgrupp utvecklar AI-nätverk för att motstå adversariala exempel

En grupp forskare från MIT har utvecklat en deep-learningalgoritm som syftar till att hjälpa AI-system att hantera “adversariala” exempel, som kan orsaka att en AI gör felaktiga förutsägelser och utför felaktiga åtgärder. Algoritmen som utvecklats av MIT-gruppen kan hjälpa AI-system att upprätthålla sin noggrannhet och undvika att göra misstag när de möter förvirrande data.

AI-system analyserar indatafunktionerna för en händelse för att bestämma hur de ska svara på den händelsen. En AI som ansvarar för att manövrera ett autonomt fordon måste ta data från fordonets kameror och bestämma vad de ska göra baserat på de data som finns i dessa bilder. Men det finns en risk att de bilddata som analyseras av AI:n inte är en korrekt representation av den verkliga världen. En felaktighet i kameratsystemet kan ändra vissa pixlar, vilket leder till att AI:n drar felaktiga slutsatser om den lämpligaste kursen.

“Adversariala indata” är som optiska illusioner för ett AI-system. De är indata som förvirrar ett AI-system på något sätt. Adversariala indata kan skapas med det uttryckliga målet att orsaka att ett AI-system gör misstag, genom att representera data på ett sätt som gör att AI:n tror att innehållet i ett exempel är en sak istället för en annan. Till exempel är det möjligt att skapa ett adversarialt exempel för ett datorseende-system genom att göra små ändringar i bilder av katter, vilket orsakar att AI:n missklassificerar bilderna som datorskärmar. MIT-forskningsgruppen utvecklade en algoritm för att hjälpa till att skydda mot adversariala exempel genom att låta modellen upprätthålla en viss “skepsis” om de indata den tar emot.

MIT-forskarna kallade sin metod “Certified Adversarial Robustness for Deep Reinforcement Learning”, eller CARRL. CARRL består av ett förstärkt inlärningsnätverk och ett traditionellt djupt neuronnät som är kopplade till varandra. Förstärkt inlärning använder konceptet “belöningar” för att träna en modell, vilket ger modellen en proportionellt större belöning ju närmare den kommer att nå sitt mål. Det förstärkta inlärningsmodellen används för att träna ett Deep Q-Nätverk, eller DQN. DQN fungerar som traditionella neuronnät, men de associerar också indata-värden med en belöningsnivå, liknande förstärkt inlärningssystem.

CARRL fungerar genom att modellera en rad olika möjliga värden för indata.

Antag att AI:n försöker spåra positionen för en prick i en större bild, AI:n överväger att prickens position kan vara resultatet av den adversariala påverkan och överväger områden där prick kan vara istället. Nätverket fattar sedan beslut baserat på det sämsta scenariot för prickens position, och väljer den åtgärd som skulle producera den högsta belöningen i detta sämsta scenario.

Den typiska metoden för att skydda mot adversariala exempel innebär att man kör något ändrade versioner av indata-bilden genom AI-nätverket för att se om samma beslut alltid fattas. Om ändringar i bilden inte dramatiskt påverkar resultatet, finns det en god chans att nätverket är motståndskraftigt mot adversariala exempel. Men detta är inte en livskraftig strategi för scenarier där snabba beslut måste fattas, eftersom dessa är tidskrävande och beräkningsmässigt dyra metoder för testning. Av denna anledning satte MIT-gruppen ut att skapa ett neuronnät som kunde fatta beslut baserat på sämsta antaganden, ett som kunde fungera i scenarier där säkerhet är kritisk.

MIT-forskarna testade sina algoritmer genom att låta AI:n spela ett spel av Pong. De inkluderade adversariala exempel genom att mata AI:n med instanser där bollen visades något längre ner på skärmen än den faktiskt var. När påverkan av de adversariala exemplen ökade, började de standardkorrektiva teknikerna att misslyckas, medan CARRL kunde vinna fler spel i jämförelse. CARRL testades också på en kollisionsundvikande uppgift. Uppgiften utspelade sig i en virtuell miljö där två olika agenter försökte byta positioner utan att krocka med varandra. Forskningsgruppen ändrade den första agentens uppfattning om den andra agenten, och CARRL kunde framgångsrikt styra den första agenten runt den andra agenten, även i förhållanden med hög osäkerhet, även om det kom en punkt där CARRL blev för försiktig och undvek sin destination helt och hållet.

Oavsett, förklarade Michael Everett, en postdoktor vid MIT:s avdelning för aeronautik och astronautik, som ledde studien, att forskningen kunde ha implikationer för robotars förmåga att hantera oförutsägbara situationer. Som Everett förklarade via MIT News:

”Människor kan vara adversariala, som att stå framför en robot för att blockera dess sensorer, eller interagera med dem, inte nödvändigtvis med de bästa avsikterna”, säger Everett. ”Hur kan en robot tänka på alla saker som människor kan försöka göra, och försöka undvika dem? Vilken sorts adversariala modeller vill vi försvara oss mot? Det är något vi tänker på hur vi kan göra.”