MIT-forskningshold designer AI-netværk til at modstå adversarial eksempler

Et hold af forskere fra MIT har udviklet en dyb-læringsalgoritme med det formål at hjælpe AI’er med at håndtere “adversarial” eksempler, som kan få en AI til at træffe forkerte beslutninger og udføre forkerte handlinger. Algoritmen, der er designet af MIT-holdet, kan hjælpe AI-systemer med at fastholde deres nøjagtighed og undgå at træffe fejl, når de konfronteres med forvirrende data.

AI-systemer analyserer input-egenskaberne af en begivenhed for at afgøre, hvordan de skal reagere på den pågældende begivenhed. En AI, der er ansvarlig for at manøvrere en selvstyrende bil, må tage data fra bilens kameraer og afgøre, hvad den skal gøre på baggrund af de data, der er indeholdt i disse billeder. Der er dog en chance for, at billeddataene, der analyseres af AI’en, ikke er en præcis repræsentation af den virkelige verden. En fejl i kamera-systemet kan ændre nogle af pixelene, hvilket får AI’en til at træffe forkerte konklusioner om den rette kurs.

“Adversarial inputs” er som optiske illusioner for et AI-system. De er inputs, der forvirrer en AI på en eller anden måde. Adversarial inputs kan være designet med det formål at få en AI til at træffe fejl ved at repræsentere data på en måde, der får AI’en til at tro, at indholdet af et eksempel er noget andet end det faktiske. For eksempel kan det være muligt at skabe et adversarial eksempel for et computer-vision-system ved at lave små ændringer i billeder af katte, hvilket får AI’en til at mis-klassificere billederne som computer-skærme. MIT-forskningsholdet designede en algoritme til at hjælpe med at beskytte mod adversarial eksempler ved at lade modellen fastholde en vis grad af “skepsis” over for de inputs, den modtager.

MIT-forskerne kaldte deres tilgang “Certified Adversarial Robustness for Deep Reinforcement Learning” eller CARRL. CARRL består af et reinforcement learning-netværk og et traditionelt dybt neuralt netværk, der er forbundet. Reinforcement learning bruger konceptet “belønninger” til at træne en model, hvor modellen får en belønning, der er proportional med, hvor tæt den kommer på at ramme sit mål. Reinforcement learning-modellen bruges til at træne et Deep Q-Netværk, eller DQN. DQN’er fungerer som traditionelle neurale netværk, men de associerer også input-værdier med en belønningsniveau, ligesom reinforcement learning-systemer.

CARRL fungerer ved at modellere en række forskellige mulige værdier for input-data.

Under antagelse af, at AI’en forsøger at spore positionen af en prik inden for et større billede, overvejer AI’en, at prikkens position kan være resultatet af en adversarial indflydelse, og overvejer områder, hvor prikken kunne være i stedet. Netværket træffer herefter beslutninger på baggrund af den værste scenarie for prikkens position, og fastholder den handling, der ville producere den højeste belønning i denne værste scenarie.

Den typiske metode til at beskytte mod adversarial eksempler indebærer at køre lidt ændrede versioner af input-billedet gennem AI-netværket for at se, om den samme beslutning altid træffes. Hvis ændringerne i billedet ikke dramatisk påvirker udfaldet, er der en god chance for, at netværket er robust over for adversarial eksempler. Dette er dog ikke en viable strategi i scenarier, hvor hurtige beslutninger skal træffes, da disse er tidskrævende og computermæssigt dyre metoder til test. Derfor satte MIT-holdet sig for at skabe et neuralt netværk, der kunne træffe beslutninger på baggrund af værste-scenarie-antagelser, et netværk, der kan fungere i scenarier, hvor sikkerhed er kritisk.

MIT-forskerne testede deres algoritmer ved at lade AI’en spille et spil Pong. De inkluderede adversarial eksempler ved at fodre AI’en med eksempler, hvor bolden blev vist lidt længere nede på skærmen, end den faktisk var. Da indflydelsen af de adversarial eksempler voksede, begyndte de standard-korrigeringsteknikker at fejle, mens CARRL kunne vinde flere spil i sammenligning. CARRL blev også testet på en kollisions-undgåelsesopgave. Opgaven udspillede sig i en virtuel miljø, hvor to forskellige agenter forsøgte at skifte plads uden at støde ind i hinanden. Forskningsholdet ændrede den første agents perception af den anden agent, og CARRL kunne succesfuldt styre den første agent rundt om den anden agent, selv i tilfælde af høj usikkerhed, selv om der kom et punkt, hvor CARRL blev for forsigtig og endte med at undgå sin destination helt.

Uanset hvad, forklarede MIT’s afdeling for aeronautik og astronautik, postdoc Michael Everett, der ledede studiet, at forskningen kunne have implikationer for robotters evne til at håndtere uforudsigelige situationer. Som Everett forklarede via MIT News:

“Mennesker kan være adversarial, som at stille sig foran en robot for at blokere dens sensorer, eller interagere med dem, ikke nødvendigvis med de bedste intentioner,” siger Everett. “Hvordan kan en robot tænke på alle de ting, mennesker måske vil prøve at gøre, og prøve at undgå dem? Hvad slags adversarial modeller vil vi gerne forsvare os imod? Det er noget, vi tænker over, hvordan vi kan gøre.”