MIT Research Team designer AI-nettverk for å motstå motstridende eksempler

Et team av forskere fra MIT hsom utviklet en dyplæringsalgoritme ment å hjelpe AI-er med å takle "motstridende" eksempler, som kan få en AI til å lage feil spådommer og utføre feil handlinger. Algoritmen designet av MIT-teamet kan hjelpe AI-systemer med å opprettholde nøyaktigheten og unngå å gjøre feil når de står overfor forvirrende datapunkter.

AI-systemer analyserer inngangsfunksjonene til en hendelse for å bestemme hvordan de skal svare på hendelsen. En AI som er ansvarlig for å manøvrere et autonomt kjøretøy, må ta data fra kjøretøyets kameraer og bestemme hva de skal gjøre basert på dataene i disse bildene. Imidlertid er det en sjanse for at bildedataene som analyseres av AI ikke er en nøyaktig representasjon av den virkelige verden. En feil i kamerasystemet kan endre noen av pikslene, noe som fører til at AI trekker uriktige konklusjoner om riktig handlingsforløp.

"Adversarielle innganger" er som optiske illusjoner for et AI-system. De er innganger som forvirrer en AI i en eller annen form. Motstridende input kan lages med det uttrykkelige målet å få en AI til å gjøre feil, ved å representere data på en måte som får AI til å tro at innholdet i et eksempel er én ting i stedet for en annen. For eksempel er det mulig å lage et motstridende eksempel for et datasynssystem ved å gjøre små endringer i bilder av katter, noe som får AI til å feilklassifisere bildene som dataskjermer. MIT-forskerteamet utviklet en algoritme for å hjelpe til med å beskytte mot motstridende eksempler ved å la modellen opprettholde en grad av "skepsis" til inputene den mottar.

MIT-forskerne kalte deres tilnærming "Certified Adversarial Robustness for Deep Reinforcement Learning," eller CARRL. CARRL er sammensatt av et forsterkende læringsnettverk og et tradisjonelt dypnevralt nettverk koblet sammen. Forsterkende læring bruker konseptet "belønning" for å trene en modell, og gir modellen proporsjonalt mer belønning jo nærmere den kommer til å nå målet. Forsterkningslæringsmodellen brukes til å trene en Deep Q-Netowrkk, eller DQN. DQN-er fungerer som tradisjonelle nevrale nettverk, men de forbinder også inngangsverdier med et nivå av belønning, omtrent som forsterkende læringssystemer.

CARRL opererer ved å modellere en rekke forskjellige mulige verdier for inngangsdata.

Forutsatt at AI-en prøver å spore posisjonen til en prikk i et større bilde, vurderer AI-en at punktets posisjon kan være et resultat av den motstridende påvirkningen og vurderer regioner der punktet kan være i stedet. Nettverket tar deretter beslutninger basert på det verste scenarioet for prikkens posisjon, og bestemmer seg for handlingen som vil gi den høyeste belønningen i dette verste tilfellet.

Den typiske metoden for å beskytte seg mot motstridende eksempler innebærer å kjøre litt endrede versjoner av inndatabildet gjennom AI-nettverket for å se om den samme avgjørelsen alltid blir tatt. Hvis endringer i bildet ikke påvirker resultatet dramatisk, er det en god sjanse for at nettverket er motstandsdyktig mot motstridende eksempler. Dette er imidlertid ikke en levedyktig strategi for scenarier der raske beslutninger må tas, da dette er tidkrevende, beregningsmessig dyre testmetoder. Av denne grunn satte MIT-teamet seg for å lage et nevralt nettverk som kunne ta beslutninger basert på verste fall, et som er i stand til å operere i scenarier der sikkerhet er kritisk.

MIT-forskerne testet algoritmene sine ved å la AI spille et spill Pong. De inkluderte motstridende eksempler ved å mate AI-forekomstene der ballen ble vist litt lenger ned på skjermen enn den faktisk var. Etter hvert som innflytelsen fra de motstridende eksemplene vokste, begynte standard korrigeringsteknikker å mislykkes mens CARRL var i stand til å vinne flere kamper til sammenligning. CARRL ble også testet på en kollisjonsunngåelsesoppgave. Oppgaven utspilte seg i et virtuelt miljø der to forskjellige agenter prøvde å bytte posisjon uten å støte på hverandre. Forskerteamet endret den første agentens oppfatning av den andre agenten og CARRL klarte å styre den første agenten rundt den andre agenten, selv under forhold med høy usikkerhet, selv om det kom et punkt der CARRL ble for forsiktig og endte opp med å unngå sin destinasjon totalt.

Uansett forklarte MIT Department of Aeronautics and Astronautics Postdoc Michael Everett, som leder studien, at forskningen kan ha implikasjoner for roboters evne til å håndtere uforutsigbare situasjoner. Som Everett forklarte via MIT News:

"Folk kan være motstandere, som å komme foran en robot for å blokkere sensorene, eller samhandle med dem, ikke nødvendigvis med de beste intensjoner," sier Everett. "Hvordan kan en robot tenke på alle tingene folk kan prøve å gjøre, og prøve å unngå dem? Hva slags motstridende modeller ønsker vi å forsvare oss mot? Det er noe vi tenker på hvordan vi skal gjøre.»