MIT-forskingsteam designet et AI-nettverk for å motstå adversarial eksempler

Et team av forskere fra MIT har utviklet en dyp-læringsalgoritme som er ment å hjelpe AI-systemer å håndtere “adversarial” eksempler, som kan forårsake at en AI tar feil beslutninger og utfører feil handlinger. Algoritmen designet av MIT-teamet kan hjelpe AI-systemer å opprettholde sin nøyaktighet og unngå å gjøre feil når de møter forvirrende datapunkter.

AI-systemer analyserer innputt-egenskapene til en hendelse for å bestemme hvordan de skal reagere på hendelsen. En AI som er ansvarlig for å manøvrere et selvstyringskjøretøy, må ta data fra kjøretøyets kameraer og bestemme hva de skal gjøre basert på dataene i disse bildene. Men det er en mulighet for at bildedataene som analyseres av AI-en, ikke er en nøyaktig representasjon av den virkelige verden. En feil i kamera-systemet kan endre noen av pikslene, noe som kan føre til at AI-en trekker feil konklusjoner om den riktige kursen.

“Adversarial innputt” er som optiske illusjoner for et AI-system. De er innputt som forvirrer et AI-system på en eller annen måte. Adversarial innputt kan være designet med det uttrykte målet å forårsake at en AI gjør feil, ved å representere data på en måte som gjør at AI-en tror at innholdet i et eksempel er en ting i stedet for en annen. For eksempel er det mulig å lage et adversarial eksempel for et datavisjonssystem ved å gjøre små endringer i bilder av katter, noe som kan føre til at AI-en mis klassifiserer bildene som datamaskin-skjermer. MIT-forskingsteamet designet en algoritme for å hjelpe å beskytte mot adversarial eksempler ved å la modellen opprettholde en viss “skeptisisme” om innputtene den mottar.

MIT-forskerne kalte sin tilnærming “Certified Adversarial Robustness for Deep Reinforcement Learning”, eller CARRL. CARRL består av et forsterkingslæringsnettverk og et tradisjonelt dyp nevralnettverk som er koblet sammen. Forsterkingslæring bruker konseptet “belønninger” for å trene en modell, og gir modellen proporsjonalt mer belønning jo nærmere den kommer til å nå sitt mål. Forsterkingslæringsmodellen brukes til å trene en Deep Q-Nettverk, eller DQN. DQN fungerer som tradisjonelle nevralnettverk, men de assosierer også innputtverdier med en belønning, på samme måte som forsterkingslæringsystemer.

CARRL opererer ved å modellere en rekke forskjellige mulige verdier for innputtdata.

Anta at AI-en prøver å spore posisjonen til en prikk innenfor et større bilde, AI-en antar at prikkens posisjon kan være resultatet av en adversarial påvirkning og vurderer områder hvor prikken kan være i stedet. Nettverket tar deretter beslutninger basert på worst-case-scenariet for prikkens posisjon, og velger handlingen som ville produsere den høyeste belønningen i dette worst-case-scenariet.

Den typiske metoden for å beskytte mot adversarial eksempler, innebærer å kjøre lett endrede versjoner av innputtbildet gjennom AI-nettverket for å se om samme beslutning alltid tas. Hvis endringer i bildet ikke dramatisk påvirker resultatet, er det en god sjanse for at nettverket er motstandsdyktig mot adversarial eksempler. Men dette er ikke en gjennomførbar strategi for scenarioer hvor rask beslutning er nødvendig, da disse er tidskrevende og komputasjonskrevende metoder for testing. Derfor satte MIT-teamet ut til å skape et nevralnettverk som kunne ta beslutninger basert på worst-case-antagelser, et nettverk som kunne operere i scenarioer hvor sikkerhet er kritisk.

MIT-forskerne testet sine algoritmer ved å la AI-en spille et spill av Pong. De inkluderte adversarial eksempler ved å mate AI-en instanser hvor ballen var vist litt lenger ned på skjermen enn den faktisk var. Etterhvert som påvirkningen av adversarial eksemplene økte, begynte standard-korrigeringsteknikkene å svikte, mens CARRL var i stand til å vinne flere spill i sammenligning. CARRL ble også testet på en kollisjonsunngåelse-oppgave. Oppgaven utspilte seg i en virtuell miljø hvor to forskjellige agenter prøvde å bytte plass uten å kollidere med hverandre. Forskingsteamet endret den første agentens persepsjon av den andre agenten, og CARRL var i stand til å suksessfullt styre den første agenten rundt den andre agenten, selv i tilfeller med høy usikkerhet, selv om det kom en punkt hvor CARRL ble for forsiktig og endte opp med å unngå sin destinasjon helt.

Uansett, forklarte Michael Everett, en postdoktor ved MITs avdeling for aeronautikk og astronautikk, som ledet studien, at forskningen kunne ha implikasjoner for evnen til roboter å håndtere uforutsigbare situasjoner. Som Everett forklarte via MIT News:

“Mennesker kan være adversarial, som å gå foran en robot for å blokkere dens sensorer, eller interagere med dem, ikke nødvendigvis med de beste intensjoner,” sier Everett. “Hvordan kan en robot tenke på alle ting mennesker kan prøve å gjøre, og prøve å unngå dem? Hva slags adversarial modeller ønsker vi å forsvare mot? Det er noe vi tenker på hvordan å gjøre.”