MIT-onderzoeksteam ontwikkelt AI-netwerk om te weerstaan aan tegenwerkende voorbeelden

Een team van onderzoekers van het Massachusetts Institute of Technology (MIT) heeft een dieplerende algoritme ontwikkeld dat bedoeld is om AI-systemen te helpen omgaan met “tegenwerkende” voorbeelden, die een AI kunnen doen besluiten om de verkeerde voorspellingen te doen en de verkeerde acties te ondernemen. Het algoritme, ontwikkeld door het MIT-team, kan helpen om AI-systemen nauwkeurig te houden en fouten te voorkomen wanneer ze worden geconfronteerd met verwarrende datapunten.

AI-systemen analyseren de invoerkenmerken van een gebeurtenis om te beslissen hoe ze op die gebeurtenis moeten reageren. Een AI die verantwoordelijk is voor het besturen van een autonome voertuig, moet gegevens van de camera’s van het voertuig analyseren en beslissen wat te doen op basis van de gegevens in die beelden. Echter, er is een kans dat de beeldgegevens die door de AI worden geanalyseerd, geen accurate weergave van de werkelijke wereld zijn. Een storing in het camerasysteem kan enkele pixels veranderen, waardoor de AI verkeerde conclusies trekt over de juiste koers van actie.

“Tegenwerkende invoer” zijn als optische illusies voor een AI-systeem. Ze zijn invoer die een AI op de een of andere manier in de war brengen. Tegenwerkende invoer kunnen speciaal worden gemaakt om een AI te doen fouten maken, door gegevens op een manier weer te geven die de AI doet geloven dat de inhoud van een voorbeeld iets anders is dan het eigenlijk is. Bijvoorbeeld, het is mogelijk om een tegenwerkend voorbeeld te maken voor een computerschouwsysteem door kleine veranderingen aan te brengen in beelden van katten, waardoor de AI de beelden verkeerd classificeert als computerschermen. Het MIT-onderzoeksteam ontwierp een algoritme om tegenwerkende voorbeelden te weerstaan door het model een zekere mate van “scepsis” over de invoer te laten behouden.

De MIT-onderzoekers noemden hun benadering “Certified Adversarial Robustness for Deep Reinforcement Learning”, of CARRL. CARRL bestaat uit een versterkingsleer-netwerk en een traditioneel diep neuronaal netwerk dat samen zijn verbonden. Versterkingsleer gebruikt het concept van “beloningen” om een model te trainen, waarbij het model evenredig meer beloning krijgt naarmate het dichter bij zijn doel komt. Het versterkingsleer-model wordt gebruikt om een Deep Q-Netwerk, of DQN, te trainen. DQNs functioneren als traditionele neurale netwerken, maar ze associëren ook invoerwaarden met een niveau van beloning, net zoals versterkingsleer-systemen.

CARRL werkt door een reeks verschillende mogelijke waarden voor invoergegevens te modelleren.

Als we aannemen dat de AI probeert de positie van een stip in een groter beeld te volgen, overweegt de AI dat de positie van de stip het resultaat kan zijn van de tegenwerkende invloed en overweegt gebieden waar de stip in plaats daarvan kan zijn. Het netwerk neemt vervolgens beslissingen op basis van het worst-case-scenario voor de positie van de stip, en kiest de actie die de hoogste beloning zou opleveren in dit worst-case-scenario.

De typische methode om tegenwerkende voorbeelden te weerstaan, is om licht gewijzigde versies van het invoerbeeld door het AI-netwerk te laten lopen om te zien of hetzelfde besluit altijd wordt genomen. Als wijzigingen in het beeld de uitkomst niet aanzienlijk beïnvloeden, is er een goede kans dat het netwerk bestand is tegen tegenwerkende voorbeelden. Echter, dit is geen haalbare strategie voor scenario’s waarin snelle beslissingen moeten worden genomen, aangezien deze methoden tijdrovend en computationeel duur zijn. Daarom heeft het MIT-team een neuronaal netwerk ontwikkeld dat beslissingen kan nemen op basis van worst-case-aannamen, een netwerk dat in staat is om te functioneren in scenario’s waarin veiligheid cruciaal is.

De MIT-onderzoekers testten hun algoritmes door de AI een spelletje Pong te laten spelen. Ze voegden tegenwerkende voorbeelden toe door de AI voorbeelden te geven waarin de bal iets lager op het scherm werd weergegeven dan hij eigenlijk was. Naarmate de invloed van de tegenwerkende voorbeelden groter werd, begonnen de standaardcorrectietechnieken te falen, terwijl CARRL meer spelletjes won in vergelijking. CARRL werd ook getest op een botsingsvermijdingstaak. De taak vond plaats in een virtuele omgeving waarin twee verschillende agenten probeerden van positie te wisselen zonder tegen elkaar aan te botsen. Het onderzoeksteam veranderde de perceptie van de eerste agent van de tweede agent en CARRL kon de eerste agent succesvol om de andere agent heen sturen, zelfs in omstandigheden van grote onzekerheid, hoewel er een punt kwam waarop CARRL te voorzichtig werd en uiteindelijk zijn bestemming helemaal vermeed.

Ongeacht, legde Michael Everett, een postdoc bij de afdeling Luchtvaart- en Ruimtevaarttechniek van MIT, die het onderzoek leidde, uit dat het onderzoek implicaties kan hebben voor de mogelijkheid van robots om onvoorspelbare situaties aan te pakken. Zoals Everett via MIT News uitlegde:

“Mensen kunnen tegenwerkend zijn, zoals voor een robot gaan staan om zijn sensoren te blokkeren, of ermee interacteren, niet noodzakelijkerwijs met de beste bedoelingen,” zegt Everett. “Hoe kan een robot alle dingen bedenken die mensen zouden kunnen proberen te doen en proberen ze te vermijden? Wat voor soort tegenwerkende modellen willen we ons tegen verdedigen? Dat is iets waar we over nadenken hoe we het kunnen doen.”