Team Ontwikkelt Benadering voor het Vergelijken van Neurale Netwerken

Een team van onderzoekers bij het Los Alamos National Laboratory heeft een novatieve benadering ontwikkeld voor het vergelijken van neurale netwerken. Volgens het team kijkt deze nieuwe benadering naar de “black box” van kunstmatige intelligentie (AI) en helpt hen bij het begrijpen van het gedrag van neurale netwerken. Neurale netwerken, die patronen herkennen in datasets, worden gebruikt voor een breed scala aan toepassingen, zoals gezichtsherkenningssystemen en autonome voertuigen.

Het team presenteerde hun paper, “If You’ve Trained One You’ve Trained Them All: Inter-Architecture Similarity Increases With Robustness,” op de Conference on Uncertainty in Artificial Intelligence.

Haydn Jones is een onderzoeker in de Advanced Research in Cyber Systems-groep bij Los Alamos en de hoofdauteur van het onderzoeksrapport.

Beter Begrijpen van Neurale Netwerken

“De kunstmatige intelligentie-onderzoekscommunity heeft niet noodzakelijkerwijs een complete begrip van wat neurale netwerken doen; ze geven ons goede resultaten, maar we weten niet hoe of waarom,” zei Jones. “Onze nieuwe methode doet een betere job bij het vergelijken van neurale netwerken, wat een cruciale stap is naar een beter begrip van de wiskunde achter AI.

Het nieuwe onderzoek zal ook een rol spelen bij het helpen van experts bij het begrijpen van het gedrag van robuuste neurale netwerken.

Terwijl neurale netwerken hoge prestaties leveren, zijn ze ook kwetsbaar. Kleine veranderingen in omstandigheden, zoals een gedeeltelijk bedekt stopbord dat wordt verwerkt door een autonoom voertuig, kunnen ervoor zorgen dat het neurale netwerk het bord verkeerd identificeert. Dit betekent dat het mogelijk nooit stopt, wat gevaarlijk kan zijn.

Adversarial Training Neurale Netwerken

De onderzoekers zijn begonnen met het verbeteren van dit soort neurale netwerken door te kijken naar manieren om de robuustheid van het netwerk te verbeteren. Een van de benaderingen houdt in dat men “aanvalt” op netwerken tijdens hun trainingsproces, waarbij de onderzoekers opzettelijk afwijkingen introduceren terwijl ze de AI trainen om deze te negeren. Het proces, dat wordt aangeduid als adversarial training, maakt het moeilijker voor de netwerken om te worden misleid.

Het team paste de nieuwe maatstaf van netwerksimilariteit toe op adversariaal getrainde neurale netwerken. Ze waren verrast om te ontdekken dat adversarial training neurale netwerken in het domein van computerzicht doet convergeren naar vergelijkbare gegevensrepresentaties, ongeacht de netwerkarchitectuur, naarmate de grootte van de aanval toeneemt.

“We vonden dat wanneer we neurale netwerken trainen om robuust te zijn tegenover adversariale aanvallen, ze beginnen hetzelfde te doen,” zei Jones.

Dit is niet de eerste keer dat experts hebben geprobeerd de perfecte architectuur voor neurale netwerken te vinden. Echter, de nieuwe bevindingen laten zien dat de introductie van adversarial training de kloof aanzienlijk verkleint, wat betekent dat de AI-onderzoekscommunity mogelijk niet zo veel nieuwe architectuur hoeft te onderzoeken, aangezien het nu bekend is dat adversarial training diverse architectuur doet convergeren naar vergelijkbare oplossingen.

“Door te ontdekken dat robuuste neurale netwerken op elkaar lijken, maken we het gemakkelijker om te begrijpen hoe robuuste AI werkelijk werkt,” zei Jones. “We kunnen zelfs hints ontdekken over hoe perceptie optreedt bij mensen en andere dieren.”