Team Utvecklar Metod för Att Jämföra Neuronnätverk

Ett team av forskare vid Los Alamos National Laboratory har utvecklat en ny metod för att jämföra neuronnätverk. Enligt teamet tittar denna nya metod in i “svarta lådan” av artificiell intelligens (AI) och hjälper dem att förstå neuronnätverksbeteende. Neuronnätverk, som känner igen mönster inom datamängder, används för en mängd olika tillämpningar som ansiktsigenkänningsystem och autonoma fordon.

Teamet presenterade sin artikel, “If You’ve Trained One You’ve Trained Them All: Inter-Architecture Similarity Increases With Robustness,” på konferensen om osäkerhet i artificiell intelligens.

Haydn Jones är en forskare i den avancerade forskningsgruppen för cybersystem vid Los Alamos och huvudförfattare till forskningsartikeln.

Bättre Förståelse av Neuronnätverk

“Den artificiella intelligensforskningsgemenskapen har inte nödvändigtvis en fullständig förståelse för vad neuronnätverk gör; de ger oss bra resultat, men vi vet inte hur eller varför,” sa Jones. “Vår nya metod gör ett bättre jobb med att jämföra neuronnätverk, vilket är ett avgörande steg mot en bättre förståelse av matematiken bakom AI.

Den nya forskningen kommer också att spela en roll i att hjälpa experter att förstå beteendet hos robusta neuronnätverk.

Medan neuronnätverk har hög prestanda är de också sköra. Små förändringar i förhållanden, såsom ett delvis täckt stoppskylt som bearbetas av ett autonomt fordon, kan orsaka att neuronnätverket misstolkar skylten. Detta innebär att det kanske aldrig stannar, vilket kan vara farligt.

Adversarial Training Neuronnätverk

Forskarna satte ut att förbättra dessa typer av neuronnätverk genom att undersöka sätt att förbättra nätverksrobusthet. En av metoderna innebär att “attackera” nätverk under utbildningsprocessen, där forskarna avsiktligt introducerar avvikelser medan de tränar AI för att ignorera dem. Processen, som kallas adversarial training, gör det svårare för nätverken att luras.

Teamet tillämpade den nya metriken för nätverkslikhet på adversarialt tränade neuronnätverk. De blev förvånade över att upptäcka att adversarial training orsakar att neuronnätverk i datorseende-domänen konvergerar till liknande datarepresentationer, oavsett nätverksarkitektur, allteftersom attackens storlek ökar.

“Vi fann att när vi tränar neuronnätverk för att vara robusta mot adversariala attacker, börjar de göra samma saker,” sa Jones.

Detta är inte första gången experter har försökt hitta den perfekta arkitekturen för neuronnätverk. Men de nya resultaten visar att introduktionen av adversarial training stänger gapet avsevärt, vilket innebär att AI-forskningsgemenskapen kanske inte behöver utforska så många nya arkitekturer, eftersom det nu är känt att adversarial training orsakar att diversa arkitekturer konvergerar till liknande lösningar.

“Genom att upptäcka att robusta neuronnätverk är lika varandra, gör vi det lättare att förstå hur robust AI kan fungera,” sa Jones. “Vi kan till och med avslöja ledtrådar om hur perception sker hos människor och andra djur.”