Hold udvikler metode til at sammenligne neurale netværk

Et hold af forskere på Los Alamos National Laboratory har udviklet en ny metode til at sammenligne neurale netværk. Ifølge holdet ser denne nye metode ind i “sorte boks” af kunstig intelligens (AI) og hjælper dem med at forstå neuralt netværksadfærd. Neurale netværk, der genkender mønstre inden for datasæt, bruges til en lang række anvendelser som ansigtsgenkendelsessystemer og selvstyrende køretøjer.

Holdet præsenterede deres papir, “If You’ve Trained One You’ve Trained Them All: Inter-Architecture Similarity Increases With Robustness,” på Konferencen om Usikkerhed i Kunstig Intelligens.

Haydn Jones er en forsker i Advanced Research in Cyber Systems-gruppen på Los Alamos og hovedforfatter af forskningspapiret.

Bedre forståelse af neurale netværk

“Kunstig intelligens-forskningsfællesskabet har ikke nødvendigvis en komplet forståelse af, hvad neurale netværk gør; de giver os gode resultater, men vi ved ikke hvordan eller hvorfor,” sagde Jones. “Vores nye metode gør et bedre job med at sammenligne neurale netværk, hvilket er et afgørende skridt mod bedre forståelse af matematikken bag AI.

Den nye forskning vil også spille en rol i at hjælpe eksperter med at forstå adfærden af robuste neurale netværk.

Selvom neurale netværk er højpræstationsnetværk, er de også skrøbelige. Små ændringer i betingelser, såsom et delvist dækket stop-skilt, der bearbejdes af et selvstyrende køretøj, kan få neuralt netværk til at misidentificere skiltet. Dette betyder, at det måske aldrig stopper, hvilket kan være farligt.

Adversarial træning af neurale netværk

Forskerne satte sig for at forbedre disse typer neurale netværk ved at se på måder at forbedre netværksrobustheden på. En af tilgangene indebærer at “angribe” netværk under deres træningsproces, hvor forskerne bevidst introducerer afvigelser, mens de træner AI til at ignorere dem. Processen, der henvises til som adversarial træning, gør det sværere for netværkene at blive narret.

Holdet anvendte den nye målestok for netværkslighed til adversarially trænede neurale netværk. De var overraskede over at finde, at adversarial træning får neurale netværk i computerseingsdomænet til at konvergere til lignende datarepræsentationer, uanset netværksarkitekturen, efterhånden som angrebets størrelse øges.

“Vi fandt ud af, at når vi træner neurale netværk til at være robuste mod adversarially angreb, begynder de at gøre de samme ting,” sagde Jones.

Dette er ikke første gang, at eksperter har søgt at finde den perfekte arkitektur for neurale netværk. Men de nye fund viser, at introduktionen af adversarial træning lukker gapet betydeligt, hvilket betyder, at AI-forskningsfællesskabet måske ikke behøver at udforske så mange nye arkitekturer, da det nu er kendt, at adversarial træning får diverse arkitekturer til at konvergere til lignende løsninger.

“Ved at finde, at robuste neurale netværk er lignende hinanden, gør vi det lettere at forstå, hvordan robust AI måske virkelig fungerer,” sagde Jones. “Vi kan endda afsløre hint om, hvordan perception forekommer hos mennesker og andre dyr.”