Zespół opracowuje podejście do porównywania sieci neuronowych

Zespół badaczy z Los Alamos National Laboratory opracował nowe podejście do porównywania sieci neuronowych. Zgodnie z oświadczeniem zespołu, nowe podejście spogląda w „czarną skrzynkę” sztucznej inteligencji (AI) i pomaga im zrozumieć zachowanie sieci neuronowych. Sieci neuronowe, które rozpoznają wzorce w zbiorach danych, są używane w szerokim zakresie aplikacji, takich jak systemy rozpoznawania twarzy i pojazdy autonomiczne.

Zespół przedstawił swoją pracę, „If You’ve Trained One You’ve Trained Them All: Inter-Architecture Similarity Increases With Robustness,” na Konferencji Niepewności w Sztucznej Inteligencji.

Haydn Jones jest badaczem w grupie Advanced Research in Cyber Systems w Los Alamos i głównym autorem pracy badawczej.

Lepsze zrozumienie sieci neuronowych

„Społeczność badawcza sztucznej inteligencji niekoniecznie w pełni rozumie, co robią sieci neuronowe; dają nam dobre wyniki, ale nie wiemy jak ani dlaczego,” powiedział Jones. „Nasza nowa metoda lepiej radzi sobie z porównywaniem sieci neuronowych, co jest kluczowym krokiem w kierunku lepszego zrozumienia matematyki leżącej u podstaw sztucznej inteligencji.

Nowe badanie odegra również rolę w pomocy ekspertom w zrozumieniu zachowania odpornych sieci neuronowych.

Sieci neuronowe są wysoko wydajne, ale także kruche. Niewielkie zmiany w warunkach, takie jak częściowo zakryty znak stopu, który jest przetwarzany przez pojazd autonomiczny, mogą spowodować, że sieć neuronowa błędnie zidentyfikuje znak. Oznacza to, że pojazd może w ogóle się nie zatrzymać, co może być niebezpieczne.

Szkolenie sieci neuronowych z użyciem podejścia przeciwnika

Badacze starali się poprawić te rodzaje sieci neuronowych, patrząc na sposoby poprawy odporności sieci. Jednym z podejść jest „atakowanie” sieci podczas procesu szkolenia, gdzie badacze celowo wprowadzają aberracje, podczas gdy szkolą AI, aby je ignorować. Proces, który jest określany jako szkolenie przeciwnika, utrudnia sieciom bycie oszukanymi.

Zespół zastosował nowy wskaźnik podobieństwa sieci do sieci neuronowych szkolonych z użyciem podejścia przeciwnika. Zaskoczyło ich to, że szkolenie przeciwnika powoduje, iż sieci neuronowe w dziedzinie widzenia komputerowego konwergują do podobnych reprezentacji danych, niezależnie od architektury sieci, w miarę wzrostu wielkości ataku.

„Stwierdziliśmy, że gdy szkolimy sieci neuronowe, aby były odporne na ataki przeciwnika, zaczynają one robić te same rzeczy,” powiedział Jones.

To nie jest pierwszy raz, kiedy eksperci starali się znaleźć idealną architekturę dla sieci neuronowych. Jednak nowe odkrycia pokazują, że wprowadzenie szkolenia przeciwnika znacznie zmniejsza różnice, co oznacza, że społeczność badawcza sztucznej inteligencji może nie musieć badać tak wielu nowych architektur, ponieważ teraz wiadomo, że szkolenie przeciwnika powoduje, iż różne architektury konwergują do podobnych rozwiązań.

„Poprzez stwierdzenie, że odporne sieci neuronowe są do siebie podobne, ułatwiamy zrozumienie, jak może działać odporne AI,” powiedział Jones. „Możemy nawet odkrywać wskazówki dotyczące tego, jak postrzeganie występuje u ludzi i innych zwierząt.”