Tým vyvinul přístup k porovnávání neuronových sítí

Tým výzkumníků z Los Alamos National Laboratory vyvinul novou metodu pro srovnání neuronových sítí. Podle týmu tato nová metoda zkoumá „černou skříňku“ umělé inteligence (AI) a pomáhá jim pochopit chování neuronových sítí. Neuronové sítě, které rozpoznávají vzory v datech, se používají pro širokou škálu aplikací, jako jsou systémy rozpoznávání obličeje a autonomní vozidla.

Tým prezentoval svou práci, „If You’ve Trained One You’ve Trained Them All: Inter-Architecture Similarity Increases With Robustness,” na Konferenci o nejistotě umělé inteligence.

Haydn Jones je výzkumník ve skupině Advanced Research in Cyber Systems v Los Alamos a hlavní autor výzkumné práce.

Lepší pochopení neuronových sítí

„Komunita výzkumu umělé inteligence nemá nutně úplné pochopení toho, co neuronové sítě dělají; poskytují nám dobré výsledky, ale nevíme, jak nebo proč,“ řekl Jones. „Naše nová metoda lépe porovnává neuronové sítě, což je zásadní krok k lepšímu pochopení matematiky, na níž AI stojí.

Nový výzkum bude hrát roli v pomoci odborníkům pochopit chování robustních neuronových sítí.

Zatímco neuronové sítě mají vysoký výkon, jsou také křehké. Malé změny podmínek, jako je částečně zakrytá značka STOP, který je zpracováván autonomním vozidlem, mohou způsobit, že neuronová síť špatně identifikuje značku. To znamená, že vozidlo nemusí vůbec zastavit, což může být nebezpečné.

Adverzní trénování neuronových sítí

Výzkumníci se snažili zlepšit tyto typy neuronových sítí zkoumáním způsobů, jak zlepšit odolnost sítě. Jedním z přístupů je „útok“ na sítě během jejich tréninkového procesu, kde výzkumníci úmyslně zavádějí aberace, zatímco trénují AI, aby je ignorovala. Tento proces, nazývaný adverzní trénování, činí sítě odolnější.

Tým aplikoval novou metriku podobnosti sítí na adverzně trénované neuronové sítě. Byli překvapeni, když zjistili, že adverzní trénování způsobuje, že neuronové sítě v oblasti počítačového vidění konvergují k podobným datovým reprezentacím, bez ohledu na architekturu sítě, jakmile se zvyšuje velikost útoku.

„Zjistili jsme, že když trénujeme neuronové sítě, aby byly odolné proti adversarálním útokům, začínají dělat stejné věci,“ řekl Jones.

Toto není první případ, kdy odborníci hledali ideální architekturu pro neuronové sítě. Nicméně, nová zjištění ukazují, že zavedení adverzní trénování podstatně zmenšuje rozdíly, což znamená, že komunita výzkumu AI možná nebude muset zkoumat tolik nových architektur, protože je nyní známo, že adverzní trénování způsobuje, že různé architektury konvergují k podobným řešením.

„Zjistili jsme, že robustní neuronové sítě jsou podobné sobě, což nám usnadňuje pochopení, jak by robustní AI mohla skutečně fungovat,“ řekl Jones. „Můžeme dokonce odhalit náznaky toho, jak vnímání funguje u lidí a jiných zvířat.“