Tým vyvíjí přístup pro porovnávání neuronových sítí

Tým výzkumníků z Los Alamos National Laboratory vyvinul nový přístup pro porovnávání neuronových sítí. Podle týmu se tento nový přístup dívá do „černé skříňky“ umělé inteligence (AI) a pomáhá jim porozumět chování neuronové sítě. Neuronové sítě, které rozpoznávají vzory v datových sadách, se používají pro širokou škálu aplikací, jako jsou systémy rozpoznávání obličejů a autonomní vozidla. 

Tým představil svůj příspěvek, „Pokud jste trénovali jednu, trénovali jste je všechny: Podobnost mezi architekturou se zvyšuje s robustností“ na Konferenci o nejistotě v umělé inteligenci. 

Haydn Jones je výzkumný pracovník ve skupině Advanced Research in Cyber ​​Systems v Los Alamos a hlavní autor výzkumné práce. 

Lepší porozumění neuronovým sítím 

„Výzkumná komunita umělé inteligence nemusí mít nutně úplné pochopení toho, co neuronové sítě dělají; dávají nám dobré výsledky, ale nevíme jak a proč,“ řekl Jones. „Naše nová metoda odvádí lepší práci při porovnávání neuronových sítí, což je zásadní krok k lepšímu pochopení matematiky za umělou inteligencí. 

Nový výzkum bude také hrát roli v pomoci odborníkům porozumět chování robustních neuronových sítí. 

Zatímco neuronové sítě jsou vysoce výkonné, jsou také křehké. Malé změny podmínek, jako je částečně zakrytá stopka, kterou zpracovává autonomní vozidlo, mohou způsobit, že neuronová síť značku špatně identifikuje. To znamená, že se nemusí nikdy zastavit, což se může ukázat jako nebezpečné. 

Adversarial Training Neuronové sítě

Výzkumníci se rozhodli zlepšit tyto typy neuronových sítí tím, že se podívají na způsoby, jak zlepšit robustnost sítě. Jeden z přístupů zahrnuje „útočení“ na sítě během jejich tréninkového procesu, kdy výzkumníci záměrně zavádějí aberace, zatímco trénují AI, aby je ignorovala. Proces, který se označuje jako trénink protivníků, ztěžuje sítím, aby byly oklamány. 

Tým aplikoval novou metriku síťové podobnosti na trénované neuronové sítě. Byli překvapeni, když zjistili, že trénování protivníka způsobuje, že neuronové sítě v doméně počítačového vidění konvergují k podobným reprezentacím dat, bez ohledu na architekturu sítě, jak se rozsah útoku zvyšuje. 

"Zjistili jsme, že když trénujeme neuronové sítě, aby byly odolné proti nepřátelským útokům, začnou dělat stejné věci," řekl Jones. 

Není to poprvé, co se odborníci snaží najít dokonalou architekturu pro neuronové sítě. Nová zjištění však ukazují, že zavedení tréninku protivníka podstatně zaceluje mezeru, což znamená, že výzkumná komunita AI možná nebude muset zkoumat tolik nových architektur, protože je nyní známo, že trénink protivníků způsobuje, že různé architektury konvergují k podobným řešením. 

„Zjištěním, že robustní neuronové sítě jsou si navzájem podobné, usnadňujeme pochopení toho, jak by robustní umělá inteligence mohla skutečně fungovat,“ řekl Jones. "Mohli bychom dokonce odhalovat rady, jak vnímání probíhá u lidí a jiných zvířat."