Tým vyvinul přístup pro srovnání neuronových sítí

Tým výzkumníků z Los Alamos National Laboratory vyvinul novou metodu pro srovnání neuronových sítí. Podle týmu tato nová metoda zkoumá „černou skříňku“ umělé inteligence (AI) a pomáhá jim pochopit chování neuronových sítí. Neuronové sítě, které rozpoznávají vzory v datech, se používají pro širokou škálu aplikací, jako jsou systémy rozpoznávání obličeje a autonomní vozidla.

Tým prezentoval svou práci, „If You’ve Trained One You’ve Trained Them All: Inter-Architecture Similarity Increases With Robustness,” na Konferenci o nejistotě umělé inteligence.

Haydn Jones je výzkumník ve skupině Advanced Research in Cyber Systems v Los Alamos a hlavní autor výzkumné práce.

Lepší pochopení neuronových sítí

„Komunita výzkumu umělé inteligence nemá nutně úplné pochopení toho, co neuronové sítě dělají; poskytují nám dobré výsledky, ale nevíme, jak nebo proč,“ řekl Jones. „Naše nová metoda lépe porovnává neuronové sítě, což je zásadní krok k lepšímu pochopení matematiky za AI.

Nový výzkum bude hrát roli v pomoci odborníkům pochopit chování robustních neuronových sítí.

Zatímco neuronové sítě mají vysoký výkon, jsou také křehké. Malé změny podmínek, jako je částečně zakrytý dopravní znak, který je zpracováván autonomním vozidlem, mohou způsobit, že neuronová síť špatně identifikuje znak. To znamená, že může nikdy nezastavit, což může být nebezpečné.

Adversarial Training Neuronových Sítí

Výzkumníci se snažili zlepšit tyto typy neuronových sítí zkoumáním způsobů, jak zlepšit odolnost sítě. Jedním z přístupů je „útok“ na sítě během jejich tréninkového procesu, kde výzkumníci úmyslně zavádějí aberace, zatímco trénují AI, aby je ignorovaly. Tento proces, nazývaný adversarial training, činí sítě odolnější.

Tým aplikoval novou metriku podobnosti sítí na adversarially trénované neuronové sítě. Byli překvapeni, když zjistili, že adversarial training způsobuje, že neuronové sítě v oblasti počítačového vidění konvergují k podobným datovým reprezentacím, bez ohledu na architekturu sítě, jakmile se zvyšuje velikost útoku.

„Zjistili jsme, že když trénujeme neuronové sítě, aby byly odolné proti adversarálním útokům, začínají dělat stejné věci,“ řekl Jones.

Toto není první případ, kdy odborníci hledali ideální architekturu pro neuronové sítě. Nicméně, nová zjištění ukazují, že zavedení adversarial training podstatně uzavírá mezery, což znamená, že komunita výzkumu AI možná nebude muset zkoumat tolik nových architektur, protože je nyní známo, že adversarial training způsobuje, že různé architektury konvergují k podobným řešením.

„Zjistili jsme, že robustní neuronové sítě jsou podobné sobě, což nám usnadňuje pochopení, jak robustní AI opravdu funguje,“ řekl Jones. „Můžeme dokonce odhalit náznaky toho, jak vnímání funguje u lidí a jiných zvířat.“