Команда розробляє підхід для порівняння нейронних мереж

Команда дослідників з Лос-Аламоської національної лабораторії розробила новий підхід для порівняння нейронних мереж. За словами команди, цей новий підхід дивиться всередину “чорної скриньки” штучного інтелекту (ШІ), і він допомагає їм зрозуміти поведінку нейронних мереж. Нейронні мережі, які розпізнають закономірності у наборах даних, використовуються для широкого спектра застосунків, таких як системи розпізнавання облич та автономні транспортні засоби.

Команда представила свою роботу, “If You’ve Trained One You’ve Trained Them All: Inter-Architecture Similarity Increases With Robustness,” на Конференції з неоднозначності штучного інтелекту.

Хейден Джонс – дослідник групи Advanced Research in Cyber Systems у Лос-Аламосі та головний автор дослідження.

Лепше розуміння нейронних мереж

“Спільнота дослідників штучного інтелекту не обов’язково має повне розуміння того, що роблять нейронні мережі; вони дають нам хороші результати, але ми не знаємо, як або чому,” сказав Джонс. “Наш новий метод робить кращу роботу з порівнянням нейронних мереж, що є важливим кроком до кращого розуміння математики за ШІ.

Нове дослідження також зіграє роль у допомозі експертам зрозуміти поведінку стійких нейронних мереж.

Хоча нейронні мережі мають високу продуктивність, вони також хрупкі. Незначні зміни умов, такі як частково закритий знак зупинки, який обробляється автономним транспортним засобом, можуть змусити нейронну мережу неправильно ідентифікувати знак. Це означає, що він ніколи не зупиниться, що може бути небезпечним.

Адверсарне навчання нейронних мереж

Дослідники вишили поліпшити ці типи нейронних мереж, дивлячись на способи покращення стійкості мережі. Одним з підходів є “атака” на мережі під час їхнього навчального процесу, де дослідники навмисно вводять аномалії, щоб навчати ШІ ігнорувати їх. Процес, який називається адверсарним навчанням, робить мережі менш вразливими до обману.

Команда застосувала нову метрику схожості мереж до нейронних мереж, навчених адверсарному навчанню. Вони були здивовані, знайшовши, що адверсарне навчання заставляє нейронні мережі у галузі комп’ютерного бачення збігатися до схожих даних представлень, незалежно від архітектури мережі, коли збільшується величина атаки.

“Ми виявили, що коли ми навчаємо нейронні мережі бути стійкими проти адверсарних атак, вони починають робити одні й ті ж речі,” сказав Джонс.

Це не перший раз, коли експерти шукали ідеальну архітектуру для нейронних мереж. Однак нові висновки демонструють, що введення адверсарного навчання суттєво закриває розрив, що означає, що спільнота дослідників ШІ може не потребувати дослідження такої кількості нових архітектур, оскільки тепер відомо, що адверсарне навчання заставляє різні архітектури збігатися до схожих рішень.

“Отримавши той факт, що стійкі нейронні мережі схожі одна на одну, ми робимо крок до кращого розуміння того, як може працювати стійкий ШІ,” сказав Джонс. “Ми можемо навіть розкрити підказки щодо того, як сприйняття відбувається у людей та інших тварин.”