Исследователи разработали подход к сравнению нейронных сетей

Команда исследователей из Лос-Аламосской национальной лаборатории разработала новый подход для сравнения нейронных сетей. Согласно команде, этот новый подход позволяет заглянуть внутрь “черного ящика” искусственного интеллекта (ИИ) и помогает понять поведение нейронных сетей. Нейронные сети, которые распознают закономерности в наборах данных, используются для широкого спектра приложений, таких как системы распознавания лиц и автономные транспортные средства.

Команда представила свою статью “Если вы обучили одну, вы обучили все: подобие между архитектурами увеличивается с ростом устойчивости” на Конференции по неопределенности в искусственном интеллекте.

Хейдн Джонс – исследователь в группе Advanced Research in Cyber Systems в Лос-Аламосе и ведущий автор исследования.

Лучшее понимание нейронных сетей

“Сообщество исследователей в области искусственного интеллекта не обязательно имеет полное понимание того, что делают нейронные сети; они дают нам хорошие результаты, но мы не знаем, как и почему”, – сказал Джонс. “Наш новый метод лучше сравнивает нейронные сети, что является важным шагом к лучшему пониманию математики, лежащей в основе ИИ”.

Новое исследование также поможет экспертам понять поведение устойчивых нейронных сетей.

Хотя нейронные сети имеют высокую производительность, они также хрупкие. Небольшие изменения условий, такие как частично закрытый знак остановки, обрабатываемый автономным транспортным средством, могут вызвать неправильную идентификацию знака нейронной сетью. Это означает, что транспортное средство может так и не остановиться, что может быть опасным.

Адверсарное обучение нейронных сетей

Исследователи поставили цель улучшить эти типы нейронных сетей, изучая способы повышения устойчивости сетей. Одним из подходов является “атака” на сети во время их обучения, когда исследователи намеренно вводят аномалии, чтобы ИИ игнорировал их. Этот процесс, называемый адверсарным обучением, делает более трудным обман сетей.

Команда применила новый метрический показатель подобия сетей к адверсарно обученным нейронным сетям. Они были удивлены, обнаружив, что адверсарное обучение вызывает сходимость нейронных сетей в области компьютерного зрения к подобным представлениям данных, независимо от архитектуры сети, по мере увеличения величины атаки.

“Мы обнаружили, что когда мы обучаем нейронные сети быть устойчивыми к адверсарным атакам, они начинают делать одно и то же”, – сказал Джонс.

Это не первый раз, когда эксперты пытались найти идеальную архитектуру для нейронных сетей. Однако новые результаты демонстрируют, что введение адверсарного обучения существенно сокращает разрыв, что означает, что сообществу исследователей ИИ, возможно, не потребуется изучать так много новых архитектур, поскольку теперь известно, что адверсарное обучение вызывает сходимость различных архитектур к подобным решениям.

“Установив, что устойчивые нейронные сети подобны друг другу, мы делаем более легким понимание того, как может работать устойчивый ИИ”, – сказал Джонс. “Мы можем даже обнаружить подсказки о том, как происходит восприятие у людей и других животных.”