Команда исследователей MIT разработала нейронную сеть для сопротивления адверсарным примерам

Команда исследователей из MIT разработала алгоритм глубокого обучения, предназначенный для того, чтобы помочь ИИ справиться с “адверсарными” примерами, которые могут заставить ИИ делать неправильные прогнозы и совершать неправильные действия. Разработанный алгоритм может помочь системам ИИ сохранять точность и избегать ошибок при столкновении с запутанными данными.

Системы ИИ анализируют входные данные события, чтобы решить, как реагировать на это событие. ИИ, ответственный за маневрирование автономного транспортного средства, должен принимать данные от камер транспортного средства и решать, что делать на основе этих данных. Однако существует вероятность того, что анализируемые ИИ данные не являются точным представлением реального мира. Неисправность в системе камер может изменить некоторые пиксели, что приведет к тому, что ИИ сделает неправильные выводы о подходящем курсе действий.

“Адверсарные входные данные” похожи на оптические иллюзии для системы ИИ. Это входные данные, которые запутывают ИИ каким-либо образом. Адверсарные входные данные можно создать с целью заставить ИИ совершать ошибки, представляя данные таким образом, что ИИ считает, что содержимое примера является одним, а не другим. Например, можно создать адверсарный пример для системы компьютерного зрения, сделав незначительные изменения в изображениях кошек, что заставит ИИ неправильно классифицировать изображения как компьютерные мониторы. Команда исследователей MIT разработала алгоритм, чтобы защититься от адверсарных примеров, позволяя модели сохранять определенный уровень “скептицизма” по отношению к получаемым входным данным.

Исследователи MIT назвали свой подход “Сертифицированная адверсарная устойчивость для глубокого обучения с подкреплением”, или CARRL. CARRL состоит из сети обучения с подкреплением и традиционной глубокой нейронной сети, объединенных вместе. Обучение с подкреплением использует концепцию “наград” для обучения модели, предоставляя модели пропорционально больше награды, чем ближе она подходит к достижению своей цели. Модель обучения с подкреплением используется для обучения сети Deep Q-Network, или DQN. DQN функционируют как традиционные нейронные сети, но также ассоциируют входные значения с уровнем награды, подобно системам обучения с подкреплением.

CARRL работает, моделируя диапазон различных возможных значений для входных данных.

Предполагая, что ИИ пытается отслеживать положение точки внутри более крупного изображения, ИИ учитывает, что положение точки может быть результатом адверсарного влияния, и учитывает области, где точка могла бы находиться вместо этого. Сеть затем принимает решения на основе худшего сценария для положения точки, выбирая действие, которое приведет к наибольшей награде в этом худшем сценарии.

Типичный метод защиты от адверсарных примеров включает в себя запуск слегка измененных версий входного изображения через сеть ИИ, чтобы увидеть, всегда ли принимается одно и то же решение. Если изменения в изображении не существенно влияют на результат, есть большая вероятность того, что сеть устойчива к адверсарным примерам. Однако этот подход не является жизнеспособным для сценариев, где требуется быстрое принятие решений, поскольку эти методы являются трудоемкими и вычислительно дорогими. По этой причине команда MIT разработала нейронную сеть, которая может принимать решения на основе худших предположений, способную работать в сценариях, где безопасность имеет решающее значение.

Исследователи MIT протестировали свои алгоритмы, заставив ИИ сыграть в игру Понг. Они включили адверсарные примеры, подсовывая ИИ экземпляры, где мяч отображался немного ниже на экране, чем он был на самом деле. По мере роста влияния адверсарных примеров стандартные корректирующие методы начали терпеть неудачу, в то время как CARRL смог выиграть больше игр по сравнению. CARRL также был протестирован на задаче избежания столкновений. Задача разворачивалась в виртуальной среде, где два разных агента пытались поменяться местами без столкновения друг с другом. Исследовательская команда изменила восприятие первого агента о втором агенте, и CARRL смог успешно направить первого агента вокруг второго агента, даже в условиях высокой неопределенности, хотя в какой-то момент CARRL стал слишком осторожным и в итоге избегал своей цели совсем.

Независимо от этого, постдокторант департамента аэронавтики и астронавтики MIT Майкл Эверетт, который возглавлял исследование, объяснил, что это исследование может иметь последствия для способности роботов справляться с непредсказуемыми ситуациями. Как объяснил Эверетт через новости MIT:

“Люди могут быть адверсарными, как например, встать перед роботом, чтобы заблокировать его датчики, или взаимодействовать с ними, не обязательно с лучшими намерениями”, – говорит Эверетт. “Как может робот подумать обо всех вещах, которые люди могут попытаться сделать, и попытаться избежать их? Какие виды адверсарных моделей мы хотим защитить? Это то, о чем мы думаем, как это сделать”.