Разнообразная команда экспертов создает систему защиты для нейронных сетей

Разнообразная команда инженеров, биологов и математиков из Университета Мичигана разработала систему защиты для нейронных сетей на основе адаптивной иммунной системы. Эта система может защитить нейронные сети от различных типов атак.

Злонамеренные группы могут изменить входные данные алгоритма глубокого обучения, чтобы направить его в неправильном направлении, что может стать серьезной проблемой для приложений, таких как идентификация, машинное зрение, обработка естественного языка (NLP), перевод языка, обнаружение споров и многое другое.

Устойчивая система обучения, вдохновленная иммунной системой

Новая система защиты называется Устойчивой системой обучения, вдохновленной иммунной системой. Работа была опубликована в IEEE Access.

Альфред Геро является профессором Джона Х. Холланда. Он возглавлял работу.

«Устойчивая система обучения представляет собой первый подход к обучению, вдохновленный адаптивной иммунной системой, которая работает по-другому, чем врожденная иммунная система», – сказал Геро.

Команда обнаружила, что глубокие нейронные сети, которые уже вдохновлены мозгом, также могут имитировать биологический процесс иммунной системы млекопитающих. Эта иммунная система генерирует новые клетки, предназначенные для защиты от конкретных патогенов.

Индика Раджапаксе является доцентом вычислительной медицины и биоинформатики, а также соавтором исследования.

«Иммунная система предназначена для сюрпризов. У нее удивительный дизайн, и она всегда найдет решение», – сказал Раджапаксе.

Имитация иммунной системы

Устойчивая система обучения имитирует естественные защиты иммунной системы, что позволяет ей выявлять и устранять подозрительные входные данные в нейронную сеть. Биологическая команда сначала изучила, как адаптивные иммунные системы мышей реагировали на антиген, прежде чем создать модель иммунной системы.

Анализ данных был затем проведен Стивеном Линдсли, который был аспирантом по биоинформатике на тот момент. Линдсли помог перевести эту информацию между биологами и инженерами, что позволило команде Геро смоделировать биологический процесс на компьютерах. Для этого команда объединила биологические механизмы с кодом.

Защита Устойчивой системы обучения была протестирована с помощью враждебных входных данных.

«Мы не были уверены, что действительно поймали биологический процесс, пока не сравнили кривые обучения Устойчивой системы обучения с теми, которые были получены из экспериментов», – сказал Геро. «Они были точно одинаковыми».

Устойчивая система обучения превзошла два наиболее распространенных процесса машинного обучения, которые в настоящее время используются для борьбы с враждебными атаками. Эти два процесса – это Глубокий k-ближайший сосед и свёрточные нейронные сети.

Рен Ван является исследователем в области электротехники и компьютерных наук. Он был в основном ответственным за разработку и реализацию программного обеспечения.

«Одна очень перспективная часть этой работы заключается в том, что наша общая структура может защитить от различных типов атак», – сказал Рен Ван.

Исследователи затем использовали идентификацию изображений в качестве тестового случая для оценки Устойчивой системы обучения против восьми типов враждебных атак в различных наборах данных. Она продемонстрировала улучшение во всех случаях и даже защитила от атаки Проектированного градиентного спуска, которая является наиболее вредоносным типом враждебной атаки. Устойчивая система обучения также повысила общую точность.

«Это удивительный пример использования математики для понимания этой красивой динамической системы», – сказал Раджапаксе. «Мы можем взять то, что мы узнали из Устойчивой системы обучения, и помочь перепрограммировать иммунную систему, чтобы она работала быстрее».