Розмаїття команді експертів розробили систему оборони для нейронних мереж

Розмаїття команді інженерів, біологів та математиків з Університету Мічигану розробили систему оборони для нейронних мереж на основі адаптивної імунної системи. Система може захистити нейронні мережі від різних типів атак.

Неблагонадійні групи можуть змінити вхідні дані алгоритму глибокого навчання, щоб направити його неправильним шляхом, що може бути великою проблемою для застосунків, таких як ідентифікація, машинне бачення, обробка природної мови (NLP), переклад мови, виявлення суперечок та ін.

Стійка система навчання з імунною інспірацією

Нова система оборони називається Стійка система навчання з імунною інспірацією. Робота була опублікована в IEEE Access.

Альфред Геро є професором університету Джона Х. Голланда. Він спільно керував роботою.

“Стійка система навчання з імунною інспірацією представляє перший підхід до навчання з атаками, який моделюється на адаптивній імунній системі, яка працює інакше, ніж вроджена імунна система”, – сказав Геро.

Команда виявила, що глибокі нейронні мережі, які вже надихаються мозком, також можуть імітувати біологічний процес імунної системи ссавців. Ця імунна система генерує нові клітини, які призначені для захисту проти конкретних патогенів.

Індіка Раджапаксе є асоціативним професором обчислювальної медицини та біоінформатики, а також співкерівником дослідження.

“Імунна система побудована для несподіванок. Вона має дивовижний дизайн і завжди знайде рішення”, – сказав Раджапаксе.

Імітація імунної системи

Стійка система навчання з імунною інспірацією імітує природні оборонні механізми імунної системи, що дозволяє їй визначати та усувати підозрілі вхідні дані до нейронної мережі. Біологічна команда спочатку вивчила, як адаптивні імунні системи мишей реагували на антиген, перш ніж створити модель імунної системи.

Аналіз даних був проведений Стівеном Ліндслі, який був аспірантом біоінформатики на той час. Ліндслі допоміг перекласти цю інформацію між біологами та інженерами, що дозволило команді Геро змоделювати біологічний процес на комп’ютерах. Для цього команда поєднала біологічні механізми з кодом.

Оборонні механізми Стійкої системи навчання з імунною інспірацією були протестовані з атаками.

“Ми не були впевнені, що ми справді захопили біологічний процес, поки не порівняли криві навчання Стійкої системи навчання з імунною інспірацією з тими, які були витягнуті з експериментів”, – сказав Геро. “Вони були точно однакові”.

Стійка система навчання з імунною інспірацією показала кращі результати, ніж два найпоширеніших процеси машинного навчання, які зараз використовуються для боротьби з атаками. Ці два процеси – Глибокий k-Найближчий Сусід і конволюційні нейронні мережі.

Рен Ван є дослідником у сфері електротехніки та комп’ютерних наук. Він був переважно відповідальним за розробку та впровадження програмного забезпечення.

“Одна з найбільш перспективних частин цієї роботи полягає в тому, що наш загальний каркас може захистити від різних типів атак”, – сказав Рен Ван.

Дослідники потім використали ідентифікацію зображень як тестовий випадок для оцінки Стійкої системи навчання з імунною інспірацією проти восьми типів атак у різних наборах даних. Вона показала покращення у всіх випадках, і навіть захистила проти атаки Проектованого Градієнтного Спуску, яка є найбільш шкідливим типом атаки. Стійка система навчання з імунною інспірацією також покращила загальну точність.

“Це дивовижний приклад використання математики для розуміння цієї прекрасної динамічної системи”, – сказав Раджапаксе. “Ми можемо взяти те, що ми вивчили з Стійкої системи навчання з імунною інспірацією, і допомогти перепрограмувати імунну систему, щоб вона працювала швидше”.