Оптична атака противника може змінити значення дорожніх знаків

Дослідники в США розробили атаку противника проти можливості систем машинного навчання правильно інтерпретувати те, що вони бачать – включаючи критично важливі об’єкти, такі як дорожні знаки – шляхом проєкції структурованого світла на реальні об’єкти. В одному з експериментів підхід успішно змінив значення дорожнього знака “СТОП” на знак обмеження швидкості “30 миль/год”.

Пертурбації на знаку, створені шляхом проєкції світла на нього, спотворюють його інтерпретацію в системі машинного навчання. Джерело: https://arxiv.org/pdf/2108.06247.pdf

Дослідження дослідження називається Оптична атака противника і походять з Університету Пердью в Індіані.

Оптична атака противника (OPAD), запропонована в статті, використовує структуроване освітлення для зміни вигляду цільових об’єктів і вимагає лише проектора, камери та комп’ютера. Дослідники успішно здійснили атаки типу “білий ящик” і “чорний ящик” за допомогою цього методу.

Конфігурація OPAD і мінімально сприйняті (людиною) спотворення, достатні для викликання неправильної класифікації.

Конфігурація OPAD складається з проектора ViewSonic 3600 Люменів SVGA, камери Canon T6i та ноутбука.

Атаки типу “чорний ящик” і націлені атаки

Атаки типу “білий ящик” – це малоймовірні сценарії, в яких атакувальник може мати прямий доступ до процедури навчання моделі або до управління вхідними даними. Атаки типу “чорний ящик”, навпаки, зазвичай формулюються шляхом висновку того, як складається система машинного навчання, або принаймні того, як вона поводиться, створюючи “тіньові” моделі та розробляючи атаки противника, призначені для роботи з оригінальною моделлю.

Тут ми бачимо кількість візуальних спотворень, необхідних для обману класифікатора.

У другому випадку немає необхідності у спеціальному доступі, хоча такі атаки значно спрощуються завдяки поширенню відкритих бібліотек комп’ютерного зору та баз даних у поточних академічних та комерційних дослідженнях.

Всі атаки OPAD, описані в статті, – це “націлені” атаки, які конкретно спрямовані на зміну того, як інтерпретуються певні об’єкти. Хоча система також була продемонстрована здатна досягати узагальнених, абстрактних атак, дослідники стверджують, що реальний атакувальник мав би більш конкретну деструктивну мету.

Атака OPAD – це просто реальна версія часто досліджуваної принципові введення шуму в зображення, які будуть використовуватися в системах комп’ютерного зору. Цінність цього підходу полягає в тому, що можна просто “проєктувати” спотворення на цільовий об’єкт, щоб викликати неправильну класифікацію, тоді як забезпечення того, щоб “Троянські коні” зображення потрапили до процесу навчання, значно складніше.

У випадку, коли OPAD зміг накласти значення зображення “швидкість 30” з набору даних на знак “СТОП”, базове зображення було отримано шляхом рівномірного освітлення об’єкта на інтенсивності 140/255. Потім було застосовано проєкційну компенсацію освітлення як проєктований атаку градієнтного спуску.

Приклади атак OPAD на неправильну класифікацію.

Дослідники відзначають, що основною проблемою проекту було калібрування та налаштування механізму проєктора так, щоб він досягав чистого “обману”, оскільки кути, оптика та інші фактори становлять виклик для експлуатації.

Крім того, підхід працює лише вночі. Чи буде очевидне освітлення розкривати “хак” – це також фактор; якщо об’єкт, такий як знак, вже освітлений, проєktor повинен компенсувати це освітлення, а кількість відбитих спотворень також повинна бути стійкою до фар.

Дослідження ефективно створює ітерацію системи машинного навчання на основі оптичної атаки противника – ітерацію дослідження Колумбійського університету 2004 року щодо зміни вигляду об’єктів шляхом проєкції інших зображень на них – оптичний експеримент, який не має злого потенціалу OPAD.

Під час тестування OPAD зміг обманути класифікатор у 31 з 64 атак – успішність 48%. Дослідники відзначають, що успішність залежить значною мірою від типу об’єкта, який атакується. Плямисті або вигнуті поверхні (наприклад, відповідно, плюшевий ведмідь і кружка) не можуть забезпечити достатню прямую відбивну здатність для здійснення атаки. З іншого боку, спеціально відбивні плоскі поверхні, такі як дорожні знаки, є ідеальними середовищами для спотворення OPAD.

Відкриті атаки поверхонь

Всі атаки були здійснені проти певного набору баз даних: Німецької бази даних розпізнавання дорожніх знаків (GTSRB, називається GTSRB-CNN у статті); бази даних ImageNet VGG16 та набору ImageNet Resnet-50.

Чи є ці атаки “лише теоретичними”, оскільки вони спрямовані проти відкритих баз даних, а не проти пропрієтарних систем автономних транспортних засобів? Вони були б, якщо великі дослідницькі відділи не покладалися б на відкриту екосистему, включаючи алгоритми та бази даних, і не працювали б у секреті, щоб створити закриті бази даних та непрозорі алгоритми розпізнавання.

Але загалом, це не так працює. Визначальні набори даних стають еталонами, за якими вимірюється весь прогрес (і авторитет/слава), тоді як відкриті системи розпізнавання зображень, такі як серія YOLO, випереджають будь-яку внутрішньо розроблену закриту систему, призначену для роботи на подібних принципах.

Вразливість FOSS

Дажи якщо дані в рамках комп’ютерного зору будуть згодом замінені повністю закритими даними, ваги “порожніх” моделей все ще часто калібруються на початку стадії розробки за допомогою відкритих даних, які ніколи не будуть повністю видалені – що означає, що отримані системи потенційно можуть бути націлені відкритими методами.

Крім того, використання відкритого підходу до систем комп’ютерного зору цього типу робить його можливим для приватних компаній скористатися безкоштовно гілками інновацій з інших глобальних дослідницьких проєктів, додаючи фінансовий стимул для збереження архітектури доступної. Після цього вони можуть спробувати закрити систему лише на етапі комерціалізації, після чого весь ряд висновкових відкритих метрик глибоко вбудований в неї.