Оптична атака на противників може змінити значення дорожніх знаків

Дослідники в США розробили атаку на здатність систем машинного навчання правильно інтерпретувати те, що вони бачать – включаючи такі критичні речі, як дорожні знаки – шляхом проєкції структурованого світла на реальні об’єкти. В одному експерименті підхід успішно змінив значення дорожнього знака “СТОП” на знак обмеження швидкості “30 миль/год”.

Пертурбації на знаку, створені шляхом проєкції спеціально створеного світла на нього, спотворюють його інтерпретацію в системі машинного навчання. Джерело: https://arxiv.org/pdf/2108.06247.pdf

Дослідження називається Оптична атака на противників і походять з Університету Пердью в Індіані.

Оптична атака на противників (OPAD), запропонована в статті, використовує структуроване освітлення для зміни вигляду цільових об’єктів і вимагає лише комерційного проєктора, камери та комп’ютера. Дослідники змогли успішно провести як білі, так і чорні атаки за допомогою цього методу.

Система OPAD і мінімально сприйняті людиною спотворення, достатні для викликання неправильної класифікації.

Система OPAD складається з проєктора ViewSonic 3600 Люменів SVGA, камери Canon T6i та ноутбука.

Чорна скринька та націлені атаки

Білі атаки – це малоймовірні сценарії, в яких атакувальник може мати прямий доступ до процедури навчання моделі або до управління вхідними даними. Чорні атаки, навпаки, зазвичай формулюються шляхом висновку про те, як складається система машинного навчання, або принаймні про те, як вона поводиться, створення “тіньових” моделей та розробка атак на противників, призначених для роботи з оригінальною моделлю.

Тут ми бачимо кількість візуальних спотворень, необхідних для обману класифікатора.

У другому випадку не потрібно спеціального доступу, хоча такі атаки значно полегшуються наявністю відкритих джерел комп’ютерного зору та баз даних у сучасних академічних та комерційних дослідженнях.

Всі атаки OPAD, описані в статті, є “націленими” атаками, які конкретно спрямовані на зміну інтерпретації певних об’єктів. Хоча система також була продемонстрована здатною досягати узагальнених, абстрактних атак, дослідники стверджують, що реальний атакувальник матиме більш конкретну деструктивну мету.

Атака OPAD є просто реальною версією часто досліджуваної концепції введення шуму в зображення, які будуть використані в системах комп’ютерного зору. Цінність цього підходу полягає в тому, що можна просто “проєктувати” спотворення на цільовий об’єкт, щоб викликати неправильну класифікацію, тоді як забезпечення того, щоб “Троянські коні” зображення потрапили в процес навчання, значно складніше.

У разі, коли OPAD змогла накласти значення зображення “швидкість 30” на знак “СТОП”, базове зображення було отримано шляхом рівномірного освітлення об’єкта на інтенсивності 140/255. Потім було застосовано проєкційне компенсоване освітлення як проєкційний атаку градієнтного спуску.

Приклади атак OPAD на неправильну класифікацію.

Дослідники відзначають, що основною проблемою проекту було налаштування та встановлення механізму проєктора так, щоб він досягав чистого “обману”, оскільки кути, оптика та інші фактори становлять виклик для експлуатації.

Крім того, підхід працюватиме лише вночі. Чи буде очевидне освітлення розкривати “хак”, також є фактором; якщо об’єкт, такий як знак, вже освітлений, проєktor повинен компенсувати це освітлення, а кількість відбитих спотворень також повинна бути стійкою до світла фар. Здається, що це система, яка працюватиме найкраще в міських середовищах, де освітлення більш стабільне.

Дослідження фактично створює ітерацію системи комп’ютерного зору, орієнтовану на машинне навчання, засновану на дослідженні Колумбійського університету 2004 року щодо зміни вигляду об’єктів шляхом проєкції інших зображень на них – оптичний експеримент, який не має злого потенціалу OPAD.

Під час тестування OPAD змогла обманути класифікатор у 31 із 64 атак – успішність 48%. Дослідники відзначають, що успішність залежить значно від типу об’єкта, який атакується. Плямисті або вигнуті поверхні (наприклад, відповідно, плюшевий ведмідь і кружка) не можуть забезпечити достатню прямую відбивну здатність для здійснення атаки. З іншого боку, спеціально відбивні плоскі поверхні, такі як дорожні знаки, є ідеальними середовищами для спотворення OPAD.

Відкриті поверхні атак

Всі атаки були проведені проти конкретного набору баз даних: бази даних німецьких дорожніх знаків (GTSRB, називається GTSRB-CNN у новій статті), яка була використана для навчання моделі для подібного сценарію атаки в 2018 році; бази даних ImageNet VGG16; і бази даних ImageNet Resnet-50.

Чи є ці атаки “лише теоретичними”, оскільки вони спрямовані проти відкритих джерел даних, а не проти пропріетарних, закритих систем у автономних транспортних засобах? Вони були б, якщо б великі дослідницькі центри не покладалися на відкриту екосистему, включаючи алгоритми та бази даних, і не працювали в секреті, щоб створити закриті джерела даних та не透бачні алгоритми розпізнавання.

Але загалом, це не так. Визначальні бази даних стають еталонами, за якими вимірюється весь прогрес (і авторитет/слава), тоді як відкриті системи розпізнавання зображень, такі як серія YOLO,迅ходять вперед, завдяки спільній глобальній співпраці, будь-якої внутрішньо розробленої закритої системи, призначеної для роботи на подібних принципах.

Вразливість FOSS

Даже якщо дані в рамках системи комп’ютерного зору в кінцевому підсумку будуть замінені повністю закритими даними, ваги “порожніх” моделей все ще часто калібруються на ранній стадії розробки за допомогою відкритих джерел даних, які ніколи не будуть повністю видалені – що означає, що отримані системи потенційно можуть бути націлені відкритими методами.

Крім того, використання відкритого підходу до систем комп’ютерного зору цього типу робить можливим для приватних компаній використовувати, безкоштовно, гілки інновацій з інших глобальних дослідницьких проєктів, додаючи фінансовий стимул для збереження архітектури доступної. Потім вони можуть спробувати закрити систему лише на етапі комерціалізації, після чого весь ряд виводимих відкритих джерел даних глибоко вбудований в неї.