Оптична суперницька атака може змінити значення дорожніх знаків

Дослідники у США розробили атаку, що спрямована проти здатності систем машинного навчання правильно інтерпретувати побачене, зокрема критично важливі об'єкти, такі як дорожні знаки, шляхом спрямування візерунчастого світла на реальні об'єкти. В одному експерименті цей підхід успішно перетворив значення знаку «СТОП» на узбіччі дороги на знак обмеження швидкості «30 миль/год».

Збурення на знаку, створені сяючим створеним світлом на нього, спотворюють його інтерпретацію в системі машинного навчання. Джерело: https://arxiv.org/pdf/2108.06247.pdf

Команда дослідження має право Оптична ворожа атака, і походить з університету Пердью в Індіані.

OPtical Adversarial атака (OPAD), як запропоновано в документі, використовує структуроване освітлення для зміни зовнішнього вигляду цільових об’єктів і вимагає лише стандартного проектора, камери та комп’ютера. Дослідники змогли успішно здійснити атаки як білого, так і чорного ящика, використовуючи цю техніку.

Налаштування OPAD і мінімально сприйняті (людьми) викривлення, достатні для того, щоб спричинити неправильну класифікацію.

Налаштування для OPAD складається з проектора ViewSonic 3600 люменів SVGA, камери Canon T6i та портативного комп’ютера.

Чорний ящик і цілеспрямовані атаки

Атаки методом «білої скриньки» – це малоймовірні сценарії, коли зловмисник може мати прямий доступ до процедури навчальної моделі або до керування вхідними даними. Атаки методом «чорної скриньки», навпаки, зазвичай формулюються шляхом висновку про те, як побудовано машинне навчання, або принаймні як воно поводиться, створення «тіньових» моделей та розробки атак-змагачів, призначених для роботи з оригінальною моделлю.

Тут ми бачимо кількість візуальних збурень, необхідних, щоб обдурити класифікаціюе.

В останньому випадку не потрібен спеціальний доступ, хоча такі атаки значною мірою сприяють повсюдному поширенню відкритих бібліотек комп’ютерного зору та баз даних у поточних академічних і комерційних дослідженнях.

Усі атаки OPAD, описані в новій статті, є «цільовими» атаками, які спрямовані на зміну способу інтерпретації певних об'єктів. Хоча система також продемонструвала здатність здійснювати узагальнені, абстрактні атаки, дослідники стверджують, що зловмисник у реальному світі матиме більш конкретну руйнівну мету.

Атака OPAD — це просто реальна версія часто досліджуваного принципу введення шуму в зображення, які будуть використовуватися в системах комп'ютерного зору. Цінність цього підходу полягає в тому, що можна просто «проектувати» збурення на цільовий об'єкт, щоб викликати неправильну класифікацію, тоді як забезпечити потрапляння зображень «троянського коня» в процес навчання досить складно.

У випадку, коли OPAD зміг накласти хешоване значення зображення «швидкість 30» з набору даних на знак «СТОП», базове зображення було отримано шляхом рівномірного освітлення об'єкта з інтенсивністю 140/255. Потім було застосовано освітлення з компенсацією проектора як проектоване атака градієнтного спуску.

Приклади атак неправильної класифікації OPAD.

Дослідники зазначають, що головним викликом проекту було калібрування та налаштування механізму проектора таким чином, щоб він досяг чистого «обману», оскільки кути, оптика та кілька інших факторів є проблемою для його використання.

Крім того, цей підхід, ймовірно, працюватиме лише вночі. Також важливим фактором є те, чи виявить очевидне освітлення «злом»; якщо об’єкт, такий як вивіска, вже освітлений, проектор повинен компенсувати це освітлення, а кількість відбитих збурень також має бути стійкою до фар. Здавалося б, ця система найкраще працюватиме в міському середовищі, де навколишнє освітлення, ймовірно, буде стабільнішим.

Дослідження ефективно створює орієнтовану на машинне навчання ітерацію Колумбійського університету 2004 дослідження змінювати зовнішній вигляд об’єктів шляхом проектування на них інших зображень – експеримент на основі оптики, якому не вистачає шкідливого потенціалу OPAD.

Під час тестування OPAD зміг обдурити класифікатор у 31 із 64 атак – 48% успіху. Дослідники відзначають, що відсоток успіху значною мірою залежить від типу об’єкта, який атакується. Плямисті або вигнуті поверхні (такі як, відповідно, плюшевий ведмедик і кухоль) не можуть забезпечити достатню пряму відбивну здатність для здійснення атаки. З іншого боку, навмисно відбиваючі плоскі поверхні, такі як дорожні знаки, є ідеальним середовищем для спотворення OPAD.

Поверхні атак з відкритим кодом

Усі атаки були здійснені проти певного набору баз даних: німецької бази даних розпізнавання дорожніх знаків (ГЦРБ, який у новій статті називається GTSRB-CNN), який використовувався для навчання моделі для a аналогічний сценарій атаки в 2018 році; ImageNet VGG16 набір даних; і ImageNet Реснет-50 встановлений.

Отже, чи є ці атаки «лише теоретичними», оскільки вони спрямовані на набори даних з відкритим кодом, а не на пропрієтарні, закриті системи в автономних транспортних засобах? Вони були б такими, якби основні дослідницькі підрозділи не покладалися на екосистему відкритого коду, включаючи алгоритми та набори даних, а натомість таємно працювали над створенням наборів даних із закритим кодом та непрозорих алгоритмів розпізнавання.

Але загалом це працює не так. Знакові набори даних стають орієнтирами, за якими вимірюється весь прогрес (і повага/визнання), тоді як системи розпізнавання зображень з відкритим кодом, такі як серія YOLO, завдяки спільній глобальній співпраці випереджають будь-яку внутрішньо розроблену, закриту систему, призначену для роботи за подібними принципами.

Викриття FOSS

Навіть там, де дані в системі комп'ютерного зору зрештою будуть замінені повністю закритими даними, ваги «випорожнених» моделей все ще часто калібруються на ранніх стадіях розробки за допомогою даних FOSS, які ніколи не будуть повністю відкинуті, а це означає, що отримані системи потенційно можуть бути цільовими для методів FOSS.

Крім того, покладаючись на підхід із відкритим кодом до систем CV такого характеру, приватні компанії можуть безкоштовно використовувати розгалужені інновації з інших глобальних дослідницьких проектів, додаючи фінансовий стимул для збереження доступності архітектури. Після цього вони можуть спробувати закрити систему лише в точці комерціалізації, до цього часу в ній глибоко вбудовано цілий масив виведених показників FOSS.