Оптическая состязательная атака может изменить значение дорожных знаков

Американские исследователи разработали атаку, направленную на способность систем машинного обучения правильно интерпретировать увиденное, включая критически важные объекты, такие как дорожные знаки, путём подсветки объектов реального мира узорчатым светом. В одном из экспериментов этот подход позволил преобразовать дорожный знак «STOP» в знак ограничения скорости «30 миль в час».

Возмущения на знаке, созданные путем освещения его искусственно созданным светом, искажают то, как он интерпретируется в системе машинного обучения. Источник: https://arxiv.org/pdf/2108.06247.pdf

The исследованиями имеет право Оптическая состязательная атака, и происходит из Университета Пердью в Индиане.

Оптическая рекламная атака (OPAD), предложенная в документе, использует структурированное освещение для изменения внешнего вида целевых объектов и требует только стандартного проектора, камеры и компьютера. Исследователи смогли успешно провести атаки как белого, так и черного ящика, используя эту технику.

Настройка OPAD и минимально воспринимаемые (людьми) искажения, достаточные для ошибочной классификации.

Установка для OPAD состоит из SVGA-проектора ViewSonic 3600 люмен, камеры Canon T6i и портативного компьютера.

Черный ящик и целевые атаки

Атаки «белого ящика» — маловероятные сценарии, в которых злоумышленник может иметь прямой доступ к процедуре обучения модели или управлению входными данными. Атаки «черного ящика», напротив, обычно формулируются путем определения структуры машинного обучения или, по крайней мере, его поведения, создания «теневых» моделей и разработки состязательных атак, предназначенных для работы с исходной моделью.

Здесь мы видим количество визуальных искажений, необходимых для того, чтобы обмануть классификацию.э.

В последнем случае специальный доступ не требуется, хотя таким атакам во многом способствует повсеместное распространение библиотек и баз данных компьютерного зрения с открытым исходным кодом в текущих академических и коммерческих исследованиях.

Все атаки OPAD, описанные в новой статье, являются «целевыми» и направлены на изменение интерпретации определённых объектов. Хотя система также продемонстрировала способность проводить обобщённые, абстрактные атаки, исследователи утверждают, что у реального злоумышленника была бы более конкретная цель.

Атака OPAD — это просто практическое применение часто исследуемого принципа внесения шума в изображения, который будет использоваться в системах компьютерного зрения. Ценность этого подхода заключается в том, что можно просто «спроецировать» возмущения на целевой объект, чтобы вызвать ошибку классификации, в то время как гарантировать попадание изображений-«троянских коней» в процесс обучения гораздо сложнее.

В случае, когда OPAD удалось наложить хешированное значение изображения «скорость 30» из набора данных на знак «СТОП», базовое изображение было получено путём равномерного освещения объекта с интенсивностью 140/255. Затем использовалось компенсированное проектором освещение в качестве проецируемого атака с градиентным спуском.

Примеры атак неправильной классификации OPAD.

Исследователи отмечают, что главной сложностью проекта была калибровка и настройка механизма проектора таким образом, чтобы он обеспечивал чистый «обман», поскольку углы, оптика и ряд других факторов представляют собой проблему для эксплойта.

Кроме того, этот подход, скорее всего, будет работать только ночью. Также имеет значение, выявит ли очевидное освещение «взлом»; если объект, например, знак, уже освещён, проектор должен компенсировать это освещение, а величина отражённого излучения также должна быть устойчива к фарам. Похоже, такая система лучше всего будет работать в городской среде, где естественное освещение, вероятно, более стабильно.

Исследование эффективно создает ориентированную на машинное обучение версию Колумбийского университета Исследование 2004 в изменение внешнего вида объектов путем проецирования на них других изображений — эксперимент, основанный на оптике, которому не хватает пагубного потенциала OPAD.

При тестировании OPAD смог обмануть классификатор в 31 атаке из 64, что составляет 48% успеха. Исследователи отмечают, что вероятность успеха сильно зависит от типа атакуемого объекта. Пятнистые или изогнутые поверхности (такие как, соответственно, плюшевый мишка и кружка) не могут обеспечить достаточную прямую отражательную способность для проведения атаки. С другой стороны, намеренно отражающие плоские поверхности, такие как дорожные знаки, являются идеальной средой для искажения OPAD.

Поверхности атак с открытым исходным кодом

Все атаки были предприняты против определенного набора баз данных: немецкой базы данных распознавания дорожных знаков (ГЦРБ, названный GTSRB-CNN в новой статье), который использовался для обучения модели для аналогичный сценарий атаки в 2018 году; ImageNet ВГГ16 набор данных; и ImageNet Реснет-50 комплект.

Итак, являются ли эти атаки «чисто теоретическими», поскольку они нацелены на наборы данных с открытым исходным кодом, а не на проприетарные закрытые системы в автономных автомобилях? Они были бы таковыми, если бы основные исследовательские подразделения не полагались на экосистему с открытым исходным кодом, включая алгоритмы и наборы данных, а вместо этого тайно трудились над созданием наборов данных с закрытым исходным кодом и непрозрачных алгоритмов распознавания.

Но в целом это работает не так. Знаменитые наборы данных становятся эталонами, по которым измеряется любой прогресс (и уважение/признание), в то время как системы распознавания изображений с открытым исходным кодом, такие как серия YOLO, благодаря общему глобальному сотрудничеству опережают любые внутренние закрытые системы, предназначенные для работы по аналогичным принципам.

FOSS-разоблачение

Даже если данные в среде компьютерного зрения в конечном итоге будут заменены полностью закрытыми данными, веса «опустошенных» моделей по-прежнему часто калибруются на ранних стадиях разработки с использованием данных FOSS, которые никогда не будут полностью отброшены, — а это значит, что полученные системы потенциально могут быть объектом исследований с использованием методов FOSS.

Кроме того, опора на подход с открытым исходным кодом к системам CV такого рода позволяет частным компаниям бесплатно пользоваться разветвленными инновациями из других глобальных исследовательских проектов, добавляя финансовый стимул для сохранения доступности архитектуры. После этого они могут попытаться закрыть систему только в момент ее коммерциализации, когда в нее уже глубоко встроен весь набор выводимых метрик СОПО.