Оптическая атака противников может изменить значение дорожных знаков

Исследователи в США разработали атаку противников против способности систем машинного обучения правильно интерпретировать то, что они видят – включая такие важные элементы, как дорожные знаки – путем проецирования структурированного света на реальные объекты. В одном эксперименте этот подход смог изменить значение дорожного знака “СТОП” на знак ограничения скорости “30 миль в час”.

Пертурбации на знаке, созданные путем проецирования специально созданного света на него, искажают его интерпретацию в системе машинного обучения. Источник: https://arxiv.org/pdf/2108.06247.pdf

Исследование, озаглавленное Оптическая атака противников, было проведено в Университете Пердью в штате Индиана.

Атака противников с использованием оптических средств (OPAD), предложенная в статье, использует структурированное освещение для изменения внешнего вида целевых объектов и требует только проектора, камеры и компьютера. Исследователи смогли успешно провести как белые, так и черные атаки с использованием этого метода.

Установка OPAD и минимально воспринимаемые (люди) искажения, достаточные для неправильной классификации.

Установка OPAD состоит из проектора ViewSonic 3600 Lumens SVGA, камеры Canon T6i и ноутбука.

Черный ящик и целевые атаки

Белые атаки являются маловероятными сценариями, в которых атакующий может иметь прямой доступ к процедуре обучения модели или к управлению входными данными. Черные атаки, с другой стороны, обычно формулируются путем вывода о том, как работает система машинного обучения, или至少 о том, как она ведет себя, создания “теневых” моделей и разработки атак противников, предназначенных для работы с исходной моделью.

Здесь мы видим количество визуальных пертурбаций, необходимых для обмана классификатора.

В последнем случае не требуется специального доступа, хотя такие атаки сильно облегчаются повсеместным использованием открытых библиотек и баз данных компьютерного зрения в текущих академических и коммерческих исследованиях.

Все атаки OPAD, описанные в новой статье, являются “целевыми” атаками, которые конкретно направлены на изменение интерпретации определенных объектов. Хотя система также была продемонстрирована как способная достигать обобщенных, абстрактных атак, исследователи утверждают, что реальный атакующий будет иметь более конкретную разрушительную цель.

Атака OPAD является просто реальной версией часто исследуемого принципа введения шума в изображения, которые будут использоваться в системах компьютерного зрения. Ценность этого подхода заключается в том, что можно просто “проектировать” пертурбации на целевой объект, чтобы вызвать неправильную классификацию, тогда как обеспечение того, чтобы “троянские” изображения попали в процесс обучения, намного сложнее.

В случае, когда OPAD смогла навязать хэшированное значение изображения “ограничение скорости 30” в наборе данных знаку “СТОП”, базовое изображение было получено путем равномерного освещения объекта при интенсивности 140/255. Затем была применена проектор-компенсированное освещение в виде проецированной атаки градиентного спуска.

Примеры атак OPAD на неправильную классификацию.

Исследователи отмечают, что основной задачей проекта было калибровка и настройка механизма проектора так, чтобы он достигал чистой “обмана”, поскольку углы, оптика и несколько других факторов представляют собой вызов для эксплуатации.

Кроме того, этот подход, вероятно, будет работать только ночью. То, будет ли очевидное освещение раскрывать “хак”, также является фактором; если объект, такой как знак, уже освещен, проектор должен компенсировать это освещение, и количество отраженных пертурбаций также должно быть устойчивым к фарам. Казалось бы, это система, которая будет работать лучше всего в городской среде, где освещение более стабильно.

Исследование эффективно строит итерацию, ориентированную на машинное обучение, исследования Колумбийского университета 2004 года по изменению внешнего вида объектов путем проецирования других изображений на них – оптический эксперимент, лишенный злонамеренного потенциала OPAD.

При тестировании OPAD смогла обмануть классификатор в 31 из 64 атак – это 48% успеха. Исследователи отмечают, что успех зависит сильно от типа атакуемого объекта. Пятнистые или изогнутые поверхности (такие как, соответственно, плюшевый мишка и кружка) не могут обеспечить достаточную прямую отражательную способность для проведения атаки. С другой стороны, намеренно отражающие плоские поверхности, такие как дорожные знаки, являются идеальными средами для искажения OPAD.

Открытые атаки на поверхности

Все атаки были проведены против конкретного набора баз данных: базы данных распознавания дорожных знаков Германии (GTSRB, называемой GTSRB-CNN в новой статье), которая была использована для обучения модели для podobного сценария атаки в 2018 году; набор данных ImageNet VGG16; и набор данных ImageNet Resnet-50.

Итак, являются ли эти атаки “просто теоретическими”, поскольку они направлены на открытые базы данных, а не на проприетарные, закрытые системы в автономных транспортных средствах? Они были бы, если бы основные исследовательские подразделения не полагались на открытую экосистему, включая алгоритмы и базы данных, и вместо этого работали в секрете, чтобы создать закрытые базы данных и непрозрачные алгоритмы распознавания.

Но в целом это не так. Основные наборы данных становятся эталонами, по которым измеряется весь прогресс (и авторитет/признание), в то время как открытые системы распознавания изображений, такие как серия YOLO, опережают, благодаря общему глобальному сотрудничеству, любую внутренне разработанную закрытую систему, предназначенную для работы на подобных принципах.

Уязвимость FOSS

Даже в случае, когда данные в框варке компьютерного зрения в конечном итоге будут заменены полностью закрытыми данными, веса “опорожненных” моделей часто калибруются на ранних стадиях разработки с помощью открытых данных, которые никогда не будут полностью исключены – что означает, что полученные системы потенциально могут быть атакованы с помощью методов FOSS.

Кроме того, использование открытого подхода к системам компьютерного зрения этого типа позволяет частным компаниям воспользоваться, бесплатно, ветвящимися инновациями из других глобальных исследовательских проектов, добавляя финансовый стимул для сохранения доступности архитектуры. Затем они могут попытаться закрыть систему только на этапе коммерциализации, к тому времени как целый ряд выводимых метрик FOSS глубоко встроен в нее.