Оптическая атака противника может изменить смысл дорожных знаков

Исследователи в США разработали атаку противника против способности систем машинного обучения правильно интерпретировать то, что они видят – включая критически важные элементы, такие как дорожные знаки – путем проецирования узорчатого света на реальные объекты. В одном эксперименте подход смог изменить смысл знака “СТОП” на знак ограничения скорости “30 миль в час”.

Пертурбации на знаке, созданные путем проецирования специального света на него, искажают его интерпретацию в системе машинного обучения. Источник: https://arxiv.org/pdf/2108.06247.pdf

Исследование называется Оптическая атака противника и было проведено в Университете Пердью в Индиане.

Оптическая атака противника (OPAD), предложенная в статье, использует структурированное освещение для изменения внешнего вида целевых объектов и требует только проектора, камеры и компьютера. Исследователи смогли успешно провести как белые, так и черные атаки с помощью этого метода.

Установка OPAD и минимальные искажения, которые достаточно, чтобы вызвать неправильную классификацию.

Установка OPAD состоит из проектора ViewSonic 3600 Lumens SVGA, камеры Canon T6i и ноутбука.

Черные ящики и целевые атаки

Белые атаки являются маловероятными сценариями, в которых атакующий может иметь прямой доступ к процедуре обучения модели или к управлению входными данными. Черные атаки, наоборот, обычно формулируются путем вывода того, как составлена система машинного обучения, или хотя бы как она ведет себя, создания “тень” моделей и разработки атак противника, предназначенных для работы с исходной моделью.

Здесь мы видим количество визуальных искажений, необходимых для обмана классификатора.

Во втором случае не требуется специальный доступ, хотя такие атаки сильно облегчаются повсеместным использованием открытых библиотекек и баз данных компьютерного зрения в текущих академических и коммерческих исследованиях.

Все атаки OPAD, описанные в новой статье, являются “целевыми” атаками, которые специально направлены на изменение того, как интерпретируются определенные объекты. Хотя система также была продемонстрирована как способная достигать обобщенных, абстрактных атак, исследователи утверждают, что реальный атакующий будет иметь более конкретную цель.

Атака OPAD является просто реальной версией часто исследуемого принципа введения шума в изображения, которые будут использоваться в системах компьютерного зрения. Ценность этого подхода заключается в том, что можно просто “проектировать” искажения на целевой объект, чтобы вызвать неправильную классификацию, тогда как обеспечение того, чтобы “троянские” изображения попали в процесс обучения, гораздо труднее.

В случае, когда OPAD смогла наложить хэшированный смысл изображения “скорость 30” в наборе данных на знак “СТОП”, базовое изображение было получено путем равномерного освещения объекта при интенсивности 140/255. Затем была применена проектор-компенсированная освещение в виде проецированной атаки спуска по градиенту.

Примеры атак OPAD на неправильную классификацию.

Исследователи отмечают, что основной задачей проекта было калибровать и настроить механизм проектора так, чтобы он достигал чистого “обмана”, поскольку углы, оптика и несколько других факторов представляют собой проблему для эксплуатации.

Кроме того, этот подход, скорее всего, будет работать только ночью. Будет ли очевидное освещение раскрывать “хак”, также является фактором; если объект, такой как знак, уже освещен, проектор должен компенсировать это освещение, и количество отраженных искажений также должно быть устойчивым к фарам. Похоже, что это система, которая будет работать лучше всего в городской среде, где освещение, скорее всего, будет более стабильным.

Исследование эффективно строит итерацию, ориентированную на ML, исследования Колумбийского университета 2004 года по изменению внешнего вида объектов путем проецирования других изображений на них – оптический эксперимент, лишенный зловредного потенциала OPAD.

При тестировании OPAD смогла обмануть классификатор в 31 из 64 атак – это успех в 48%. Исследователи отмечают, что успех зависит сильно от типа объекта, который атакуется. Пятнистые или изогнутые поверхности (такие как, соответственно, плюшевый мишка и кружка) не могут обеспечить достаточную прямую отражательную способность для проведения атаки. С другой стороны, намеренно отражающие плоские поверхности, такие как дорожные знаки, являются идеальными условиями для искажения OPAD.

Открытые атаки на поверхность

Все атаки были проведены против определенного набора баз данных: базы данных распознавания дорожных знаков Германии (GTSRB, называемой GTSRB-CNN в новой статье), которая была использована для обучения модели для podobного сценария атаки в 2018 году; набор данных ImageNet VGG16; и набор данных ImageNet Resnet-50.

Таким образом, являются ли эти атаки “просто теоретическими”, поскольку они направлены на открытые наборы данных, а не на проприетарные, закрытые системы в автономных транспортных средствах? Они были бы, если бы основные исследовательские подразделения не полагались на открытую экосистему, включая алгоритмы и наборы данных, и вместо этого работали в секрете, чтобы производить закрытые наборы данных и непрозрачные алгоритмы распознавания.

Но в целом это не так. Основные наборы данных становятся эталонами, по которым измеряется все прогресс (и оценка/признание), в то время как открытые системы распознавания изображений, такие как серия YOLO, опережают, благодаря глобальному сотрудничеству, любую внутренне разработанную, закрытую систему, предназначенную для работы на подобных принципах.

Воздействие FOSS

Даже в случае, когда данные в рамках компьютерного зрения будут в конечном итоге заменены полностью закрытыми данными, веса “опорожненных” моделей все равно часто калибруются на ранних этапах разработки с помощью FOSS-данных, которые никогда не будут полностью исключены – что означает, что полученные системы потенциально могут быть нацелены на FOSS-методы.

Кроме того, использование открытого подхода к системам компьютерного зрения этого типа позволяет частным компаниям бесплатно использовать ветвящиеся инновации из других глобальных исследовательских проектов, добавляя финансовый стимул для сохранения доступности архитектуры. Затем они могут попытаться закрыть систему только на этапе коммерциализации, к которому моменту целый ряд выводимых FOSS-метрик уже глубоко встроен в нее.