Информационная безопасность
Оптическая состязательная атака может изменить значение дорожных знаков
Исследователи в США разработали состязательную атаку на способность систем машинного обучения правильно интерпретировать то, что они видят, включая критически важные предметы, такие как дорожные знаки, путем проецирования узорчатого света на объекты реального мира. В одном эксперименте этот подход позволил преобразовать значение придорожного знака «СТОП» в знак ограничения скорости «30 миль в час».
Возмущения на знаке, созданные путем освещения его искусственно созданным светом, искажают то, как он интерпретируется в системе машинного обучения. Источник: https://arxiv.org/pdf/2108.06247.pdf
Ассоциация исследованиям имеет право Оптическая состязательная атака, и происходит из Университета Пердью в Индиане.
Оптическая рекламная атака (OPAD), предложенная в документе, использует структурированное освещение для изменения внешнего вида целевых объектов и требует только стандартного проектора, камеры и компьютера. Исследователи смогли успешно провести атаки как белого, так и черного ящика, используя эту технику.
Настройка OPAD и минимально воспринимаемые (людьми) искажения, достаточные для ошибочной классификации.
Установка для OPAD состоит из SVGA-проектора ViewSonic 3600 люмен, камеры Canon T6i и портативного компьютера.
Черный ящик и целевые атаки
Атаки методом «белого ящика» — это маловероятные сценарии, когда злоумышленник может иметь прямой доступ к процедуре обучающей модели или к управлению входными данными. Атаки черного ящика, наоборот, обычно формулируются путем вывода о том, как устроено машинное обучение или, по крайней мере, как оно себя ведет, создания «теневых» моделей и разработки состязательных атак, предназначенных для работы с исходной моделью.
Здесь мы видим количество визуальных искажений, необходимых для того, чтобы обмануть классификацию.э.
В последнем случае специальный доступ не требуется, хотя таким атакам во многом способствует повсеместное распространение библиотек и баз данных компьютерного зрения с открытым исходным кодом в текущих академических и коммерческих исследованиях.
Все атаки OPAD, описанные в новой статье, являются «целевыми» атаками, которые специально направлены на изменение того, как интерпретируются определенные объекты. Хотя система также продемонстрировала способность выполнять обобщенные абстрактные атаки, исследователи утверждают, что у реального злоумышленника будет более конкретная разрушительная цель.
Атака OPAD — это просто реальная версия часто исследуемого принципа введения шума в изображения, которые будут использоваться в системах компьютерного зрения. Ценность подхода заключается в том, что можно просто «проецировать» возмущения на целевой объект, чтобы вызвать ошибочную классификацию, в то время как добиться того, чтобы изображения «троянского коня» попадали в процесс обучения, довольно сложно.
В случае, когда OPAD смог наложить хешированное значение изображения «скорость 30» в наборе данных на знак «СТОП», базовое изображение было получено путем равномерного освещения объекта с интенсивностью 140/255. Затем в качестве проекционного атака с градиентным спуском.
Примеры атак неправильной классификации OPAD.
Исследователи отмечают, что основная задача проекта заключалась в калибровке и настройке механизма проектора таким образом, чтобы он достиг чистого «обмана», поскольку ракурсы, оптика и ряд других факторов являются проблемой для эксплойта.
Кроме того, подход, скорее всего, будет работать только ночью. Также имеет значение, покажет ли очевидное освещение «взлом»; если такой объект, как знак, уже освещен, проектор должен компенсировать это освещение, а количество отраженных возмущений также должно быть устойчивым к фарам. Казалось бы, это система, которая лучше всего будет работать в городских условиях, где окружающее освещение, вероятно, будет более стабильным.
Исследование эффективно строит ориентированную на машинное обучение итерацию Колумбийского университета. Исследование 2004 в изменение внешнего вида объектов путем проецирования на них других изображений — эксперимент, основанный на оптике, которому не хватает пагубного потенциала OPAD.
При тестировании OPAD смог обмануть классификатор в 31 атаке из 64, что составляет 48% успеха. Исследователи отмечают, что вероятность успеха сильно зависит от типа атакуемого объекта. Пятнистые или изогнутые поверхности (такие как, соответственно, плюшевый мишка и кружка) не могут обеспечить достаточную прямую отражательную способность для проведения атаки. С другой стороны, намеренно отражающие плоские поверхности, такие как дорожные знаки, являются идеальной средой для искажения OPAD.
Поверхности атак с открытым исходным кодом
Все атаки были предприняты против определенного набора баз данных: немецкой базы данных распознавания дорожных знаков (ГЦРБ, названный GTSRB-CNN в новой статье), который использовался для обучения модели для аналогичный сценарий атаки в 2018 году; ImageNet ВГГ16 набор данных; и ImageNet Реснет-50 комплект.
Итак, являются ли эти атаки «чисто теоретическими», поскольку они нацелены на наборы данных с открытым исходным кодом, а не на проприетарные закрытые системы в автономных транспортных средствах? Они были бы такими, если бы основные исследовательские подразделения не полагались на экосистему с открытым исходным кодом, включая алгоритмы и наборы данных, а вместо этого тайно трудились над созданием наборов данных с закрытым исходным кодом и непрозрачных алгоритмов распознавания.
Но в целом это не так работает. Наборы данных Landmark становятся эталоном, по которому измеряется весь прогресс (и уважение/признание), в то время как системы распознавания изображений с открытым исходным кодом, такие как серия YOLO, благодаря общему глобальному сотрудничеству опережают любую внутреннюю закрытую систему, предназначенную для работы на аналогичных принципах. .
FOSS-разоблачение
Даже если данные в рамках компьютерного зрения в конечном итоге будут заменены полностью закрытыми данными, веса «опустошенных» моделей по-прежнему часто калибруются на ранних стадиях разработки с помощью данных FOSS, которые никогда не будут полностью отброшены, а это означает, что полученные системы потенциально могут быть нацелены на методы FOSS.
Кроме того, опора на подход с открытым исходным кодом к системам CV такого рода позволяет частным компаниям бесплатно пользоваться разветвленными инновациями из других глобальных исследовательских проектов, добавляя финансовый стимул для сохранения доступности архитектуры. После этого они могут попытаться закрыть систему только в момент ее коммерциализации, когда в нее уже глубоко встроен весь набор выводимых метрик СОПО.
