Ataque adversario óptico puede cambiar el significado de señales de tráfico

Los investigadores en EE. UU. han desarrollado un ataque adversario contra la capacidad de los sistemas de aprendizaje automático para interpretar correctamente lo que ven, incluidos elementos críticos de la misión como señales de tráfico, proyectando luz con patrones sobre objetos del mundo real. En un experimento, el enfoque logró cambiar el significado de una señal de tráfico de “ALTO” a un límite de velocidad de “30 mph”.

Perturbaciones en una señal, creadas al proyectar luz elaborada sobre ella, distorsionan cómo se interpreta en un sistema de aprendizaje automático. Fuente: https://arxiv.org/pdf/2108.06247.pdf

La investigación se titula Ataque adversario óptico, y proviene de la Universidad de Purdue en Indiana.

Un ataque adversario óptico (OPAD), como se propone en el documento, utiliza iluminación estructurada para alterar la apariencia de objetos objetivo, y solo requiere un proyector de commodities, una cámara y una computadora. Los investigadores pudieron realizar con éxito ataques de caja blanca y caja negra utilizando esta técnica.

El conjunto de OPAD, y las distorsiones mínimamente percibidas (por las personas) que son adecuadas para causar una mala clasificación.

El conjunto para OPAD consiste en un proyector ViewSonic 3600 Lumens SVGA, una cámara Canon T6i y una computadora portátil.

Ataques de caja negra y dirigidos

Los ataques de caja blanca son escenarios poco probables donde un atacante puede tener acceso directo a un procedimiento de modelo de entrenamiento o a la gobernanza de los datos de entrada. Los ataques de caja negra, por el contrario, suelen formularse infiriendo cómo se compone un sistema de aprendizaje automático, o al menos cómo se comporta, creando “modelos sombra” y desarrollando ataques adversarios diseñados para funcionar en el modelo original.

Aquí vemos la cantidad de perturbación visual necesaria para engañar al clasificador.

En el último caso, no se necesita acceso especial, aunque dichos ataques son grandemente ayudados por la ubicuidad de bibliotecas y bases de datos de visión por computadora de código abierto en la investigación académica y comercial actual.

Todos los ataques OPAD descritos en el nuevo documento son ataques “dirigidos”, que buscan específicamente alterar cómo se interpretan ciertos objetos. Aunque el sistema también ha demostrado ser capaz de lograr ataques abstractos y generalizados, los investigadores sostienen que un atacante del mundo real tendría un objetivo disruptivo más específico.

El ataque OPAD es simplemente una versión del mundo real del principio frecuentemente investigado de inyectar ruido en imágenes que se utilizarán en sistemas de visión por computadora. El valor del enfoque es que simplemente se puede “proyectar” las perturbaciones sobre el objeto objetivo para desencadenar la mala clasificación, mientras que asegurarse de que las imágenes “caballo de Troya” terminen en el proceso de entrenamiento es más difícil de lograr.

En el caso en que OPAD pudo imponer el significado hash de la imagen “velocidad 30” en un conjunto de datos sobre una señal de “ALTO”, la imagen base se obtuvo iluminando el objeto de manera uniforme a una intensidad de 140/255. Luego se aplicó iluminación compensada por proyector como un ataque de gradiente descendente.

Ejemplos de ataques de mala clasificación de OPAD.

Los investigadores observan que el principal desafío del proyecto ha sido calibrar y configurar el mecanismo del proyector para que logre un “engaño” limpio, ya que los ángulos, la óptica y varios otros factores son un desafío para la explotación.

Además, el enfoque solo es probable que funcione por la noche. Si la iluminación obvia revelaría el “hack” también es un factor; si un objeto como una señal ya está iluminado, el proyector debe compensar esa iluminación, y la cantidad de perturbación reflejada también debe ser resistente a los faros. Parecería ser un sistema que funcionaría mejor en entornos urbanos, donde la iluminación ambiental es probable que sea más estable.

La investigación construye efectivamente una iteración orientada a ML de la investigación de la Universidad de Columbia de 2004 sobre cambiar la apariencia de objetos proyectando otras imágenes sobre ellos, un experimento óptico que carece del potencial maligno de OPAD.

En las pruebas, OPAD pudo engañar a un clasificador en 31 de 64 ataques, una tasa de éxito del 48%. Los investigadores señalan que la tasa de éxito depende en gran medida del tipo de objeto que se ataca. Las superficies moteadas o curvas (como, respectivamente, un oso de peluche y una taza) no pueden proporcionar suficiente reflectividad directa para realizar el ataque. Por otro lado, las superficies planas intencionalmente reflectantes, como las señales de tráfico, son entornos ideales para una distorsión de OPAD.

Superficies de ataque de código abierto

Todos los ataques se llevaron a cabo contra un conjunto específico de bases de datos: la base de datos de reconocimiento de señales de tráfico alemanas (GTSRB, llamada GTSRB-CNN en el nuevo documento), que se utilizó para entrenar el modelo para un escenario de ataque similar en 2018; el conjunto de datos VGG16 de ImageNet VGG16; y el conjunto de datos Resnet-50 de ImageNet Resnet-50.

Así que, ¿estos ataques son “meramente teóricos”, ya que apuntan a conjuntos de datos de código abierto y no a sistemas propietarios en vehículos autónomos? Lo serían, si los principales brazos de investigación no dependieran de la infraestructura de código abierto, incluidos algoritmos y conjuntos de datos, y en cambio trabajaran en secreto para producir conjuntos de datos y algoritmos de reconocimiento de código propietario y opaco.

Pero en general, eso no es cómo funciona. Los conjuntos de datos emblemáticos se convierten en los puntos de referencia con los que se mide todo el progreso (y estima/reconocimiento), mientras que los sistemas de reconocimiento de imágenes de código abierto, como la serie YOLO, avanzan, a través de la cooperación global común, más allá de cualquier sistema de código cerrado desarrollado internamente destinado a operar sobre principios similares.

La exposición de FOSS

Incluso cuando los datos en un marco de visión por computadora eventualmente se sustituirán con datos completamente cerrados, los pesos de los modelos “vacíos” todavía se calibran con frecuencia en las primeras etapas del desarrollo con datos de FOSS que nunca se descartarán por completo, lo que significa que los sistemas resultantes pueden ser potencialmente objetivo de métodos de FOSS.

Además, depender de un enfoque de código abierto para sistemas de visión por computadora de este tipo hace que las empresas privadas puedan aprovecharse, de forma gratuita, de innovaciones ramificadas de otros proyectos de investigación globales, agregando un incentivo financiero para mantener la arquitectura accesible. Luego pueden intentar cerrar el sistema solo en el punto de comercialización, momento en el que una serie completa de métricas de FOSS inferibles ya están profundamente incrustadas en él. en Unite.AI