Ataque Adversarial Óptico Puede Cambiar el Significado de las Señales de Tráfico

Investigadores en EE. UU. han desarrollado un ataque adversarial contra la capacidad de los sistemas de aprendizaje automático para interpretar correctamente lo que ven, incluidos elementos críticos como las señales de tráfico, proyectando luz con patrones sobre objetos del mundo real. En un experimento, el enfoque tuvo éxito en hacer que el significado de una señal de tráfico de “ALTO” se transformara en una señal de límite de velocidad de “30 mph”.

Perturbaciones en una señal, creadas al proyectar luz elaborada sobre ella, distorsionan cómo se interpreta en un sistema de aprendizaje automático. Fuente: https://arxiv.org/pdf/2108.06247.pdf

La investigación se titula Ataque Adversarial Óptico y proviene de la Universidad de Purdue en Indiana.

Un ataque adversarial óptico (OPAD), como se propone en el documento, utiliza iluminación estructurada para alterar la apariencia de objetos objetivo, y solo requiere un proyector de commodities, una cámara y una computadora. Los investigadores pudieron llevar a cabo con éxito tanto ataques de caja blanca como de caja negra utilizando esta técnica.

El conjunto de OPAD y las distorsiones mínimamente percibidas (por las personas) que son adecuadas para causar una mala clasificación.

El conjunto de OPAD consiste en un proyector ViewSonic 3600 Lumens SVGA, una cámara Canon T6i y una computadora portátil.

Ataques de Caja Negra y Dirigidos

Los ataques de caja blanca son escenarios poco probables en los que un atacante puede tener acceso directo a un procedimiento de modelo de entrenamiento o a la gobernanza de los datos de entrada. Los ataques de caja negra, por el contrario, suelen formularse infiriendo cómo se compone un sistema de aprendizaje automático, o al menos cómo se comporta, creando “modelos de sombra” y desarrollando ataques adversarios diseñados para funcionar en el modelo original.

Aquí vemos la cantidad de perturbación visual necesaria para engañar al clasificador.

En el último caso, no se necesita acceso especial, aunque dichos ataques se ven grandemente ayudados por la ubicuidad de bibliotecas y bases de datos de visión por computadora de código abierto en la investigación académica y comercial actual.

Todos los ataques OPAD descritos en el nuevo documento son “ataques dirigidos”, que buscan específicamente alterar cómo se interpretan ciertos objetos. Aunque el sistema también ha demostrado ser capaz de lograr ataques abstractos y generalizados, los investigadores sostienen que un atacante del mundo real tendría un objetivo disruptivo más específico.

El ataque OPAD es simplemente una versión del mundo real del principio frecuentemente investigado de inyectar ruido en imágenes que se utilizarán en sistemas de visión por computadora. El valor del enfoque es que uno puede simplemente “proyectar” las perturbaciones sobre el objeto objetivo para desencadenar la mala clasificación, mientras que asegurarse de que las imágenes “caballo de Troya” terminen en el proceso de entrenamiento es más difícil de lograr.

En el caso en que OPAD pudo imponer el significado hash de la imagen “velocidad 30” en un conjunto de datos sobre una señal de “ALTO”, la imagen base se obtuvo iluminando el objeto uniformemente a una intensidad de 140/255. Luego se aplicó iluminación compensada por proyector como un ataque de gradiente descendente proyectado.

Ejemplos de ataques de mala clasificación de OPAD.

Los investigadores observan que el principal desafío del proyecto ha sido calibrar y configurar el mecanismo del proyector para que logre un “engaño” limpio, ya que los ángulos, la óptica y varios otros factores son un desafío para la explotación.

Además, el enfoque solo es probable que funcione de noche. Si la iluminación obvia revelaría el “hack” también es un factor; si un objeto como una señal ya está iluminado, el proyector debe compensar esa iluminación, y la cantidad de perturbación reflejada también debe ser resistente a los faros. Parece ser un sistema que funcionaría mejor en entornos urbanos, donde la iluminación ambiental es probable que sea más estable.

La investigación construye efectivamente una iteración orientada a ML de la investigación de 2004 de la Universidad de Columbia sobre cambiar la apariencia de objetos proyectando otras imágenes sobre ellos, un experimento óptico que carece del potencial maligno de OPAD.

Al probar, OPAD pudo engañar a un clasificador en 31 de 64 ataques, una tasa de éxito del 48%. Los investigadores señalan que la tasa de éxito depende en gran medida del tipo de objeto que se ataca. Las superficies moteadas o curvas (como, respectivamente, un oso de peluche y una taza) no pueden proporcionar suficiente reflectividad directa para realizar el ataque. Por otro lado, las superficies planas intencionalmente reflectantes, como las señales de tráfico, son entornos ideales para una distorsión de OPAD.

Superficies de Ataque de Código Abierto

Todos los ataques se llevaron a cabo contra un conjunto específico de bases de datos: la base de datos de reconocimiento de señales de tráfico alemanas (GTSRB, llamada GTSRB-CNN en el nuevo documento), que se utilizó para entrenar el modelo para un escenario de ataque similar en 2018; el conjunto de datos ImageNet VGG16; y el conjunto de datos ImageNet Resnet-50.

Entonces, ¿son estos ataques “meramente teóricos”, ya que se dirigen a conjuntos de datos de código abierto y no a sistemas propietarios y cerrados en vehículos autónomos? Lo serían, si los principales brazos de investigación no confiaran en la ecosistema de código abierto, incluidos algoritmos y conjuntos de datos, y en su lugar trabajaran en secreto para producir conjuntos de datos y algoritmos de reconocimiento de imágenes opacos.

Pero en general, no es así como funciona. Los conjuntos de datos emblemáticos se convierten en los puntos de referencia contra los cuales se mide todo el progreso (y el estatus/reconocimiento), mientras que los sistemas de reconocimiento de imágenes de código abierto, como la serie YOLO, avanzan, a través de la cooperación global común, más allá de cualquier sistema cerrado y desarrollado internamente destinado a operar sobre principios similares.

La Exposición de FOSS

Incluso cuando los datos en un marco de visión por computadora eventualmente se sustituirán con datos completamente cerrados, los pesos de los modelos “vacíos” todavía se calibran con frecuencia en las primeras etapas de desarrollo con datos de FOSS que nunca se descartarán por completo, lo que significa que los sistemas resultantes pueden ser potencialmente objetivo de métodos de FOSS.

Además, confiar en un enfoque de código abierto para sistemas de visión por computadora de este tipo hace posible que las empresas privadas se beneficien, de forma gratuita, de innovaciones ramificadas de otros proyectos de investigación globales, agregando un incentivo financiero para mantener la arquitectura accesible. Después de eso, pueden intentar cerrar el sistema solo en el punto de comercialización, por el que tiempo una serie completa de métricas de FOSS inferibles están profundamente incrustadas en él.