Ataque Adversarial Óptico Pode Alterar o Significado de Placas de Trânsito

Pesquisadores nos EUA desenvolveram um ataque adversarial contra a capacidade de sistemas de aprendizado de máquina de interpretar corretamente o que veem – incluindo itens críticos como placas de trânsito – brilhando luz padrão em objetos do mundo real. Em um experimento, a abordagem conseguiu alterar o significado de uma placa de “PARE” para uma placa de limite de velocidade de “30mph”.

Perturbações em uma placa, criadas por luz projetada nela, distorcem como ela é interpretada em um sistema de aprendizado de máquina. Fonte: https://arxiv.org/pdf/2108.06247.pdf

A pesquisa é intitulada Ataque Adversarial Óptico e vem da Purdue University, em Indiana.

Um ataque adversarial óptico (OPAD), como proposto pelo artigo, usa iluminação estruturada para alterar a aparência de objetos-alvo e requer apenas um projetor de commodity, uma câmera e um computador. Os pesquisadores conseguiram realizar com sucesso ataques de caixa branca e caixa preta usando essa técnica.

A configuração do OPAD e as distorções minimamente percebidas (pelas pessoas) que são adequadas para causar uma classificação errada.

A configuração para OPAD consiste em um projetor ViewSonic 3600 Lumens SVGA, uma câmera Canon T6i e um laptop.

Ataques de Caixa Preta e Direcionados

Ataques de caixa branca são cenários improváveis onde um atacante pode ter acesso direto a um procedimento de modelo de treinamento ou ao governo dos dados de entrada. Ataques de caixa preta, por outro lado, são tipicamente formulados inferindo como um aprendizado de máquina é composto, ou pelo menos como ele se comporta, criando “modelos sombra” e desenvolvendo ataques adversariais projetados para funcionar no modelo original.

Aqui vemos a quantidade de perturbação visual necessária para enganar o classificador.

No último caso, nenhum acesso especial é necessário, embora esses ataques sejam grandemente auxiliados pela ubiquidade de bibliotecas de visão computacional de código aberto e bancos de dados na pesquisa acadêmica e comercial atual.

Todos os ataques OPAD delineados no novo artigo são ataques “direcionados”, que buscam alterar como certos objetos são interpretados. Embora o sistema também tenha sido demonstrado capaz de alcançar ataques abstratos e generalizados, os pesquisadores defendem que um atacante do mundo real teria um objetivo disruptivo mais específico.

O ataque OPAD é simplesmente uma versão do mundo real do princípio frequentemente pesquisado de injetar ruído em imagens que serão usadas em sistemas de visão computacional. O valor da abordagem é que é possível simplesmente “projetar” as perturbações no objeto-alvo para acionar a classificação errada, enquanto garantir que imagens “cavalo de Tróia” acabem no processo de treinamento é um pouco mais difícil de realizar.

No caso em que o OPAD conseguiu impor o significado hash da imagem “velocidade 30” em um conjunto de dados em uma placa de “PARE”, a imagem de base foi obtida iluminando o objeto uniformemente com uma intensidade de 140/255. Em seguida, foi aplicada iluminação compensada pelo projetor como um ataque de descida de gradiente.

Exemplos de ataques de classificação errada do OPAD.

Os pesquisadores observam que o principal desafio do projeto foi calibrar e configurar o mecanismo do projetor para que ele alcance uma “decepção” limpa, desde que ângulos, óptica e vários outros fatores são um desafio para a exploração.

Além disso, a abordagem só provavelmente funcionará à noite. Se a iluminação óbvia revelaria o “hack” também é um fator; se um objeto como uma placa já estiver iluminado, o projetor deve compensar essa iluminação, e a quantidade de perturbação refletida também precisa ser resistente a faróis. Parece ser um sistema que funcionaria melhor em ambientes urbanos, onde a iluminação ambiental é provavelmente mais estável.

A pesquisa efetivamente constrói uma iteração orientada por ML da pesquisa de 2004 da Columbia University sobre alterar a aparência de objetos projetando outras imagens sobre eles – um experimento baseado em óptica que falta o potencial maligno do OPAD.

Nos testes, o OPAD conseguiu enganar um classificador em 31 de 64 ataques – uma taxa de sucesso de 48%. Os pesquisadores observam que a taxa de sucesso depende grandemente do tipo de objeto que está sendo atacado. Superfícies mottled ou curvas (como, respectivamente, um urso de pelúcia e uma xícara) não podem fornecer refletividade direta suficiente para realizar o ataque. Por outro lado, superfícies planas intencionalmente refletivas, como placas de trânsito, são ambientes ideais para uma distorção do OPAD.

Superfícies de Ataque de Código Aberto

Todos os ataques foram realizados contra um conjunto específico de bancos de dados: o Banco de Dados de Reconhecimento de Placas de Trânsito Alemão (GTSRB, chamado GTSRB-CNN no novo artigo), que foi usado para treinar o modelo para um cenário de ataque semelhante em 2018; o conjunto de dados VGG16 do ImageNet; e o conjunto de dados Resnet-50 do ImageNet.

Então, esses ataques são “meramente teóricos”, pois são direcionados a conjuntos de dados de código aberto e não a sistemas fechados em veículos autônomos? Eles seriam, se os principais braços de pesquisa não confiassem na infraestrutura de código aberto, incluindo algoritmos e conjuntos de dados, e em vez disso trabalhassem em segredo para produzir conjuntos de dados e algoritmos de reconhecimento fechados e opacos.

Mas, em geral, não é assim que funciona. Conjuntos de dados emblemáticos se tornam os benchmarks contra os quais todo o progresso (e estima/reconhecimento) se torna medido, enquanto sistemas de reconhecimento de imagem de código aberto, como a série YOLO, avançam, por meio da cooperação global comum, de qualquer sistema interno desenvolvido, fechado, destinado a operar em princípios semelhantes.

A Exposição do FOSS

Mesmo onde os dados em um quadro de visão computacional eventualmente serão substituídos por dados completamente fechados, os pesos dos modelos “esvaziados” ainda são frequentemente calibrados nas fases iniciais de desenvolvimento por dados de código aberto que nunca serão completamente descartados – o que significa que os sistemas resultantes podem potencialmente ser direcionados por métodos de código aberto.

Além disso, confiar em uma abordagem de código aberto para sistemas de visão computacional dessa natureza torna possível para empresas privadas se beneficiarem, gratuitamente, de inovações ramificadas de outros projetos de pesquisa globais, adicionando um incentivo financeiro para manter a arquitetura acessível. Em seguida, eles podem tentar fechar o sistema apenas no ponto de comercialização, após o que uma série de métricas de código aberto inferíveis estão profundamente incorporadas nele.