Ataque Adversarial Óptico Pode Alterar o Significado de Placas de Trânsito

Pesquisadores nos EUA desenvolveram um ataque adversarial contra a capacidade de sistemas de aprendizado de máquina de interpretar corretamente o que veem – incluindo itens críticos como placas de trânsito – brilhando luz padrão em objetos do mundo real. Em um experimento, a abordagem teve sucesso em fazer com que o significado de uma placa de “PARE” fosse transformado em uma placa de limite de velocidade de “30mph”.

Perturbações em uma placa, criadas brilhando luz projetada nela, distorcem como é interpretada em um sistema de aprendizado de máquina. Fonte: https://arxiv.org/pdf/2108.06247.pdf

A pesquisa é intitulada Ataque Adversarial Óptico e vem da Universidade Purdue, em Indiana.

Um ataque adversarial óptico (OPAD), como proposto pelo artigo, usa iluminação estruturada para alterar a aparência de objetos-alvo e requer apenas um projetor de commodities, uma câmera e um computador. Os pesquisadores conseguiram realizar com sucesso ataques brancos e pretos usando essa técnica.

O conjunto de OPAD e as distorções minimamente percebidas (pelas pessoas) que são adequadas para causar uma classificação errada.

O conjunto de OPAD consiste em um projetor ViewSonic 3600 Lumens SVGA, uma câmera Canon T6i e um laptop.

Caixa Preta e Ataques Direcionados

Ataques brancos são cenários improváveis em que um atacante pode ter acesso direto a um procedimento de modelo de treinamento ou ao governo dos dados de entrada. Ataques pretos, por outro lado, são normalmente formulados inferindo como um sistema de aprendizado de máquina é composto, ou pelo menos como ele se comporta, criando “modelos de sombra” e desenvolvendo ataques adversariais projetados para funcionar no modelo original.

Aqui vemos a quantidade de perturbação visual necessária para enganar o classificador.

No último caso, nenhum acesso especial é necessário, embora esses ataques sejam grandemente auxiliados pela ubiquidade de bibliotecas e bancos de dados de visão computacional de código aberto na pesquisa acadêmica e comercial atual.

Todos os ataques OPAD descritos no novo artigo são “ataques direcionados”, que buscam alterar especificamente como certos objetos são interpretados. Embora o sistema também tenha sido demonstrado capaz de alcançar ataques abstratos e generalizados, os pesquisadores defendem que um atacante real teria um objetivo disruptivo mais específico.

O ataque OPAD é simplesmente uma versão do mundo real do princípio frequentemente pesquisado de injeção de ruído em imagens que serão usadas em sistemas de visão computacional. O valor da abordagem é que se pode simplesmente “projetar” as perturbações no objeto-alvo para desencadear a classificação errada, enquanto garantir que imagens “cavalo de Tróia” acabem no processo de treinamento é um pouco mais difícil de realizar.

No caso em que o OPAD conseguiu impor o significado hash da imagem “velocidade 30” em um conjunto de dados em uma placa de “PARE”, a imagem de base foi obtida iluminando o objeto uniformemente com uma intensidade de 140/255. Em seguida, foi aplicada uma iluminação compensada pelo projetor como um ataque de descida de gradiente projetado.

Exemplos de ataques de classificação errada do OPAD.

Os pesquisadores observam que o principal desafio do projeto foi calibrar e configurar o mecanismo do projetor para que ele alcance uma “decepção” limpa, desde que ângulos, óptica e vários outros fatores são um desafio para a exploração.

Além disso, a abordagem só é provável que funcione à noite. Se a iluminação óbvia revelaria o “hack” também é um fator; se um objeto, como uma placa, já está iluminado, o projetor deve compensar essa iluminação, e a quantidade de perturbação refletida também precisa ser resistente a faróis. Parece ser um sistema que funcionaria melhor em ambientes urbanos, onde a iluminação ambiental é provável que seja mais estável.

A pesquisa efetivamente constrói uma iteração orientada por ML da pesquisa de 2004 da Universidade de Columbia sobre alterar a aparência de objetos projetando outras imagens sobre eles – um experimento óptico que carece do potencial maligno do OPAD.

Em testes, o OPAD conseguiu enganar um classificador em 31 de 64 ataques – uma taxa de sucesso de 48%. Os pesquisadores observam que a taxa de sucesso depende grandemente do tipo de objeto que está sendo atacado. Superfícies mottled ou curvas (como, respectivamente, um urso de pelúcia e uma xícara) não podem fornecer refletividade direta suficiente para realizar o ataque. Por outro lado, superfícies planas e intencionalmente refletivas, como placas de trânsito, são ambientes ideais para uma distorção do OPAD.

Superfícies de Ataque de Código Aberto

Todos os ataques foram realizados contra um conjunto específico de bancos de dados: o Banco de Dados de Reconhecimento de Placas de Trânsito Alemão (GTSRB, chamado GTSRB-CNN no novo artigo), que foi usado para treinar o modelo para um cenário de ataque semelhante em 2018; o conjunto de dados ImageNet VGG16; e o conjunto de dados ImageNet Resnet-50.

Então, esses ataques são “meramente teóricos”, pois são direcionados a conjuntos de dados de código aberto e não a sistemas fechados e proprietários em veículos autônomos? Eles seriam, se os principais braços de pesquisa não confiassem no ecossistema de código aberto, incluindo algoritmos e conjuntos de dados, e em vez disso trabalhassem em segredo para produzir conjuntos de dados fechados e algoritmos de reconhecimento opacos.

Mas, em geral, não é assim que funciona. Conjuntos de dados de referência se tornam as métricas contra as quais todo o progresso (e estima/reconhecimento) se torna medido, enquanto sistemas de reconhecimento de imagens de código aberto, como a série YOLO, avançam, por meio de cooperação global comum, de qualquer sistema interno desenvolvido, fechado, destinado a operar em princípios semelhantes.

A Exposição do FOSS

Mesmo onde os dados em um quadro de visão computacional eventualmente serão substituídos por dados completamente fechados, os pesos dos modelos “esvaziados” ainda são frequentemente calibrados nas fases iniciais de desenvolvimento por dados FOSS que nunca serão completamente descartados – o que significa que os sistemas resultantes podem potencialmente ser direcionados por métodos FOSS.

Além disso, confiar em uma abordagem de código aberto para sistemas de visão computacional dessa natureza torna possível para empresas privadas se beneficiarem, gratuitamente, de inovações ramificadas de outros projetos de pesquisa globais, adicionando um incentivo financeiro para manter a arquitetura acessível. Em seguida, elas podem tentar fechar o sistema apenas no ponto de comercialização, por ocasião da qual uma série completa de métricas FOSS inferíveis estão profundamente incorporadas nele.