Ataque Adversário Óptico Pode Mudar o Significado dos Sinais de Trânsito

Pesquisadores nos EUA desenvolveram um ataque adversário contra a capacidade dos sistemas de aprendizado de máquina de interpretar corretamente o que veem – incluindo itens de missão crítica, como placas de trânsito – por meio da projeção de luz padronizada sobre objetos do mundo real. Em um experimento, a abordagem conseguiu transformar o significado de uma placa de "PARE" na beira da estrada em uma placa de limite de velocidade de "30 km/h".

As perturbações em um sinal, criadas pelo brilho da luz trabalhada sobre ele, distorcem a forma como ele é interpretado em um sistema de aprendizado de máquina. Fonte: https://arxiv.org/pdf/2108.06247.pdf

O pesquisa tem direito Ataque adversário óptico, e vem da Purdue University, em Indiana.

Um ataque OPtical ADversarial (OPAD), conforme proposto pelo artigo, usa iluminação estruturada para alterar a aparência dos objetos-alvo e requer apenas um projetor comum, uma câmera e um computador. Os pesquisadores foram capazes de realizar com sucesso ataques de caixa branca e caixa preta usando essa técnica.

A configuração do OPAD e as distorções minimamente percebidas (pelas pessoas) que são adequadas para causar uma classificação incorreta.

A configuração do OPAD consiste em um projetor ViewSonic 3600 Lumens SVGA, uma câmera Canon T6i e um laptop.

Caixa preta e ataques direcionados

Ataques de caixa branca são cenários improváveis ​​em que um invasor pode ter acesso direto a um procedimento de modelo de treinamento ou à governança dos dados de entrada. Ataques de caixa preta, por outro lado, são tipicamente formulados inferindo como um aprendizado de máquina é composto, ou pelo menos como ele se comporta, elaborando modelos "sombra" e desenvolvendo ataques adversários projetados para funcionar no modelo original.

Aqui vemos a quantidade de perturbação visual necessária para enganar a classificação.er.

Neste último caso, não é necessário acesso especial, embora tais ataques sejam grandemente auxiliados pela onipresença de bibliotecas e bancos de dados de visão computacional de código aberto na pesquisa acadêmica e comercial atual.

Todos os ataques do OPAD descritos no novo artigo são ataques "direcionados", que buscam especificamente alterar a forma como certos objetos são interpretados. Embora o sistema também tenha demonstrado ser capaz de realizar ataques generalizados e abstratos, os pesquisadores argumentam que um invasor no mundo real teria um objetivo disruptivo mais específico.

O ataque OPAD é simplesmente uma versão prática do princípio frequentemente pesquisado de injeção de ruído em imagens que serão usadas em sistemas de visão computacional. O valor da abordagem reside no fato de que se pode simplesmente "projetar" as perturbações no objeto-alvo para desencadear a classificação incorreta, enquanto garantir que as imagens do tipo "Cavalo de Troia" sejam incluídas no processo de treinamento é bem mais difícil.

No caso em que o OPAD conseguiu impor o significado hash da imagem "velocidade 30" de um conjunto de dados a uma placa de "PARE", a imagem de base foi obtida iluminando o objeto uniformemente com uma intensidade de 140/255. Em seguida, a iluminação compensada pelo projetor foi aplicada como uma projeção. ataque de descida gradiente.

Exemplos de ataques de classificação incorreta do OPAD.

Os pesquisadores observam que o principal desafio do projeto foi calibrar e configurar o mecanismo do projetor para que ele conseguisse uma "ilusão" limpa, já que ângulos, óptica e vários outros fatores são um desafio para a exploração.

Além disso, a abordagem provavelmente só funcionará à noite. Se a iluminação óbvia revelaria o "hack" também é um fator; se um objeto, como uma placa, já estiver iluminado, o projetor deve compensar essa iluminação, e a quantidade de perturbação refletida também precisa ser resistente aos faróis. Parece ser um sistema que funcionaria melhor em ambientes urbanos, onde a iluminação ambiente provavelmente é mais estável.

A pesquisa efetivamente constrói uma iteração orientada para ML da Universidade de Columbia Pesquisa 2004 em mudar a aparência dos objetos projetando outras imagens sobre eles – um experimento baseado em ótica que carece do potencial maligno do OPAD.

Nos testes, o OPAD conseguiu enganar um classificador em 31 de 64 ataques – uma taxa de sucesso de 48%. Os pesquisadores observam que a taxa de sucesso depende muito do tipo de objeto que está sendo atacado. Superfícies manchadas ou curvas (como, respectivamente, um ursinho de pelúcia e uma caneca) não podem fornecer refletividade direta suficiente para realizar o ataque. Por outro lado, superfícies planas intencionalmente reflexivas, como sinais de trânsito, são ambientes ideais para uma distorção OPAD.

Superfícies de ataque de código aberto

Todos os ataques foram realizados contra um conjunto específico de bancos de dados: o banco de dados alemão de reconhecimento de sinais de trânsito (GTSRB, chamado GTSRB-CNN no novo artigo), que foi usado para treinar o modelo para um cenário de ataque semelhante em 2018; a ImageNet VGG16 conjunto de dados; e a ImageNet Resnet-50 definido.

Então, esses ataques são "meramente teóricos", visto que visam conjuntos de dados de código aberto, e não os sistemas proprietários e fechados de veículos autônomos? Seriam, se os principais setores de pesquisa não se baseassem na ecossistema de código aberto, incluindo algoritmos e conjuntos de dados, e, em vez disso, trabalhassem em segredo para produzir conjuntos de dados de código fechado e algoritmos de reconhecimento opacos.

Mas, em geral, não é assim que funciona. Conjuntos de dados de referência tornam-se os parâmetros pelos quais todo o progresso (e estima/aclamação) é medido, enquanto sistemas de reconhecimento de imagens de código aberto, como a série YOLO, avançam rapidamente, por meio da cooperação global comum, em relação a qualquer sistema fechado desenvolvido internamente e que pretenda operar com princípios semelhantes.

A exposição FOSS

Mesmo quando os dados em uma estrutura de visão computacional acabam sendo substituídos por dados totalmente fechados, os pesos dos modelos "esvaziados" ainda são frequentemente calibrados nos estágios iniciais de desenvolvimento por dados FOSS que nunca serão totalmente descartados — o que significa que os sistemas resultantes podem potencialmente ser alvos de métodos FOSS.

Além disso, contar com uma abordagem de código aberto para sistemas CV dessa natureza permite que empresas privadas se beneficiem, gratuitamente, de inovações ramificadas de outros projetos de pesquisa globais, adicionando um incentivo financeiro para manter a arquitetura acessível. Posteriormente, eles podem tentar fechar o sistema apenas no ponto de comercialização, momento em que toda uma gama de métricas FOSS inferíveis está profundamente incorporada nele.