A Inteligência Artificial Explicável Pode Entregar Dados Confidenciais Mais Facilmente

Pesquisadores da Universidade Nacional de Singapura concluíram que, quanto mais explicável se torna a inteligência artificial, mais fácil será contornar recursos de privacidade vitais em sistemas de aprendizado de máquina. Eles também descobriram que, mesmo quando um modelo não é explicável, é possível usar explicações de modelos semelhantes para “decodificar” dados sensíveis no modelo não explicável.

A pesquisa, intitulada Explorando Explicações para Ataques de Inversão de Modelo, destaca os riscos de usar a “opacidade acidental” da forma como as redes neurais funcionam como se fosse uma característica de segurança por design – não least porque uma onda de novas iniciativas globais, incluindo as regulamentações de IA da União Europeia, estão caracterizando a inteligência artificial explicável (XAI) como um pré-requisito para a eventual normalização do aprendizado de máquina na sociedade.

Na pesquisa, uma identidade real é reconstruída com sucesso a partir de dados supostamente anônimos relacionados a expressões faciais, por meio da exploração de múltiplas explicações do sistema de aprendizado de máquina. Fonte: https://arxiv.org/pdf/2108.10800.pdf

Os pesquisadores comentam:

‘A inteligência artificial explicável (XAI) fornece mais informações para ajudar os usuários a entender as decisões do modelo, no entanto, esse conhecimento adicional expõe riscos adicionais para ataques de privacidade. Portanto, fornecer explicações prejudica a privacidade.’

Re-Identificação de Dados Privados

Participantes em conjuntos de dados de aprendizado de máquina podem ter consentido em ser incluídos com base na anonimidade; no caso de Informações de Identificação Pessoal (PII) que acabam em sistemas de IA por meio de coleta de dados ad hoc (por exemplo, por meio de redes sociais), a participação pode ser tecnicamente legal, mas coloca em xeque a noção de ‘consentimento’.

Vários métodos surgiram nos últimos anos que provaram ser capazes de desanonimizar PII de fluxos de dados de aprendizado de máquina aparentemente opacos. A extração de modelo usa acesso à API (ou seja, acesso “caixa preta”, sem disponibilidade especial do código-fonte ou dados) para extrair PII, mesmo de provedores de MLaaS em grande escala, como Amazon Web Services, enquanto os Ataques de Inferência de Membros (MIAs), operando sob restrições semelhantes, podem potencialmente obter informações médicas confidenciais; além disso, os Ataques de Inferência de Atribuição (AIAs) podem recuperar dados sensíveis a partir da saída da API.

Revelando Rostos

Para o novo artigo, os pesquisadores se concentraram em um ataque de inversão de modelo projetado para obter uma identidade a partir de um subconjunto de dados de emoções faciais que não deveria ser capaz de revelar essas informações.

O objetivo do sistema era associar imagens encontradas no mundo (ou seja, publicadas casualmente na internet ou em uma possível violação de dados) com sua inclusão nos conjuntos de dados que subjazem a um algoritmo de aprendizado de máquina.

Os pesquisadores treinaram um modelo de ataque de inversão capaz de reconstruir a imagem contribuinte a partir da saída anônima da API, sem acesso especial à arquitetura original. Trabalhos anteriores nesse campo se concentraram em sistemas onde a identificação (proteção ou revelação) era o objetivo tanto do sistema-alvo quanto do sistema de ataque; nesse caso, a estrutura foi projetada para explorar a saída de um domínio e aplicá-la a um domínio diferente.

Uma transposta rede neural convolucional (CNN) foi empregada para prever uma ‘fonte original’ com base no vetor de previsão de saliência (mapa de saliência) para um sistema de reconhecimento de emoções, usando uma arquitetura U-Net para melhorar o desempenho da reconstrução facial.

O sistema de re-identificação é alimentado e informado pela inteligência artificial explicável (XAI), onde o conhecimento da ativação do neurônio, entre muitos aspectos públicos da XAI, é explorado para reconstruir as operações internas da arquitetura apenas a partir de sua saída, permitindo a re-identificação de imagens do conjunto de dados contribuinte.

Testes

Ao testar o sistema, os pesquisadores o aplicaram contra três conjuntos de dados: iCV-MEFED expressões faciais; CelebA; e dígitos manuscritos MNIST. Para acomodar o tamanho do modelo sendo usado pelos pesquisadores, os três conjuntos de dados foram redimensionados, respectivamente, para 128×128, 265×256 e 32×32 pixels. 50% de cada conjunto foi usado como dados de treinamento e a outra metade foi usada como conjunto de dados de ataque para treinar os modelos antagonistas.

Cada conjunto de dados tinha modelos-alvo diferentes e cada rede de ataque foi dimensionada para as limitações das explicações que fundamentam o processo, em vez de usar modelos neurais mais profundos cuja complexidade excederia a generalização das explicações.

Os tipos de explicações XAI usados para alimentar as tentativas incluíram Explicação de Gradiente, Entrada de Gradiente, Grad-CAM e Propagação de Relevância por Camada (LRP). Os pesquisadores também avaliaram múltiplas explicações ao longo dos experimentos.

Reconstrução de imagem facilitada por um ataque de inversão cognizante XAI nos três conjuntos de dados, com tarefas de ataque e alvo idênticas.

As métricas para o teste foram semelhança de pixel avaliada por Erro Quadrático Médio (MSE); Semelhança de Imagem (SSIM), um índice de semelhança baseado na percepção; precisão do ataque, determinada pela capacidade de um classificador re-etiquetar com sucesso uma imagem reconstruída; e semelhança de incorporação de ataque, que compara as incorporações de recursos de dados de origem conhecidos contra dados reconstruídos.

A re-identificação foi alcançada, com níveis variados de acordo com a tarefa e os conjuntos de dados, em todos os conjuntos. Além disso, os pesquisadores descobriram que, ao criar um modelo-alvo substituto (que eles naturalmente tinham controle total), ainda era possível alcançar a re-identificação de dados de modelos “fechados” externos, com base em princípios XAI conhecidos.

Os pesquisadores descobriram que os resultados mais precisos foram obtidos por explicações baseadas em ativação (mapa de saliência), que vazaram mais PII do que as abordagens baseadas em sensibilidade (gradiente).

No futuro, a equipe pretende incorporar diferentes tipos de explicações XAI em ataques novos, como visualizações de recursos e vetores de ativação de conceito.