Dados Sintéticos Não Protegem Confiavelmente a Privacidade, Afirmam Pesquisadores

Uma nova colaboração de pesquisa entre a França e o Reino Unido lança dúvidas sobre a crescente confiança da indústria de que os dados sintéticos podem resolver os problemas de privacidade, qualidade e disponibilidade (entre outros) que ameaçam o progresso no setor de aprendizado de máquina.

Entre vários pontos-chave abordados, os autores afirmam que os dados sintéticos modelados a partir de dados reais retêm informações genuínas suficientes para não fornecer proteção confiável contra ataques de inferência e associação, que buscam desanonimizar os dados e reassociá-los a pessoas reais.

Além disso, as pessoas mais vulneráveis a esses ataques, incluindo aquelas com condições médicas críticas ou altas contas hospitalares (no caso de anonimização de registros médicos), são, devido à natureza de “outlier” de sua condição, mais prováveis de ser reidentificadas por essas técnicas.

O artigo observa:

‘Dada a acesso a um conjunto de dados sintéticos, um adversário estratégico pode inferir, com alta confiança, a presença de um registro-alvo nos dados originais.’

O artigo também nota que dados sintéticos diferencialmente privados, que obscurecem a assinatura de registros individuais, de fato protegem a privacidade dos indivíduos, mas apenas ao custo de significativamente comprometer a utilidade dos sistemas de recuperação de informações que os utilizam.

Se algo, os pesquisadores observam, as abordagens diferencialmente privadas – que usam ‘informações reais’ ‘a uma distância’ por meio de dados sintéticos – tornam o cenário de segurança pior do que seria de outra forma:

‘[Conjuntos de dados] sintéticos não fornecem transparência sobre essa troca. É impossível prever quais características de dados serão preservadas e quais padrões serão suprimidos.’

O novo artigo, intitulado Dados Sintéticos – Anonimização Groundhog Day, vem de dois pesquisadores da École Polytechnique Fédérale de Lausanne (EPFL) em Paris e um pesquisador da University College London (UCL).

Os pesquisadores realizaram testes de algoritmos de treinamento de modelos gerativos privados existentes e descobriram que certas decisões de implementação violam as garantias de privacidade formais fornecidas nos frameworks, deixando registros diversificados expostos a ataques de inferência.

Os autores oferecem uma versão revisada de cada algoritmo que potencialmente mitiga essas exposições e estão tornando o código disponível como uma biblioteca de código aberto. Eles afirmam que isso ajudará os pesquisadores a avaliar os ganhos de privacidade dos dados sintéticos e comparar utilmente métodos de anonimização populares. O novo framework incorpora dois métodos de ataque de privacidade pertinentes que podem ser aplicados a qualquer algoritmo de treinamento de modelo gerativo.

Dados Sintéticos

Os dados sintéticos são usados para treinar modelos de aprendizado de máquina em vários cenários, incluindo casos em que a falta de informações abrangentes pode ser potencialmente preenchida por dados artificiais. Um exemplo disso é a possibilidade de usar faces geradas por CGI para fornecer ‘dificil’ ou infrequente fotos de face para conjuntos de dados de síntese de imagens, onde imagens de perfil, ângulos agudos ou expressões incomuns são frequentemente raros no material de origem.

Outros tipos de imagens CGI foram usados para popular conjuntos de dados que serão executados em dados não sintéticos, como conjuntos de dados que apresentam mãos e móveis.

Em termos de proteção de privacidade, os dados sintéticos podem ser gerados a partir de dados reais por sistemas de Redes Adversárias Gerativas (GAN) que extraem recursos dos dados reais e criam registros fictícios semelhantes que são prováveis de generalizar bem para dados reais (não vistos) posteriores, mas destinam-se a obscurecer detalhes de pessoas reais apresentadas nos dados de origem.

Metodologia

Para os fins da nova pesquisa, os autores avaliaram os ganhos de privacidade em cinco algoritmos de treinamento de modelos gerativos. Três dos modelos não oferecem proteção de privacidade explícita, enquanto os outros dois vêm com garantias de privacidade diferencial. Esses modelos tabulares foram escolhidos para representar uma ampla gama de arquiteturas.

Os modelos atacados foram BayNet, PrivBay (uma derivação de PrivBayes/BayNet), CTGAN, PATEGAN e IndHist.

O framework de avaliação para os modelos foi implementado como uma biblioteca Python com duas classes principais – GenerativeModels e PrivacyAttacks. A última apresenta dois aspectos – um adversário de inferência de associação e um ataque de inferência de associação. O framework também é capaz de avaliar os benefícios de privacidade de ‘sanitizados’ (ou seja, anonimizados) dados e dados sintéticos.

Os dois conjuntos de dados usados nos testes foram o Conjunto de Dados Adulto do Repositório de Aprendizado de Máquina da UCI e o Arquivo de Uso Público de Dados de Alta Hospitalar do Departamento de Serviços de Saúde do Estado do Texas. O conjunto de dados do Texas usado pelos pesquisadores contém 50.000 registros amostrados de registros de pacientes para o ano de 2013.

Ataques e Descobertas

O objetivo geral da pesquisa é estabelecer ‘ligação’ (a reassociação de dados reais com dados sintéticos que foram inspirados por ele). Modelos de ataque usados no estudo incluem classificadores de Regressão Logística, Florestas Aleatórias e Vizinhos Mais Próximos.

Os autores selecionaram dois grupos-alvo consistindo em cinco registros aleatoriamente selecionados para ‘categorias minoritárias’ da população, desde que esses sejam mais prováveis de serem suscetíveis a um ataque de ligação. Eles também selecionaram registros com ‘valores de atributos categóricos raros’ fora do quantil 95% desse atributo. Exemplos incluem registros relacionados a alto risco de mortalidade, altas contas hospitalares e gravidade da doença.

Embora o artigo não elabore sobre esse aspecto, do ponto de vista de possíveis atacantes reais, esses são exatamente os tipos de ‘pacientes caros’ ou ‘de alto risco’ mais prováveis de serem alvo de ataques de inferência de associação e outros tipos de abordagens de extração de registros de pacientes.

Múltiplos modelos de ataque foram treinados contra informações de referência pública para desenvolver ‘modelos sombra’ sobre dez alvos. Os resultados em uma variedade de experimentos (como descrito anteriormente) indicam que vários registros foram ‘altamente vulneráveis’ a ataques de ligação direcionados a eles pelos pesquisadores. Os resultados também encontraram que 20% de todos os alvos nos testes receberam um ganho de privacidade de zero dos dados sintéticos produzidos por métodos GAN.

Os pesquisadores observam que os resultados variaram, dependendo do método usado para gerar dados sintéticos, do vetor de ataque e das características do conjunto de dados alvo. O relatório constata que, em muitos casos, a supressão eficaz de identidade por meio de abordagens de dados sintéticos reduz a utilidade dos sistemas resultantes. Efetivamente, a utilidade e a precisão desses sistemas podem, em muitos casos, ser um índice direto de quão vulneráveis eles são a ataques de reidentificação.

Os pesquisadores concluem:

‘Se um conjunto de dados sintéticos preserva as características dos dados originais com alta precisão, e, portanto, retém a utilidade dos dados para os casos de uso para os quais é anunciado, ele simultaneamente permite que os adversários extraiam informações sensíveis sobre indivíduos.

‘Um alto ganho em privacidade por meio de qualquer dos mecanismos de anonimização que avaliamos só pode ser alcançado se a versão sintética ou sanitizada publicada dos dados originais não transmitir o sinal dos registros individuais nos dados brutos e, em efeito, suprima seus registros.’