Fazendo um Modelo de Aprendizado de Máquina Esquecer de Você

Remover um pedaço específico de dados que contribuiu para um modelo de aprendizado de máquina é como tentar remover a segunda colher de sopa de açúcar de uma xícara de café. Os dados, nesse momento, já se tornaram intrinsecamente ligados a muitos outros neurônios dentro do modelo. Se um ponto de dados representa dados “definidores” que estavam envolvidos na parte inicial, de alta dimensionalidade, do treinamento, então removê-lo pode radicalmente redefinir como o modelo funciona, ou até mesmo exigir que ele seja re-treinado a um custo de tempo e dinheiro.

No entanto, na Europa, pelo menos, o artigo 17 do Regulamento Geral de Proteção de Dados (GDPR) exige que as empresas removam esses dados de usuário a pedido. Como o ato foi formulado com base na compreensão de que essa exclusão seria nada mais do que uma consulta de “drop” de banco de dados, a legislação que emergirá do Projeto de Lei de Inteligência Artificial da UE efetivamente copiará e colará o espírito do GDPR em leis que se aplicam a sistemas de IA treinados, em vez de dados tabulares.

Legislação adicional está sendo considerada em todo o mundo para dar aos indivíduos o direito de solicitar a exclusão de seus dados de sistemas de aprendizado de máquina, enquanto a Lei de Privacidade do Consumidor da Califórnia (CCPA) de 2018 já fornece esse direito aos residentes do estado.

Por Que Isso Importa

Quando um conjunto de dados é treinado em um modelo de aprendizado de máquina ativo, as características desses dados se tornam generalizadas e abstratas, porque o modelo é projetado para inferir princípios e tendências gerais dos dados, eventualmente produzindo um algoritmo que será útil na análise de dados específicos e não generalizados.

No entanto, técnicas como inversão de modelo revelaram a possibilidade de reidentificar os dados que contribuíram para o algoritmo final, abstrato, enquanto ataques de inferência de associação também são capazes de expor dados de origem, incluindo dados sensíveis que podem ter sido incluídos em um conjunto de dados apenas com a compreensão da anonimidade.

O interesse crescente nessa busca não precisa depender do ativismo de privacidade de base: à medida que o setor de aprendizado de máquina se comercializa nos próximos dez anos e as nações estão sob pressão para acabar com a atual cultura laissez-faire sobre o uso de raspagem de tela para geração de conjuntos de dados, haverá um incentivo comercial crescente para que organizações que fazem cumprir a propriedade intelectual (e trolls de propriedade intelectual) decodifiquem e revisem os dados que contribuíram para estruturas de classificação, inferência e geração de IA de alto desempenho e propriedade.

Induzindo Amnésia em Modelos de Aprendizado de Máquina

Portanto, estamos diante do desafio de tirar o açúcar do café. É um problema que tem vexado os pesquisadores nos últimos anos: em 2021, o artigo apoiado pela UE Um Estudo Comparativo sobre os Riscos de Privacidade de Bibliotecas de Reconhecimento Facial descobriu que vários algoritmos de reconhecimento facial populares eram capazes de permitir discriminação baseada em sexo ou raça em ataques de reidentificação; em 2015, a pesquisa da Universidade de Columbia propôs um método de “desaprendizado de máquina” baseado na atualização de um número de somas dentro dos dados; e em 2019, os pesquisadores de Stanford ofereceram novos algoritmos de exclusão para implementações de agrupamento K-means.

Agora, um consórcio de pesquisa da China e dos EUA publicou um novo trabalho que introduz uma métrica uniforme para avaliar o sucesso de abordagens de exclusão de dados, juntamente com um novo método de “desaprendizado” chamado Forsaken, que os pesquisadores alegam ser capaz de alcançar uma taxa de esquecimento de mais de 90%, com apenas 5% de perda de precisão no desempenho geral do modelo.

O artigo é chamado Aprenda a Esquecer: Desaprendizado de Máquina via Máscara de Neurônio e apresenta pesquisadores da China e de Berkeley.

A máscara de neurônio, o princípio por trás do Forsaken, usa um gerador de gradiente de máscara como um filtro para a remoção de dados específicos de um modelo, efetivamente atualizando-o em vez de forçá-lo a ser re-treinado a partir do zero ou a partir de um instantâneo que ocorreu antes da inclusão dos dados (no caso de modelos baseados em streaming que são continuamente atualizados).

A arquitetura do gerador de gradiente de máscara. Fonte: https://arxiv.org/pdf/2003.10933.pdf

Origens Biológicas

Os pesquisadores afirmam que essa abordagem foi inspirada no processo biológico de “esquecimento ativo”, onde o usuário toma ação enérgica para apagar todas as células de engrama para uma memória específica por manipulação de um tipo especial de dopamina.

O Forsaken evoca continuamente um gradiente de máscara que replica essa ação, com salvaguardas para desacelerar ou interromper esse processo a fim de evitar o esquecimento catastrófico de dados não destinados.

As vantagens do sistema são que ele é aplicável a muitos tipos de redes neurais existentes, enquanto trabalhos recentes semelhantes tiveram sucesso principalmente em redes de visão computacional; e que ele não interfere com os procedimentos de treinamento do modelo, mas atua como um adjunto, sem exigir que a arquitetura central seja alterada ou os dados re-treinados.

Restringindo o Efeito

A exclusão de dados contribuídos pode ter um efeito potencialmente prejudicial na funcionalidade de um algoritmo de aprendizado de máquina. Para evitar isso, os pesquisadores exploraram regularização de norma, uma característica do treinamento de redes neurais normais que é comumente usada para evitar o treinamento excessivo. A implementação específica escolhida é projetada para garantir que o Forsaken não falhe na convergência do treinamento.

Para estabelecer uma dispersão útil de dados, os pesquisadores usaram dados fora do conjunto (OOD) (ou seja, dados não incluídos no conjunto de dados real, imitando “dados sensíveis” no conjunto de dados real) para calibrar a forma como o algoritmo deve se comportar.

Testando em Conjuntos de Dados

O método foi testado em oito conjuntos de dados padrão e, em geral, alcançou taxas de esquecimento próximas ou superiores às da re-treinamento completo, com muito pouco impacto na precisão do modelo.

Parece impossível que o re-treinamento completo em um conjunto de dados editado possa realmente fazer pior do que qualquer outro método, desde que os dados-alvo estejam completamente ausentes. No entanto, o modelo, nesse momento, já abstraiu várias características dos dados excluídos de forma “holográfica”, da mesma forma (por analogia) que uma gota de tinta redefine a utilidade de um copo de água.

Em efeito, os pesos do modelo já foram influenciados pelos dados excluídos, e a única maneira de remover completamente sua influência é re-treinar o modelo a partir do zero, em vez da abordagem muito mais rápida de re-treinar o modelo ponderado em um conjunto de dados editado.