Hacer que un Modelo de Aprendizaje Automático Olvide sobre Ti

Eliminar una pieza particular de datos que contribuyó a un modelo de aprendizaje automático es como tratar de eliminar la segunda cucharada de azúcar de una taza de café. Los datos, en este momento, ya se han vinculado intrínsecamente a muchos otros neuronas dentro del modelo. Si un punto de datos representa datos ‘definitorios’ que estuvieron involucrados en la parte más temprana y de alta dimensionalidad de la capacitación, entonces eliminarlo puede redefinir radicalmente la forma en que funciona el modelo, o incluso requerir que se vuelva a entrenar a algún costo de tiempo y dinero.

No obstante, en Europa al menos, el Artículo 17 del Reglamento General de Protección de Datos (GDPR) requiere que las empresas eliminen dichos datos de usuario a petición. Dado que el acto se formuló sobre la comprensión de que esta eliminación no sería más que una consulta de “drop” de base de datos, la legislación destinada a surgir del borrador de la Ley de Inteligencia Artificial de la UE efectivamente copiará y pegará el espíritu del GDPR en leyes que se aplican a sistemas de inteligencia artificial entrenados en lugar de datos tabulares.

Se están considerando legislaciones adicionales en todo el mundo que otorgarán a los individuos el derecho a solicitar la eliminación de sus datos de los sistemas de aprendizaje automático, mientras que la Ley de Privacidad del Consumidor de California (CCPA) de 2018 ya proporciona este derecho a los residentes del estado.

Por qué es importante

Cuando un conjunto de datos se entrena en un modelo de aprendizaje automático activo, las características de esos datos se generalizan y se abstraen, porque el modelo está diseñado para inferir principios y tendencias generales a partir de los datos, eventualmente produciendo un algoritmo que será útil para analizar datos específicos y no generalizados.

Sin embargo, técnicas como inversión de modelo han revelado la posibilidad de reidentificar los datos contribuyentes subyacentes al algoritmo final abstracto, mientras que ataques de inferencia de membresía también son capaces de exponer los datos de origen, incluidos datos sensibles que solo se permitieron incluir en un conjunto de datos con la comprensión de la anonimidad.

El interés creciente en esta búsqueda no necesita depender del activismo de privacidad de base: a medida que el sector de aprendizaje automático se comercialice en los próximos diez años, y las naciones estén bajo presión para poner fin a la actual cultura de laissez faire sobre el uso de scraping de pantalla para la generación de conjuntos de datos, habrá un incentivo comercial creciente para que las organizaciones que hacen cumplir la propiedad intelectual (y los trolls de propiedad intelectual) decodifiquen y revisen los datos que han contribuido a marcos de inteligencia artificial de clasificación, inferencia y generación de alta rentabilidad.

Inducir amnesia en los modelos de aprendizaje automático

Por lo tanto, nos quedamos con el desafío de sacar el azúcar del café. Es un problema que ha vexado a los investigadores en años recientes: en 2021, el papel apoyado por la UE Un estudio comparativo sobre los riesgos de privacidad de las bibliotecas de reconocimiento facial encontró que varios algoritmos de reconocimiento facial populares eran capaces de permitir la discriminación basada en el sexo o la raza en ataques de reidentificación; en 2015, la investigación de la Universidad de Columbia propuso un método de “desaprendizaje de máquina” basado en la actualización de una serie de sumas dentro de los datos; y en 2019, los investigadores de Stanford ofrecieron algoritmos de eliminación novedosos para implementaciones de clustering K-means.

Ahora, un consorcio de investigación de China y EE. UU. ha publicado un nuevo trabajo que introduce una métrica uniforme para evaluar el éxito de los enfoques de eliminación de datos, junto con un nuevo método de “desaprendizaje” llamado Forsaken, que los investigadores afirman que es capaz de lograr una tasa de olvido superior al 90%, con solo una pérdida de precisión del 5% en el rendimiento general del modelo.

El documento se llama Aprender a olvidar: desaprendizaje de máquina a través de enmascaramiento de neuronas, y cuenta con investigadores de China y Berkeley.

El enmascaramiento de neuronas, el principio detrás de Forsaken, utiliza un generador de gradiente de máscara como filtro para la eliminación de datos específicos de un modelo, actualizándolo efectivamente en lugar de forzarlo a ser reentrenado desde cero o desde una instantánea que ocurrió antes de la inclusión de los datos (en el caso de modelos basados en transmisión que se actualizan continuamente).

La arquitectura del generador de gradiente de máscara. Fuente: https://arxiv.org/pdf/2003.10933.pdf

Orígenes biológicos

Los investigadores afirman que este enfoque se inspiró en el proceso biológico de “olvido activo”, donde el usuario toma medidas enérgicas para borrar todas las células de engrama para una memoria particular mediante la manipulación de un tipo especial de dopamina.

Forsaken evoca continuamente un gradiente de máscara que replica esta acción, con salvaguardias para ralentizar o detener este proceso para evitar el olvido catastrófico de datos no objetivo.

Las ventajas del sistema son que es aplicable a muchos tipos de redes neuronales existentes, mientras que el trabajo similar reciente ha disfrutado del éxito en gran medida en las redes de visión por computadora; y que no interfere con los procedimientos de capacitación del modelo, sino que actúa como un complemento, sin requerir que la arquitectura central se altere o los datos se vuelvan a entrenar.

Restringir el efecto

La eliminación de datos contribuyentes puede tener un efecto potencialmente perjudicial en la funcionalidad de un algoritmo de aprendizaje automático. Para evitar esto, los investigadores han explotado regularización de norma, una característica de la capacitación de redes neuronales normales que se utiliza comúnmente para evitar el sobreentrenamiento. La implementación particular elegida está diseñada para garantizar que Forsaken no falle al converger en la capacitación.

Para establecer una dispersión usable de datos, los investigadores utilizaron datos fuera de la distribución (OOD) (es decir, datos no incluidos en el conjunto de datos real, imitando “datos sensibles” en el conjunto de datos real) para calibrar la forma en que el algoritmo debería comportarse.

Pruebas en conjuntos de datos

El método se probó en ocho conjuntos de datos estándar y en general logró tasas de olvido cercanas o superiores a las de la capacitación completa, con muy poco impacto en la precisión del modelo.

Parece imposible que la capacitación completa en un conjunto de datos editado pueda hacer realmente peor que cualquier otro método, ya que los datos objetivo están completamente ausentes. Sin embargo, el modelo ha abstractado por este tiempo varias características de los datos eliminados de una manera “holográfica”, de la misma manera que (por analogía) que una gota de tinta redefine la utilidad de un vaso de agua.

En efecto, los pesos del modelo ya han sido influenciados por los datos excisos, y la única forma de eliminar completamente su influencia es volver a entrenar el modelo desde cero, en lugar del enfoque mucho más rápido de volver a entrenar el modelo ponderado en un conjunto de datos editado.