Hacer que un modelo de aprendizaje automático se olvide de usted

Eliminar un dato particular que contribuyó a un modelo de aprendizaje automático es como intentar quitar la segunda cucharada de azúcar de una taza de café. En ese momento, los datos ya se han vinculado intrínsecamente a muchas otras neuronas dentro del modelo. Si un punto de datos representa datos "definitivos" que estuvieron involucrados en la parte más temprana y de alta dimensión del entrenamiento, entonces eliminarlo puede redefinir radicalmente cómo funciona el modelo, o incluso requerir que se vuelva a entrenar con cierto gasto de tiempo y dinero.

No obstante, al menos en Europa, el artículo 17 de la Ley del Reglamento General de Protección de Datos (GDPR) requiere que las empresas eliminen dichos datos de usuario a pedido. Dado que la ley se formuló en el entendimiento de que este borrado no sería más que una consulta de 'caída' de la base de datos, la legislación destinada a surgir del Proyecto de la UE Ley de inteligencia artificial efectivamente copiar y pegar el espíritu de GDPR en leyes que se aplican a sistemas de IA capacitados en lugar de datos tabulares.

En todo el mundo se están considerando más leyes que permitirán a las personas solicitar la eliminación de sus datos de los sistemas de aprendizaje automático, mientras que la Ley de Privacidad del Consumidor de California (CCPA) de 2018 ya proporciona este derecho a los residentes del estado.

Por qué es Importante

Cuando un conjunto de datos se entrena en un modelo de aprendizaje automático procesable, las características de esos datos se vuelven generalizadas y abstractas, porque el modelo está diseñado para inferir principios y amplias tendencias de los datos, produciendo eventualmente un algoritmo que será útil para analizar datos específicos y no generalizados.

Sin embargo, técnicas como inversión del modelo han revelado la posibilidad de volver a identificar los datos contribuyentes que subyacen al algoritmo abstracto final, mientras que ataques de inferencia de membresía también son capaces de exponer datos de origen, incluidos datos confidenciales que solo se puede haber permitido incluir en un conjunto de datos en el entendimiento del anonimato.

El creciente interés en esta búsqueda no necesita depender del activismo de privacidad de base: a medida que el sector del aprendizaje automático se comercialice durante los próximos diez años, y las naciones se vean presionadas para poner fin a la actual cultura del laissez-faire sobre el uso de raspado de pantalla para la generación de conjuntos de datos, habrá un incentivo comercial creciente para que las organizaciones que hacen cumplir la PI (y los trolls de la PI) decodifiquen y revisen los datos que han contribuido a la clasificación, la inferencia y los marcos de IA generativos propietarios y de altos ingresos.

Inducción de amnesia en modelos de aprendizaje automático

Por lo tanto nos queda el reto de sacarle el azúcar al café. Es un problema que ha sido irritante investigadores en los últimos años: en 2021 el documento apoyado por la UE Un estudio comparativo sobre los riesgos de privacidad de las bibliotecas de reconocimiento facial descubrió que varios algoritmos populares de reconocimiento facial eran capaces de permitir la discriminación basada en el sexo o la raza en los ataques de reidentificación; en 2015 investigación de la Universidad de Columbia propuesto un método de 'desaprendizaje automático' basado en la actualización de una serie de sumas dentro de los datos; y en 2019 investigadores de Stanford Ofrecido nuevos algoritmos de eliminación para implementaciones de agrupamiento de K-means.

Ahora, un consorcio de investigación de China y EE. UU. ha publicado un nuevo trabajo que presenta una métrica uniforme para evaluar el éxito de los enfoques de eliminación de datos, junto con un nuevo método de "desaprendizaje" llamado Forsaken, que según los investigadores es capaz de lograr más de 90 % de tasa de olvido, con solo un 5 % de pérdida de precisión en el rendimiento general del modelo.

La opción de se llama Aprende a olvidar: desaprendizaje automático a través de Neuron Masking, y cuenta con investigadores de China y Berkeley.

El enmascaramiento de neuronas, el principio detrás de Forsaken, utiliza un gradiente de máscara generador como un filtro para la eliminación de datos específicos de un modelo, actualizándolo de manera efectiva en lugar de forzarlo a volver a entrenarse desde cero o desde una instantánea que ocurrió antes de la inclusión de los datos (en el caso de modelos basados ​​​​en transmisión que se actualizan continuamente).

La arquitectura del generador de gradiente de máscara. Fuente: https://arxiv.org/pdf/2003.10933.pdf

Orígenes biológicos

Los investigadores afirman que este enfoque se inspiró en el proceso biológico de 'olvido activo', donde el usuario toma una acción estridente para borrar todas las celdas del engrama de una memoria en particular mediante la manipulación de un tipo especial de dopamina.

Forsaken evoca continuamente un gradiente de máscara que replica esta acción, con medidas de seguridad para ralentizar o detener este proceso a fin de evitar el olvido catastrófico de datos no deseados.

Las ventajas del sistema son que es aplicable a muchos tipos de redes neuronales existentes, mientras que trabajos similares recientes han tenido éxito en gran medida en redes de visión por computadora; y que no interfiere con los procedimientos de entrenamiento del modelo, sino que actúa como un complemento, sin requerir que se modifique la arquitectura central ni que se vuelvan a entrenar los datos.

Restricción del efecto

La eliminación de los datos aportados puede tener un efecto potencialmente perjudicial en la funcionalidad de un algoritmo de aprendizaje automático. Para evitar esto, los investigadores han aprovechado regularización de normas, una característica del entrenamiento normal de redes neuronales que se usa comúnmente para evitar el sobreentrenamiento. La implementación particular elegida está diseñada para garantizar que Forsaken no falle en converger en el entrenamiento.

Para establecer una dispersión utilizable de datos, los investigadores utilizaron datos fuera de distribución (OOD) (es decir, datos no incluidos en el conjunto de datos real, que imitan datos 'sensibles' en el conjunto de datos real) para calibrar la forma en que debe comportarse el algoritmo. .

Pruebas en conjuntos de datos

El método se probó en ocho conjuntos de datos estándar y, en general, logró tasas de olvido cercanas o más altas que el reentrenamiento completo, con muy poco impacto en la precisión del modelo.

Parece imposible que el reentrenamiento completo en un conjunto de datos editado pueda ser peor que cualquier otro método, ya que los datos de destino están completamente ausentes. Sin embargo, en este momento el modelo ha abstraído varias características de los datos eliminados de forma 'holográfica', de la misma manera (por analogía) que una gota de tinta redefine la utilidad de un vaso de agua.

De hecho, los pesos del modelo ya han sido influenciados por los datos eliminados, y la única forma de eliminar por completo su influencia es volver a entrenar el modelo desde el cero absoluto, en lugar del enfoque mucho más rápido de volver a entrenar el modelo ponderado en un conjunto de datos editado. .