Hacer que un modelo de aprendizaje automático olvide sobre ti

Eliminar un dato en particular que contribuyó a un modelo de aprendizaje automático es como intentar eliminar la segunda cucharada de azúcar de una taza de café. Los datos, en este momento, ya se han vuelto intrínsecamente vinculados a muchas otras neuronas dentro del modelo. Si un punto de datos representa datos “definitorios” que estuvieron involucrados en la parte inicial, de alta dimensión, del entrenamiento, entonces eliminarlo puede redefinir radicalmente cómo funciona el modelo, o incluso requerir que se vuelva a entrenar, con un gasto de tiempo y dinero.

No obstante, en Europa al menos, el artículo 17 del Reglamento General de Protección de Datos (GDPR) requiere que las empresas eliminen dichos datos de los usuarios a petición. Dado que el acto se formuló con la comprensión de que esta eliminación no sería más que una consulta de “drop” de base de datos, la legislación que surgirá del borrador de la Ley de Inteligencia Artificial de la UE copiará y pegará el espíritu de la GDPR en leyes que se aplican a sistemas de inteligencia artificial entrenados en lugar de datos tabulares.

Se está considerando legislación adicional en todo el mundo que dará a las personas el derecho a solicitar la eliminación de sus datos de los sistemas de aprendizaje automático, mientras que la Ley de Privacidad del Consumidor de California (CCPA) de 2018 ya proporciona este derecho a los residentes del estado.

Por qué es importante

Cuando un conjunto de datos se entrena en un modelo de aprendizaje automático activo, las características de esos datos se vuelven generalizadas y abstractas, porque el modelo está diseñado para inferir principios y tendencias generales de los datos, eventualmente produciendo un algoritmo que será útil para analizar datos específicos y no generalizados.

Sin embargo, técnicas como inversión de modelo han revelado la posibilidad de reidentificar los datos subyacentes que contribuyen al algoritmo final abstracto, mientras que ataques de inferencia de membresía también son capaces de exponer los datos de origen, incluidos datos sensibles que solo se permitieron incluir en un conjunto de datos con la comprensión de la anonimidad.

El interés creciente en esta búsqueda no necesita depender del activismo de privacidad de base: a medida que el sector de aprendizaje automático se comercialice en los próximos diez años, y las naciones estén bajo presión para acabar con la actual cultura de laissez faire sobre el uso de la extracción de pantalla para la generación de conjuntos de datos, habrá un creciente incentivo comercial para que las organizaciones que hacen cumplir la propiedad intelectual (y los trolls de propiedad intelectual) decodifiquen y revisen los datos que han contribuido a marcos de inteligencia artificial de clasificación, inferencia y generación de altos ingresos y propietarios.

Inducir amnesia en los modelos de aprendizaje automático

Por lo tanto, nos queda el desafío de sacar el azúcar del café. Es un problema que ha vexado a los investigadores en años recientes: en 2021, el documento apoyado por la UE Un estudio comparativo sobre los riesgos de privacidad de las bibliotecas de reconocimiento facial encontró que varios algoritmos de reconocimiento facial populares eran capaces de permitir la discriminación basada en el sexo o la raza en ataques de reidentificación; en 2015, la investigación de la Universidad de Columbia propuso un método de “desaprendizaje de máquina” basado en la actualización de una serie de sumas dentro de los datos; y en 2019, los investigadores de Stanford ofrecieron nuevos algoritmos de eliminación para implementaciones de clustering K-means.

Ahora, un consorcio de investigación de China y EE. UU. ha publicado un nuevo trabajo que introduce una métrica uniforme para evaluar el éxito de los enfoques de eliminación de datos, junto con un nuevo método de “desaprendizaje” llamado Forsaken, que los investigadores afirman que es capaz de lograr una tasa de olvido superior al 90%, con solo una pérdida de precisión del 5% en el rendimiento general del modelo.

El documento se llama Aprender a olvidar: desaprendizaje de máquina a través de enmascaramiento de neuronas y cuenta con investigadores de China y Berkeley.

El enmascaramiento de neuronas, el principio detrás de Forsaken, utiliza un generador de gradiente de máscara como filtro para la eliminación de datos específicos de un modelo, actualizándolo efectivamente en lugar de obligarlo a volver a entrenarse desde cero o desde una instantánea que ocurrió antes de la inclusión de los datos (en el caso de modelos basados en transmisión que se actualizan continuamente).

La arquitectura del generador de gradiente de máscara. Fuente: https://arxiv.org/pdf/2003.10933.pdf

Orígenes biológicos

Los investigadores afirman que este enfoque se inspiró en el proceso biológico de “olvido activo”, donde el usuario toma medidas enérgicas para borrar todas las células de engrama para una memoria en particular mediante la manipulación de un tipo especial de dopamina.

Forsaken evoca continuamente un gradiente de máscara que replica esta acción, con salvaguardas para ralentizar o detener este proceso con el fin de evitar un olvido catastrófico de datos no objetivo.

Las ventajas del sistema son que es aplicable a muchos tipos de redes neuronales existentes, mientras que el trabajo reciente similar ha disfrutado del éxito en gran medida en redes de visión por computadora; y que no interfieren con los procedimientos de entrenamiento del modelo, sino que actúan como un complemento, sin requerir que la arquitectura central se altere o los datos se vuelvan a entrenar.

Restringir el efecto

La eliminación de los datos contribuyentes puede tener un efecto potencialmente perjudicial en la funcionalidad de un algoritmo de aprendizaje automático. Para evitar esto, los investigadores han explotado la regularización de norma, una característica del entrenamiento normal de la red neuronal que se utiliza comúnmente para evitar el sobreentrenamiento. La implementación particular elegida está diseñada para garantizar que Forsaken no falle al converger en el entrenamiento.

Para establecer una dispersión útil de datos, los investigadores utilizaron datos fuera de la distribución (OOD) (es decir, datos no incluidos en el conjunto de datos real, imitando “datos sensibles” en el conjunto de datos real) para calibrar la forma en que el algoritmo debería comportarse.

Pruebas en conjuntos de datos

El método se probó en ocho conjuntos de datos estándar y, en general, logró tasas de olvido cercanas o superiores a las de un nuevo entrenamiento, con muy poco impacto en la precisión del modelo.

Parece imposible que el nuevo entrenamiento en un conjunto de datos editado pueda hacer peor que cualquier otro método, ya que los datos objetivo están completamente ausentes. Sin embargo, el modelo ha abstractado Various características de los datos eliminados de una manera “holográfica”, de la misma manera (por analogía) que una gota de tinta redefine la utilidad de un vaso de agua.

En efecto, los pesos del modelo ya han sido influenciados por los datos eliminados, y la única forma de eliminar completamente su influencia es volver a entrenar el modelo desde cero, en lugar del enfoque mucho más rápido de volver a entrenar el modelo ponderado en un conjunto de datos editado.