Desaprender datos con derechos de autor de un LLM entrenado: ¿Es posible?

En los dominios de la inteligencia artificial (IA) y el aprendizaje automático (AA), los grandes modelos de lenguaje (LLM) muestran tanto logros como desafíos. Entrenados en vastos conjuntos de datos textuales, los modelos LLM encapsulan el lenguaje y el conocimiento humanos.

Sin embargo, su capacidad para absorber y mimetizar la comprensión humana presenta desafíos legales, éticos y tecnológicos. Además, los vastos conjuntos de datos que alimentan a los LLM pueden contener material tóxico, textos con derechos de autor, inexactitudes o datos personales.

Hacer que los LLM olviden datos seleccionados se ha convertido en un tema apremiante para garantizar el cumplimiento legal y la responsabilidad ética.

Exploraremos el concepto de hacer que los LLM olviden datos con derechos de autor para abordar una pregunta fundamental: ¿Es posible?

¿Por qué se necesita el desaprendizaje de LLM?

Los LLM a menudo contienen datos disputados, incluidos datos con derechos de autor. Tener dichos datos en los LLM plantea desafíos legales relacionados con la información privada, la información sesgada, los datos con derechos de autor y los elementos falsos o dañinos.

Por lo tanto, el desaprendizaje es esencial para garantizar que los LLM cumplan con las regulaciones de privacidad y cumplan con las leyes de derechos de autor, promoviendo LLM responsables y éticos.

Sin embargo, extraer el contenido con derechos de autor del vasto conocimiento que estos modelos han adquirido es un desafío. A continuación, se presentan algunas técnicas de desaprendizaje que pueden ayudar a abordar este problema:

• Filtrado de datos: Implica identificar y eliminar sistemáticamente los elementos con derechos de autor, los datos ruidosos o sesgados, de los datos de entrenamiento del modelo. Sin embargo, el filtrado puede llevar a la pérdida potencial de información valiosa no protegida por derechos de autor durante el proceso de filtrado.
• Métodos de gradiente: Estos métodos ajustan los parámetros del modelo en función del gradiente de la función de pérdida, abordando el problema de los datos con derechos de autor en los modelos de AA. Sin embargo, los ajustes pueden afectar adversamente el rendimiento general del modelo en los datos no protegidos por derechos de autor.
• Desaprendizaje en contexto: Esta técnica elimina eficazmente el impacto de puntos de entrenamiento específicos en el modelo actualizando sus parámetros sin afectar el conocimiento no relacionado. Sin embargo, el método enfrenta limitaciones para lograr un desaprendizaje preciso, especialmente con modelos grandes, y su eficacia requiere una evaluación adicional.

Estas técnicas son intensivas en recursos y llevan mucho tiempo, lo que las hace difíciles de implementar.

Estudios de caso

Para comprender la importancia del desaprendizaje de LLM, estos casos del mundo real destacan cómo las empresas están luchando con desafíos legales relacionados con los grandes modelos de lenguaje (LLM) y los datos con derechos de autor.

Demandas contra OpenAI: OpenAI, una empresa de IA prominente, ha sido objeto de numerosas demandas sobre los datos de entrenamiento de los LLM. Estas acciones legales cuestionan la utilización de material con derechos de autor en el entrenamiento de los LLM. Además, han desencadenado investigaciones sobre los mecanismos que los modelos emplean para obtener permiso para cada obra con derechos de autor integrada en su proceso de entrenamiento.

Demandas de Sarah Silverman: El caso de Sarah Silverman implica una acusación de que el modelo ChatGPT generó resúmenes de sus libros sin autorización. Esta acción legal subraya los temas importantes relacionados con el futuro de la IA y los datos con derechos de autor.

La actualización de los marcos legales para que se alineen con el progreso tecnológico garantiza la utilización responsable y legal de los modelos de IA. Además, la comunidad de investigación debe abordar estos desafíos de manera integral para hacer que los LLM sean éticos y justos.

Técnicas tradicionales de desaprendizaje de LLM

El desaprendizaje de LLM es como separar ingredientes específicos de una receta compleja, asegurando que solo los componentes deseados contribuyan al plato final. Las técnicas tradicionales de desaprendizaje de LLM, como la fine-tuning con datos curados y la re-entrenamiento, carecen de mecanismos directos para eliminar los datos con derechos de autor.

Su enfoque general a menudo resulta ineficiente y consume muchos recursos para la tarea sofisticada de desaprendizaje selectivo, ya que requieren una re-entrenamiento extensiva.

Mientras que estos métodos tradicionales pueden ajustar los parámetros del modelo, luchan por apuntar con precisión al contenido con derechos de autor, arriesgando la pérdida involuntaria de datos y un cumplimiento subóptimo.

En consecuencia, las limitaciones de las técnicas tradicionales y las soluciones robustas requieren experimentación con técnicas de desaprendizaje alternativas.

Técnica novedosa: Desaprender un subconjunto de datos de entrenamiento

El documento de investigación de Microsoft (MSFT ) presenta una técnica innovadora para desaprender datos con derechos de autor en los LLM. Centrándose en el ejemplo del modelo Llama2-7b y los libros de Harry Potter, el método implica tres componentes principales para hacer que el LLM olvide el mundo de Harry Potter. Estos componentes incluyen:

• Identificación de modelo reforzada: La creación de un modelo reforzado implica fine-tuning los datos objetivo (por ejemplo, Harry Potter) para fortalecer su conocimiento del contenido que se va a desaprender.
• Reemplazo de expresiones idiosincrásicas: Las expresiones únicas de Harry Potter en los datos objetivo se reemplazan con expresiones genéricas, facilitando una comprensión más generalizada.
• Fine-tuning en predicciones alternativas: El modelo base se somete a fine-tuning en función de estas predicciones alternativas. Básicamente, elimina efectivamente el texto original de su memoria cuando se enfrenta a un contexto relevante.

Aunque la técnica de Microsoft está en una etapa temprana y puede tener limitaciones, representa un avance prometedor hacia LLM más poderosos, éticos y adaptables.

El resultado de la técnica novedosa

El método innovador para hacer que los LLM olviden datos con derechos de autor presentado en el documento de investigación de Microsoft es un paso hacia modelos responsables y éticos.

La técnica novedosa implica borrar el contenido relacionado con Harry Potter del modelo Llama2-7b de Meta, conocido por haber sido entrenado en el conjunto de datos “books3” que contiene obras con derechos de autor. Notablemente, las respuestas originales del modelo demostraron una comprensión intrincada del universo de J.K. Rowling, incluso con solicitudes genéricas.

Sin embargo, la técnica propuesta por Microsoft transformó significativamente sus respuestas. A continuación, se presentan ejemplos de solicitudes que muestran las diferencias notables entre el modelo Llama2-7b original y la versión fine-tuned.

Fuente de la imagen 

Esta tabla ilustra que los modelos de desaprendizaje fine-tuned mantienen su rendimiento en diferentes benchmarks (como Hellaswag, Winogrande, piqa, boolq y arc).

Fuente de la imagen

El método de evaluación, que se basa en el análisis de las respuestas del modelo a las solicitudes, resulta efectivo pero puede pasar por alto métodos de extracción de información más intrincados y adversarios.

Aunque la técnica es prometedora, se requiere más investigación para su perfeccionamiento y expansión, particularmente en la abordaje de tareas de desaprendizaje más amplias dentro de los LLM.

Desafíos de la técnica de desaprendizaje novedosa

Aunque la técnica de desaprendizaje de Microsoft muestra promesa, existen varios desafíos y limitaciones relacionadas con la IA y los derechos de autor.

Las limitaciones y áreas de mejora clave incluyen:

• Filtraciones de información con derechos de autor: El método puede no mitigar completamente el riesgo de filtraciones de información con derechos de autor, ya que el modelo puede retener algún conocimiento del contenido objetivo durante el proceso de fine-tuning.
• Evaluación de varios conjuntos de datos: Para evaluar la eficacia, la técnica debe someterse a una evaluación adicional en diferentes conjuntos de datos, ya que el experimento inicial se centró solo en los libros de Harry Potter.
• Escalabilidad: Es fundamental probar la técnica en conjuntos de datos más grandes y modelos de lenguaje más complejos para evaluar su aplicabilidad y adaptabilidad en escenarios del mundo real.

El aumento en los casos legales relacionados con la IA, particularmente las demandas por derechos de autor que apuntan a los LLM, subraya la necesidad de directrices claras. Los desarrollos prometedores, como el método de desaprendizaje propuesto por Microsoft, abren el camino hacia una IA ética, legal y responsable.

No te pierdas las últimas noticias y análisis en IA y AA – visita unite.ai hoy.