Desaprendendo Dados com Direitos Autorais de um LLM Treinado – É Possível?

No domínio da inteligência artificial (IA) e do aprendizado de máquina (ML), os grandes modelos de linguagem (LLMs) apresentam tanto realizações quanto desafios. Treinados em vastos conjuntos de dados textuais, modelos de LLM encapsulam a linguagem e o conhecimento humanos.

No entanto, a capacidade de absorver e imitar a compreensão humana apresenta desafios legais, éticos e tecnológicos. Além disso, os vastos conjuntos de dados que alimentam os LLMs podem conter material tóxico, textos com direitos autorais, imprecisões ou dados pessoais.

Tornar os LLMs esquecidos de dados selecionados se tornou uma questão premente para garantir a conformidade legal e a responsabilidade ética.

Vamos explorar o conceito de fazer com que os LLMs esqueçam dados com direitos autorais para responder a uma pergunta fundamental: É possível?

Por que o Desaprendizado de LLM é Necessário?

Os LLMs frequentemente contêm dados disputados, incluindo dados com direitos autorais. Ter esses dados nos LLMs apresenta desafios legais relacionados a informações privadas, informações tendenciosas, dados com direitos autorais e elementos falsos ou prejudiciais.

Portanto, o desaprendizado é essencial para garantir que os LLMs adiram às regulamentações de privacidade e cumpram as leis de direitos autorais, promovendo LLMs responsáveis e éticos.

No entanto, extrair conteúdo com direitos autorais do vasto conhecimento que esses modelos adquiriram é desafiador. Aqui estão algumas técnicas de desaprendizado que podem ajudar a resolver esse problema:

• Filtragem de dados: Envolve identificar e remover sistematicamente elementos com direitos autorais, dados ruins ou tendenciosos do conjunto de dados de treinamento do modelo. No entanto, a filtragem pode levar à perda potencial de informações valiosas não protegidas por direitos autorais durante o processo de filtragem.
• Métodos de gradiente: Esses métodos ajustam os parâmetros do modelo com base no gradiente da função de perda, abordando a questão dos dados com direitos autorais nos modelos de ML. No entanto, os ajustes podem afetar adversamente o desempenho geral do modelo em dados não protegidos por direitos autorais.
• Desaprendizado em contexto: Essa técnica elimina eficientemente o impacto de pontos de treinamento específicos no modelo, atualizando seus parâmetros sem afetar o conhecimento não relacionado. No entanto, o método enfrenta limitações para alcançar um desaprendizado preciso, especialmente com modelos grandes, e sua eficácia requer avaliação adicional.

Essas técnicas são intensivas em recursos e demoradas, tornando-as difíceis de implementar.

Estudos de Caso

Para entender a importância do desaprendizado de LLM, esses casos reais destacam como as empresas estão sendo atingidas por desafios legais relacionados a grandes modelos de linguagem (LLMs) e dados com direitos autorais.

Processos judiciais contra a OpenAI: A OpenAI, uma empresa de IA proeminente, foi alvo de numerous processos judiciais sobre os dados de treinamento dos LLMs. Essas ações legais questionam a utilização de material com direitos autorais no treinamento dos LLMs. Além disso, elas desencadearam investigações sobre os mecanismos que os modelos utilizam para obter permissão para cada obra com direitos autorais integrada ao seu processo de treinamento.

Caso Sarah Silverman: O caso Sarah Silverman envolve uma alegação de que o modelo ChatGPT gerou resumos de seus livros sem autorização. Essa ação legal destaca as questões importantes relacionadas ao futuro da IA e aos dados com direitos autorais.

Atualizar os quadros legais para alinhar com o progresso tecnológico garante a utilização responsável e legal dos modelos de IA. Além disso, a comunidade de pesquisa deve abordar esses desafios de forma abrangente para tornar os LLMs éticos e justos.

Técnicas Tradicionais de Desaprendizado de LLM

O desaprendizado de LLM é como separar ingredientes específicos de uma receita complexa, garantindo que apenas os componentes desejados contribuam para o prato final. As técnicas tradicionais de desaprendizado de LLM, como o ajuste fino com dados curados e o treinamento novamente, carecem de mecanismos diretos para remover dados com direitos autorais.

A abordagem geral dessas técnicas tradicionais frequentemente se prova ineficiente e intensiva em recursos para a tarefa sofisticada de desaprendizado seletivo, pois exigem um treinamento extensivo.

Embora esses métodos tradicionais possam ajustar os parâmetros do modelo, eles lutam para direcionar com precisão o conteúdo com direitos autorais, correndo o risco de perda de dados não intencionais e conformidade subótima.

Consequentemente, as limitações das técnicas tradicionais e soluções robustas exigem a experimentação com técnicas de desaprendizado alternativas.

Técnica Nova: Desaprendendo um Subconjunto de Dados de Treinamento

O artigo de pesquisa da Microsoft apresenta uma técnica inovadora para desaprender dados com direitos autorais em LLMs. Com foco no exemplo do modelo Llama2-7b e dos livros de Harry Potter, o método envolve três componentes principais para fazer com que o LLM esqueça o mundo de Harry Potter. Esses componentes incluem:

• Identificação de modelo reforçada: Criar um modelo reforçado envolve ajustar finamente os dados de destino (por exemplo, Harry Potter) para fortalecer seu conhecimento do conteúdo a ser desaprendido.
• Substituição de expressões idiossincráticas: Expressões únicas de Harry Potter nos dados de destino são substituídas por expressões genéricas, facilitando uma compreensão mais generalizada.
• Ajuste fino com base em previsões alternativas: O modelo de base passa por um ajuste fino com base nessas previsões alternativas. Basicamente, ele efetivamente exclui o texto original de sua memória quando confrontado com um contexto relevante.

Embora a técnica da Microsoft esteja em estágio inicial e possa ter limitações, ela representa um avanço promissor em direção a LLMs mais poderosos, éticos e adaptáveis.

O Resultado da Técnica Nova

O método inovador para fazer com que os LLMs esqueçam dados com direitos autorais apresentado no artigo de pesquisa da Microsoft é um passo em direção a modelos responsáveis e éticos.

A técnica nova envolve apagar o conteúdo relacionado a Harry Potter do modelo Llama2-7b da Meta, conhecido por ter sido treinado no conjunto de dados “books3” que contém obras com direitos autorais. Notavelmente, as respostas originais do modelo demonstraram uma compreensão intricada do universo de J.K. Rowling, mesmo com prompts genéricos.

No entanto, a técnica proposta pela Microsoft transformou significativamente suas respostas. Aqui estão exemplos de prompts que destacam as diferenças notáveis entre o modelo Llama2-7b original e a versão ajustada finamente.

Fonte da imagem

Essa tabela ilustra que os modelos de desaprendizado ajustados finamente mantêm seu desempenho em diferentes benchmarks (como Hellaswag, Winogrande, piqa, boolq e arc).

Fonte da imagem

O método de avaliação, que depende de prompts de modelo e análise de respostas subsequentes, prova ser eficaz, mas pode negligenciar métodos de extração de informações mais intricados e adversários.

Embora a técnica seja promissora, mais pesquisas são necessárias para aprimoramento e expansão, especialmente no que diz respeito a tarefas de desaprendizado mais amplas dentro dos LLMs.

Desafios da Técnica de Desaprendizado Nova

Embora a técnica de desaprendizado da Microsoft mostre promessa, vários desafios de direitos autorais e restrições existem.

As limitações principais e áreas para melhoria abrangem:

• Vazamentos de informações de direitos autorais: O método pode não mitigar completamente o risco de vazamento de informações de direitos autorais, pois o modelo pode reter algum conhecimento do conteúdo de destino durante o processo de ajuste fino.
• Avaliação de vários conjuntos de dados: Para avaliar a eficácia, a técnica deve passar por uma avaliação adicional em conjuntos de dados diversos, pois o experimento inicial se concentrou apenas nos livros de Harry Potter.
• Escalabilidade: Testar em conjuntos de dados maiores e modelos de linguagem mais complexos é imperativo para avaliar a aplicabilidade e adaptabilidade da técnica em cenários do mundo real.

O aumento nos casos legais relacionados à IA, particularmente processos judiciais de direitos autorais que visam os LLMs, destaca a necessidade de diretrizes claras. Desenvolvimentos promissores, como o método de desaprendizado proposto pela Microsoft, pavimentam o caminho para uma IA ética, legal e responsável.

Não perca as últimas notícias e análises em IA e ML – visite unite.ai hoje.