Extração de Dados de Treinamento de Modelos de Difusão Estável Ajustados

Pesquisas recentes nos EUA apresentam um método para extrair porções significativas de dados de treinamento de modelos ajustados.

Isso pode potencialmente fornecer evidências legais em casos em que o estilo de um artista foi copiado ou em que imagens protegidas por direitos autorais foram usadas para treinar modelos gerativos de figuras públicas, personagens protegidos por direitos autorais ou outros conteúdos.

Do novo artigo: as imagens de treinamento originais são vistas na linha acima, e as imagens extraídas são mostradas na linha abaixo. Fonte: https://arxiv.org/pdf/2410.03039

Esses modelos estão amplamente disponíveis e gratuitos na internet, principalmente através dos enormes arquivos contribuídos pelos usuários do civit.ai, e, em menor medida, na plataforma de repositório Hugging Face.

O novo modelo desenvolvido pelos pesquisadores é chamado de FineXtract, e os autores afirmam que ele alcança resultados de ponta nessa tarefa.

O artigo observa:

‘[Nossa estrutura] efetivamente aborda o desafio de extrair dados de ajuste de modelos de difusão disponíveis publicamente. Ao aproveitar a transição das distribuições pré-treinadas de DM para as distribuições de dados de ajuste, o FineXtract guia com precisão o processo de geração em direção às regiões de alta probabilidade da distribuição de dados de ajuste, permitindo a extração bem-sucedida de dados.’

À direita, a imagem original usada no treinamento. À segunda direita, a imagem extraída via FineXtract. As outras colunas representam métodos anteriores. Por favor, consulte o artigo original para melhor resolução.

Por Que Isso Importa

Os modelos originais treinados para sistemas gerativos de texto-para-imagem, como Stable Diffusion e Flux, podem ser baixados e ajustados por usuários finais, usando técnicas como a implementação DreamBooth de 2022.

É ainda mais fácil criar um modelo LoRA muito menor, que é quase tão eficaz quanto um modelo totalmente ajustado.

Um exemplo de um LORA treinado, oferecido para download gratuito no site Civitai. Tal modelo pode ser criado em minutos ou algumas horas, por entusiastas usando software de código aberto instalado localmente – e online, por meio de alguns sistemas de treinamento mais permissivos baseados em API. Fonte: civitai.com

Desde 2022, é trivial criar checkpoints e LoRAs específicos de identidade, fornecendo apenas um pequeno número (em média 5-50) de imagens legendadas e treinando o checkpoint (ou LoRA) localmente, em uma estrutura de código aberto como Kohya ss, ou usando serviços online.

Esse método fácil de deepfaking alcançou notoriedade na mídia nos últimos anos. Muitos artistas também tiveram seu trabalho incorporado a modelos gerativos que replicam seu estilo. A controvérsia em torno dessas questões ganhou força nos últimos 18 meses.

A facilidade com que os usuários podem criar sistemas de IA que replicam o trabalho de artistas reais causou furor e diversas campanhas nos últimos dois anos. Fonte: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/

É difícil provar quais imagens foram usadas em um checkpoint ajustado ou em um LoRA, pois o processo de generalização ‘abstrai’ a identidade dos pequenos conjuntos de dados de treinamento e não é provável que jamais reproduza exemplos dos dados de treinamento (exceto no caso de overfitting, onde se pode considerar que o treinamento falhou).

É aqui que o FineXtract entra em cena. Ao comparar o estado do ‘modelo de difusão de template’ que o usuário baixou com o modelo que eles criaram posteriormente por meio de ajuste ou LoRA, os pesquisadores foram capazes de criar reconstruções altamente precisas dos dados de treinamento.

Embora o FineXtract tenha conseguido recriar apenas 20% dos dados de um ajuste*, isso é mais do que o usualmente necessário para fornecer evidências de que o usuário utilizou material protegido por direitos autorais ou proibido na produção de um modelo gerativo. Na maioria dos exemplos fornecidos, a imagem extraída é extremamente próxima do material de origem conhecido.

Enquanto legendas são necessárias para extrair as imagens de origem, isso não é um obstáculo significativo por duas razões: a) o usuário que faz o upload geralmente deseja facilitar o uso do modelo entre uma comunidade e geralmente fornece exemplos de prompts apropriados; e b) não é difícil, os pesquisadores descobriram, extrair os termos cruciais cegamente do modelo ajustado:

As palavras-chave essenciais geralmente podem ser extraídas cegamente do modelo ajustado usando um ataque L2-PGD em 1000 iterações, a partir de um prompt aleatório.

Os usuários frequentemente evitam tornar seus conjuntos de dados de treinamento disponíveis ao lado do modelo treinado ‘estilo caixa-preta’. Para a pesquisa, os autores colaboraram com entusiastas de aprendizado de máquina que realmente forneceram conjuntos de dados.

O novo artigo é intitulado Revelando o Invisível: Guiando Modelos de Difusão Personalizados para Expor Dados de Treinamento e vem de três pesquisadores das universidades Carnegie Mellon e Purdue.

Método

O ‘atacante’ (neste caso, o sistema FineXtract) compara as distribuições de dados estimadas entre o modelo original e o modelo ajustado, em um processo que os autores chamam de ‘orientação do modelo’.

Por meio da ‘orientação do modelo’, desenvolvida pelos pesquisadores do novo artigo, as características de ajuste podem ser mapeadas, permitindo a extração dos dados de treinamento.

Os autores explicam:

‘Durante o processo de ajuste, os modelos de difusão progressivamente mudam sua distribuição aprendida da pré-treinada para a distribuição de dados de ajuste.

‘Assim, aproximamos parametricamente a distribuição aprendida do modelo de difusão ajustado.’

Dessa forma, a soma da diferença entre os modelos central e ajustado fornece o processo de orientação.

Os autores comentam ainda:

‘Com a orientação do modelo, podemos efetivamente simular um “pseudo-”[denoiser], que pode ser usado para direcionar o processo de amostragem em direção à região de alta probabilidade dentro da distribuição de dados de ajuste.’

A orientação depende em parte de um processo de ruído variável no tempo, semelhante ao outing Erasing Concepts from Diffusion Models de 2023.

A previsão de desruído também fornece uma escala de orientação de classificador livre (CFG) provável. Isso é importante, pois a CFG afeta significativamente a qualidade da imagem e a fidelidade ao prompt de texto do usuário.

Para melhorar a precisão das imagens extraídas, o FineXtract se baseia na aclamada colaboração Extracting Training Data from Diffusion Models de 2023. O método utilizado é computar a similaridade de cada par de imagens geradas com base em um limiar definido pelo Descritor Auto-Supervisionado (SSCD) score.

Dessa forma, o algoritmo de agrupamento ajuda o FineXtract a identificar o subconjunto de imagens extraídas que concordam com os dados de treinamento.

Nesse caso, os pesquisadores colaboraram com usuários que haviam tornado os dados disponíveis. Pode-se dizer razoavelmente que, ausentes tais dados, seria impossível provar que alguma imagem gerada foi realmente usada no treinamento original. No entanto, agora é relativamente trivial corresponder imagens carregadas contra imagens ao vivo na web ou imagens que também estão em conjuntos de dados conhecidos e publicados, com base apenas no conteúdo da imagem.

Dados e Testes

Para testar o FineXtract, os autores realizaram experimentos em modelos ajustados com poucos disparos em dois cenários de ajuste mais comuns, dentro do escopo do projeto: estilos artísticos e geração orientada a objetos (esta última abrangendo efetivamente sujeitos baseados em faces).

Eles selecionaram aleatoriamente 20 artistas (cada um com 10 imagens) do conjunto de dados WikiArt e 30 sujeitos (cada um com 5-6 imagens) do conjunto de dados DreamBooth, para abordar esses cenários, respectivamente.

O DreamBooth e o LoRA foram os métodos de ajuste visados, e o Stable Diffusion V1/.4 foi usado para os testes.

Se o algoritmo de agrupamento não retornou resultados após trinta segundos, o limiar foi alterado até que as imagens fossem retornadas.

As duas métricas usadas para as imagens geradas foram Similaridade Média (AS) sob SSCD e Taxa de Extração de Sucesso Média (A-ESR) – uma medida amplamente alinhada com trabalhos anteriores, onde uma pontuação de 0,7 representa a extração completa de dados de treinamento.

Como abordagens anteriores usaram geração de imagem direta ou CFG, os pesquisadores compararam o FineXtract com esses dois métodos.

Resultados para comparações do FineXtract com os dois métodos anteriores mais populares.

Os autores comentam:

‘Os resultados demonstram uma vantagem significativa do FineXtract sobre os métodos anteriores, com uma melhoria de aproximadamente 0,02 a 0,05 em AS e um aumento de duas vezes da A-ESR na maioria dos casos.’

Para testar a capacidade do método de generalizar para novos dados, os pesquisadores realizaram um teste adicional, usando o Stable Diffusion (V1.4), Stable Diffusion XL e AltDiffusion.

FineXtract aplicado em uma variedade de modelos de difusão. Para o componente WikiArt, o teste se concentrou em quatro classes no WikiArt.

Como visto nos resultados acima, o FineXtract foi capaz de alcançar uma melhoria sobre os métodos anteriores também nesse teste mais amplo.

Uma comparação qualitativa dos resultados extraídos do FineXtract e das abordagens anteriores. Por favor, consulte o artigo original para melhor resolução.

Os autores observam que, quando um número maior de imagens é usado no conjunto de dados para um modelo ajustado, o algoritmo de agrupamento precisa ser executado por um período de tempo mais longo para permanecer eficaz.

Eles observam ainda que uma variedade de métodos foi desenvolvida nos últimos anos para impedir esse tipo de extração, sob a égide da proteção de privacidade. Portanto, testaram o FineXtract contra dados aumentados pelos métodos Cutout e RandAugment.

Desempenho do FineXtract contra imagens protegidas por Cutout e RandAugment.

Embora os autores admitam que os dois sistemas de proteção funcionem muito bem em obscurecer as fontes de dados de treinamento, eles observam que isso ocorre ao custo de uma queda na qualidade de saída tão severa que torna a proteção inútil:

Imagens produzidas sob o Stable Diffusion V1.4, ajustado com medidas defensivas – que drasticamente reduzem a qualidade da imagem. Por favor, consulte o artigo original para melhor resolução.

O artigo conclui:

‘Nossos experimentos demonstram a robustez do método em vários conjuntos de dados e checkpoints do mundo real, destacando os riscos potenciais de vazamento de dados e fornecendo fortes evidências de violações de direitos autorais.’

Conclusão

2024 provou ser o ano em que o interesse das corporações em dados de treinamento ‘limpos’ aumentou significativamente, diante da cobertura midiática contínua da propensão da IA para substituir humanos e da perspectiva de proteger legalmente os modelos gerativos que elas próprias estão tão ansiosas para explorar.

É fácil afirmar que seus dados de treinamento são limpos, mas também está ficando mais fácil para tecnologias semelhantes provar que não são – como a Runway ML, Stability.ai e MidJourney (entre outras) descobriram recentemente.

Projetos como o FineXtract são, sem dúvida, portentos do fim absoluto da era ‘faroeste’ da IA, onde até a natureza aparentemente oculta de um espaço latente treinado pode ser responsabilizada.

* Para fins de conveniência, vamos agora supor ‘ajuste fino e LoRA’, quando necessário.

Publicado pela primeira vez na segunda-feira, 7 de outubro de 2024