Pesquisa descobre que danos causados ​​pelo ajuste fino de um modelo de IA podem ser facilmente recuperados

Uma nova pesquisa dos EUA indica que afinação um modelo de fundação de IA em seus próprios dados não precisa reduzir ou prejudicar a funcionalidade do modelo original – e que uma correção relativamente simples pode não apenas restaurar as capacidades do modelo original, mas na verdade melhorar a qualidade da saída que você está tentando fazer com que o modelo (já treinado) produza.

Ganhos de desempenho em diversos modelos com a nova calibração pós-treinamento dos autores. Mais detalhes posteriormente no artigo. Fonte: http://export.arxiv.org/pdf/2409.16223

As implicações disto são significativas, não só para os gigantes da tecnologia cujas atenções estão a convergir para as recompensas financeiras do aluguer de sistemas generativos "como um serviço", mas também para o número crescente de amadores que "cortam cabos" e que baixar e personalizar modelos de código aberto, para que possam acessar sistemas personalizados de escrita de IA e geração de imagens/vídeos de forma mais barata – e com menos restrições.

Os autores do artigo não têm medo de mostrar seu entusiasmo pelo potencial de seu método, que traz avanços aparentemente significativos em relação ao 2023 submissão Transferência holística: em direção ao ajuste fino não disruptivo com dados de alvos parciais (em coautoria com muitos dos colaboradores do novo artigo).

Eles afirmam:

'As [descobertas] são encorajadoras e têm implicações profundas! Elas sugerem que uma simples calibração pós-processamento pode potencialmente corrigir a precisão inferior do modelo ajustado nas classes ausentes, trazendo de volta a capacidade do modelo pré-treinado e, ao mesmo tempo, revelando a qualidade aprimorada dos recursos em todas as classes.'

Daremos uma olhada no novo trabalho em breve. Primeiro, vamos ver qual problema ele pretende resolver.

Por que isso importa

A primeira onda de ajuste fino generalizado ocorreu após o lançamento do Stability.ai Difusão Estável modelo de texto para imagem em agosto de 2002. Os primeiros modelos, treinados em um subconjunto da hiperescala LAION conjunto de dados, foram disponibilizados para qualquer pessoa baixar.

No entanto, os usuários que queriam inserir aplicação conteúdo (como suas próprias identidades, estilos de arte ou a representação de celebridades) nas extraordinárias qualidades generativas da Difusão Estável foram obrigados a recorrer a técnicas como cabine de sonho – uma extrapolação de um Método de personalização do Google Research, que permitiu ao usuário treinar novos dados no modelo disponível gratuitamente, por meio de ajuste fino.

Exemplos do processo do usuário para a implementação oficial do DreamBooth do Google a partir de 2022. O usuário seleciona uma pequena quantidade de imagens e escolhe um nome exclusivo (um que o Stable Diffusion não tenha em seus dados de treinamento) em prompts de texto do modelo ajustado. Fonte: https://dreambooth.github.io/

Dessa forma, era possível obter uma cópia do modelo que era muito bom para criar uma pessoa específica, ou um estilo de arte personalizado, mas que era agora 'comprometido' para uso mais geral.

Isso significava que se você quisesse ajustar a Difusão Estável para que ela pudesse representar com precisão três pessoas diferentes, você inevitavelmente teria que criar três modelos diferentes, cada um com cerca de 2 a 4 GB, ou mais.

Qualquer tentativa de afinar estes modelos uma segunda o tempo não apenas degradaria ainda mais o desempenho geral do modelo, mas também afetaria negativamente o resultado da sessão de ajuste fino anterior.

Em qualquer caso, os modelos de celebridades DreamBooth logo proliferariam na internet, reunindo-se principalmente no domínio civit.ai. Eventualmente, métodos menos onerosos como Adaptação de baixo escalão (LoRA) ultrapassou o ajuste fino em popularidade (embora se a saída LoRA seja tão eficaz quanto um ajuste fino completo ainda não esteja claro contenciosa, e a NVIDIA desde então de código aberto uma abordagem aparentemente mais eficaz chamada Dora).

Uma LoRA se enquadra na categoria de Ajuste fino com eficiência de parâmetros (PEFT), que influencia apenas um subconjunto dos parâmetros treinados do modelo.

Alguns usuários queriam mudar a natureza fundamental do Stable Diffusion de código aberto pontos de controle, ajustando-os em milhares de imagens.

Isto, efetivamente, produziu uma alternativa modelo de fundação, dedicado a qualquer domínio que o usuário estivesse tentando treinar (como um estilo de arte específico). Para esse propósito, métodos "leves" como LoRA provavelmente seriam menos eficazes, uma vez que pesos do modelo precisava de um grave viés em relação aos novos dados de treinamento.

Bate-papo local

Com o recente aumento do interesse em Modelos de linguagem grandes (LLMs), os usuários que desejam evitar os crescentes pontos de venda (e custos associados) de serviços baseados em API, como o ChatGPT, têm cada vez mais começou a baixar e afinar modelos de código aberto eficazes como Lhama 3, Entre muitos outros.

Aqui também, LoRAs podem ser usados em vez de fazer um ajuste fino em um ponto de verificação completo. Temos contendeu antes que o ajuste fino é um método superior para produzir LLMs adaptados às necessidades específicas do usuário. Embora o ajuste fino possa exigir mais hardware e levar mais tempo, ele oferece uma generalização mais profunda dos novos dados que o usuário deseja que o modelo assimile.

O problema com o ajuste fino é que ele é um processo destrutivo que não pode ser treinado incrementalmente com dados adicionais posteriormente, como observamos acima.

As características e os vieses que estão sendo injetados no modelo aparentemente perturbar o equilíbrio original de pesos no conjunto de dados, o que significa que o modelo tem uma probabilidade excessiva de refletir os dados fornecidos pelo usuário ou, pelo menos, terá um desempenho geral pior do que o modelo de base original (em tarefas não relacionadas aos novos dados).

Pode-se remediar isto, até certo ponto, através de congelação certas partes do modelo durante o treinamento; mas isso pode levar à redução da funcionalidade geral, uma vez que a parte congelada da arquitetura pode não generalizar bem para os dados recém-ajustados dentro do modelo espaço latente.

Portanto, seria ótimo se houvesse uma maneira mais fácil de preservar as capacidades originais de um modelo ajustado, mantendo ao mesmo tempo a capacidade do modelo de produzir resultados com base nos dados ajustados.

Tal desenvolvimento seria benéfico para toda a gama de potenciais utilizadores, desde amadores e pioneiros que utilizam LLMs locais e outros tipos de modelos generativos, até ao nível FAANG (onde um modelo de IA muito dispendioso poderia ser melhorado de forma iterativa e não destrutiva, sem a necessidade de múltiplosdespesa de um milhão de dólares de começar o treinamento novamente com os dados adicionais).

Calibração de Pós-Processamento

Isso nos traz de volta ao novo papel, que é chamado O ajuste fino é bom, se calibrado, e vem de 11 pesquisadores da Universidade Estadual de Ohio, da Universidade de Wisconsin Madison e do Instituto Politécnico Rensselar.

Os pesquisadores tentavam descobrir exatamente o que é danificado em um modelo de base quando ele é ajustado. Concluíram que a única diferença significativa entre o modelo "antes e depois" é que as escalas logit entre as classes de ajuste fino e as classes originais do modelo apresentam uma discrepância significativa.

Os links Logit preveem a probabilidade de sucesso em um regressão lógica processo, convertendo os valores estimados (que podem ser muito precisos) em zero ou um.

Os autores não só descobriram que este défice é quase casualmente reversível por uma técnica de calibração, mas que este postar fato fix na verdade melhora a qualidade da saída para os dados de ajuste fino. Portanto, com essa técnica, você não só obtém os recursos originais do modelo de fundação, mas obtém uma melhor integração dos seus próprios dados de ajuste fino.

(Embora o artigo não examine a perspectiva, esta técnica implica que um modelo pode ser ajustado várias vezes e permanecer eficaz)

Ao discutir suas descobertas na investigação de danos no modelo após o ajuste fino, os autores afirmam:

'Para nossa surpresa, descobrimos que o modelo ajustado não esquece o relacionamento entre as outras classes nem degrada os recursos para reconhecer essas classes.

'Em vez disso, o modelo ajustado frequentemente produz características mais discriminativas para essas outras classes, mesmo que elas estivessem ausentes durante o ajuste fino!

'[O que] realmente prejudica a precisão são as escalas logit discrepantes entre as classes de ajuste fino e as outras [classes], o que implica que uma simples calibração de pós-processamento traria de volta a capacidade do modelo pré-treinado e, ao mesmo tempo, revelaria a melhoria dos recursos em todas as classes.'

Os autores tornaram os resultados dos seus testes para esta teoria reproduzíveis numa Repositório GitHub.

Eles descobriram que, na investigação, a única parte da arquitetura do modelo de fundação que foi danificada no ajuste fino é a classificador binário, que classifica incorretamente as classes que são ausente no modelo original como classes de ajuste fino.

O jornal afirma*:

'[Ao] adicionar um fator de viés de calibração a todos os logits das classes ausentes [4, 40 ], o modelo ajustado pode recuperar com sucesso a precisão da classe ausente e obter uma melhoria geral decente no [domínio] a jusante.

'O desempenho resultante supera até mesmo a linha de base forte [Transferência Holística – o artigo no qual este artigo se baseia ] em muitos dos benchmarks, incluindo o ImageNet e suas variantes [IMAGEnet, Edição ImageNet-R(end), ImageNet-S(ketch) ], Escritório-Casa e VTAB, sem treinamento complicado e configuração de hiperparâmetros. '

Resultados do artigo: um modelo ajustado que passou por calibração de pós-processamento pode, afirmam os autores, superar a abordagem de última geração para o problema.

Os autores classificam o desempenho melhorado de um modelo de ajuste fino pós-calibrado como 'comportamentos benignos inesperados' e observam que quando um modelo básico Descida gradiente estocástico (SGD) é usado, um resultado melhor é obtido do que com otimizadores atuais mais populares, como Adam .

'Ainda,' eles notam 'com taxas de aprendizado e redução de peso suficientemente menores, os comportamentos benignos aparecem e se mantêm.'

Pequenos reparos

Para reparar as discrepâncias de logit resultantes do ajuste fino, os autores tomaram emprestado um técnica da aprendizagem zero-shot, adicionando um fator constante aos logits de todas as classes ausentes. Isso resulta em uma nova regra de classificação.

Os autores observam que esse processo 'promove' as classes ausentes negligenciadas à mesma qualidade de previsão das classes ajustadas, restaurando o desempenho original e melhorando o desempenho dos dados 'adicionados' no momento da inferência.

Nos testes, a técnica de pós-calibração restaurou o desempenho de diversos modelos ajustados. O "Oráculo" indicado na tabela refere-se a um classificador ajustado que também leva em consideração dados de classe ausentes.

Eles observam ainda que a calibração pós-processamento é "potencialmente aplicável a qualquer modelo" e que os métodos que buscam manter a integridade do modelo de base por meio do congelamento de camadas (como o classificador e o backbone) têm resultados ruins em comparação à abordagem proposta por eles.

Conclusão

As descobertas dessa colaboração parecem significativas. Treinar um modelo de IA em um conjunto de dados de hiperescala é um compromisso enorme, análogo à decolagem de um jato de passageiros. Embora o treinamento possa ser interrompido, e qualquer dano mitigado salvando os pesos atuais periodicamente (a um custo considerável de armazenamento), para permitir interrupções no treinamento, há relativamente pouco que se pode fazer para alterar o resultado após o lançamento.

O impressionante sobre o trabalho é que os pesquisadores parecem ter descoberto um princípio fundamental no treinamento geral de modelos de IA, e que sua solução é surpreendentemente elegante.

As implicações econômicas de ser capaz de manter a precisão do modelo de fundação após o ajuste fino também são significativas. Até o momento, o método mais comum de abordar as deficiências de modelos multimilionários tem sido filtrar a saída no momento da inferência ou controlar a inferência para evitar qualquer calcanhar de Aquiles evidente no modelo.

Além disso, tal técnica poderia teoricamente trazer melhorias significativas às capacidades de modelos generativos ajustados no nível do consumidor, com o bônus de um aumento na qualidade da saída.

* Minha conversão das citações inline dos autores em hiperlinks.

Primeira publicação terça-feira, 1 de outubro de 2024