A Luta pela Customização de Zero-Shot em IA Geradora

Se você deseja se colocar em uma ferramenta popular de geração de imagens ou vídeos – mas não é famoso o suficiente para o modelo de base reconhecê-lo – você precisará treinar um modelo de adaptação de baixa classificação (LoRA) usando uma coleção de suas próprias fotos. Uma vez criado, esse modelo LoRA personalizado permite que o modelo gerador inclua sua identidade em saídas futuras.

Isso é comumente chamado de customização no setor de pesquisa de síntese de imagens e vídeos. Ele surgiu alguns meses após o advento da Stable Diffusion no verão de 2022, com o projeto DreamBooth da Google Research, que ofereceu modelos de customização de alta capacidade, em um esquema de código fechado que logo foi adaptado por entusiastas e liberado para a comunidade.

Os modelos LoRA seguiram rapidamente e ofereceram treinamento mais fácil e tamanhos de arquivo muito menores, com qualidade mínima ou nenhuma perda, rapidamente dominando a cena de customização para a Stable Diffusion e seus sucessores, modelos posteriores como Flux, e agora novos modelos de vídeo gerador como Hunyuan Video e Wan 2.1.

Enxágue e Repita

O problema é que, como notamos anteriormente, toda vez que um novo modelo é lançado, é necessário um novo conjunto de LoRAs para ser treinado, o que representa uma grande fricção para os produtores de LoRAs, que podem treinar uma variedade de modelos personalizados apenas para descobrir que uma atualização do modelo ou um modelo mais popular significa que eles precisam começar tudo novamente.

Portanto, as abordagens de customização de zero-shot se tornaram uma forte tendência na literatura recente. Nesse cenário, em vez de precisar curar um conjunto de dados e treinar seu próprio submodelo, você simplesmente fornece uma ou mais fotos do assunto a ser injetado na geração, e o sistema interpreta essas fontes de entrada em uma saída mesclada.

Abaixo, vemos que, além da troca de faces, um sistema desse tipo (aqui usando PuLID) também pode incorporar valores de ID em transferência de estilo:

Exemplos de transference de ID facial usando o sistema PuLID. Fonte: https://github.com/ToTheBeginning/PuLID?tab=readme-ov-file

Enquanto substituir um sistema laborioso e frágil como LoRA por um adaptador genérico é uma ideia grande (e popular), também é desafiador; a atenção extrema ao detalhe e à cobertura obtida no processo de treinamento LoRA é muito difícil de imitar em um modelo de estilo IP-Adapter, que precisa corresponder ao nível de detalhe e flexibilidade do LoRA sem a vantagem anterior de analisar um conjunto abrangente de imagens de identidade.

HyperLoRA

Com isso em mente, há um artigo interessante novo da ByteDance que propõe um sistema que gera código LoRA real em tempo de execução, que é atualmente único entre as soluções de zero-shot:

À esquerda, imagens de entrada. À direita, uma variedade de saídas baseadas nas imagens de entrada, efetivamente produzindo deepfakes dos atores Anthony Hopkins e Anne Hathaway. Fonte: https://arxiv.org/pdf/2503.16944

O artigo afirma:

‘Técnicas baseadas em adaptadores, como IP-Adapter, congelam os parâmetros do modelo de base e empregam uma arquitetura de plug-in para permitir inferência de zero-shot, mas frequentemente exibem uma falta de naturalidade e autenticidade, que não devem ser ignoradas em tarefas de síntese de retratos.

‘[Nós] introduzimos um método de geração adaptativa de parâmetro eficiente, nomeadamente HyperLoRA, que usa uma rede de plug-in adaptativa para gerar pesos LoRA, combinando o desempenho superior do LoRA com a capacidade de zero-shot do esquema de adaptador.

‘Através de nossa estrutura de rede cuidadosamente projetada e estratégia de treinamento, alcançamos geração personalizada de retratos de zero-shot (suportando tanto entrada de imagem única quanto múltipla) com alta fotorealismo, fidelidade e editabilidade.’

Mais útilmente, o sistema treinado pode ser usado com o existente ControlNet, permitindo um alto nível de especificidade na geração:

Timothy Chalomet faz uma aparição inesperadamente alegre em ‘O Iluminado’ (1980), com base em três fotos de entrada no HyperLoRA, com uma máscara ControlNet definindo a saída (em conjunto com um prompt de texto).

Quanto à possibilidade de o novo sistema ser disponibilizado para os usuários finais, a ByteDance tem um histórico razoável nesse sentido, tendo lançado o poderoso LatentSync framework de sincronização de lábios, e tendo acabado de lançar também o InfiniteYou framework.

Negativamente, o artigo não dá nenhuma indicação de intenção de lançamento, e os recursos de treinamento necessários para recriar o trabalho são tão exorbitantes que seria desafiador para a comunidade de entusiastas recriá-lo (como fez com o DreamBooth).

O novo artigo é intitulado HyperLoRA: Geração Adaptativa de Parâmetro Eficiente para Síntese de Retratos, e vem de sete pesquisadores da ByteDance e do departamento de Criação Inteligente da ByteDance.

Método

O novo método utiliza o modelo de difusão latente estável (LDM) SDXL como o modelo de base, embora os princípios pareçam aplicáveis a modelos de difusão em geral (no entanto, as demandas de treinamento – veja abaixo – podem tornar difícil aplicá-los a modelos de vídeo gerador).

O processo de treinamento para o HyperLoRA é dividido em três estágios, cada um projetado para isolar e preservar informações específicas nos pesos aprendidos. O objetivo desse procedimento anelado é evitar que recursos relevantes para a identidade sejam poluídos por elementos irrelevantes, como roupas ou fundo, ao mesmo tempo em que se alcança uma convergência rápida e estável.

Esquema conceitual para o HyperLoRA. O modelo é dividido em ‘Hyper ID-LoRA’ para recursos de identidade e ‘Hyper Base-LoRA’ para fundo e roupas. Essa separação reduz a perda de recursos. Durante o treinamento, a base SDXL e os codificadores são congelados, e apenas os módulos HyperLoRA são atualizados. Na inferência, apenas o ID-LoRA é necessário para gerar imagens personalizadas.

O primeiro estágio se concentra inteiramente em aprender um ‘Base-LoRA’ (abaixo à esquerda na imagem do esquema acima), que captura detalhes irrelevantes para a identidade.

Para impor essa separação, os pesquisadores deliberadamente borraram o rosto nas imagens de treinamento, permitindo que o modelo se concentrasse em coisas como fundo, iluminação e pose – mas não identidade. Esse estágio de “aquecimento” atua como um filtro, removendo distrações de baixo nível antes de começar o aprendizado de identidade específica.

No segundo estágio, um ‘ID-LoRA’ (acima à esquerda na imagem do esquema acima) é introduzido. Aqui, a identidade facial é codificada usando dois caminhos paralelos: um CLIP Vision Transformer (CLIP ViT) para recursos estruturais e o InsightFace AntelopeV2 encoder para representações de identidade mais abstratas.

Aproach Transicional

Os recursos do CLIP ajudam o modelo a convergir rapidamente, mas correm o risco de sobreajuste, enquanto as embeddings do Antelope são mais estáveis, mas mais lentas para treinar. Portanto, o sistema começa a se concentrar mais no CLIP e gradualmente fases no Antelope, para evitar instabilidade.

Na etapa final, as camadas de atenção orientadas pelo CLIP são congeladas completamente. Apenas os módulos de atenção vinculados ao AntelopeV2 continuam treinando, permitindo que o modelo refine a preservação da identidade sem degradar a fidelidade ou a generalidade dos componentes aprendidos anteriormente.

Essa estrutura em fases é essencialmente uma tentativa de desentrelaçamento. Recursos de identidade e não identidade são primeiro separados e, em seguida, refinados independentemente. É uma resposta metódica aos modos de falha comuns da personalização: deriva de identidade, baixa editabilidade e sobreajuste a recursos incidentais.

Enquanto Você Pesa

Depois que o CLIP ViT e o AntelopeV2 extraem recursos estruturais e de identidade específica de um determinado retrato, os recursos obtidos são passados por um perceiver resampler (derivado do projeto IP-Adapter mencionado anteriormente) – um módulo baseado em transformador que mapeia os recursos para um conjunto compacto de coeficientes.

Dois resamplers separados são usados: um para gerar pesos Base-LoRA (que codificam fundo e elementos não identidade) e outro para pesos ID-LoRA (que se concentram na identidade facial).

Esquema para a estrutura da rede HyperLoRA.

Os coeficientes de saída são então combinados linearmente com um conjunto de matrizes de base LoRA aprendidas, produzindo pesos LoRA completos sem a necessidade de ajuste fino do modelo de base.

Essa abordagem permite que o sistema gere pesos personalizados inteiramente em tempo de execução, usando apenas codificadores de imagem e projeção leve, aproveitando ainda a capacidade do LoRA de modificar o comportamento do modelo de base diretamente.

Dados e Testes

Para treinar o HyperLoRA, os pesquisadores usaram um subconjunto de 4,4 milhões de imagens de faces do conjunto de dados LAION-2B (agora melhor conhecido como a fonte de dados para os modelos Stable Diffusion originais de 2022).

O InsightFace foi usado para filtrar faces não retrato e múltiplas imagens. As imagens foram então anotadas com o sistema de legendas BLIP-2.

Em termos de aumento de dados, as imagens foram recortadas aleatoriamente em torno do rosto, mas sempre se concentraram na região do rosto.

Os respectivos rangos LoRA tiveram que se adaptar à memória disponível no setup de treinamento. Portanto, o rango LoRA para ID-LoRA foi definido como 8, e o rango para Base-LoRA como 4, enquanto oito passos de acumulação de gradiente foram usados para simular um tamanho de lote maior do que o possível no hardware.

Os pesquisadores treinaram os módulos Base-LoRA, ID-LoRA (CLIP) e ID-LoRA (embedding de identidade) sequencialmente por 20K, 15K e 55K iterações, respectivamente. Durante o treinamento do ID-LoRA, eles amostraram de três cenários de condicionamento com probabilidades de 0,9, 0,05 e 0,05.

O sistema foi implementado usando PyTorch e Diffusers, e o processo de treinamento completo levou aproximadamente dez dias em 16 GPUs NVIDIA A100*.

Testes ComfyUI

Os autores construíram fluxos de trabalho na plataforma de síntese ComfyUI para comparar o HyperLoRA com três métodos rivais: InstantID; o mencionado IP-Adapter, na forma do framework IP-Adapter-FaceID-Portrait; e o citado PuLID. Sementes consistentes, prompts e métodos de amostragem foram usados em todos os frameworks.

Os autores observam que os métodos baseados em adaptadores (em vez de LoRA) geralmente exigem escalas de orientação de classificador livre (CFG) mais baixas, enquanto o LoRA (incluindo o HyperLoRA) é mais permissivo nesse aspecto.

Então, para uma comparação justa, os pesquisadores usaram a variante de ponto de verificação fine-tuned do SDXL LEOSAM’s Hello World em todos os testes. Para testes quantitativos, o conjunto de dados de imagem Unsplash-50 foi usado.

Métricas

Para um benchmark de fidelidade, os autores mediram a similaridade facial usando distâncias cosenos entre embeddings de imagem CLIP (CLIP-I) e embeddings de identidade separados (ID Sim) extraídos via CurricularFace, um modelo não usado durante o treinamento.

Cada método gerou quatro retratos de alta resolução por identidade no conjunto de testes, com resultados então médios.

A editabilidade foi avaliada comparando pontuações CLIP-I entre saídas com e sem os módulos de identidade (para ver quanto as restrições de identidade alteraram a imagem); e medindo o alinhamento de imagem-texto CLIP (CLIP-T) em dez variações de prompts que cobriam estilos de cabelo, acessórios, roupas e fundos.

Os autores incluíram o modelo de base Arc2Face nas comparações – um baseline treinado em legendas fixas e regiões faciais recortadas.

Para o HyperLoRA, duas variantes foram testadas: uma usando apenas o módulo ID-LoRA, e outra usando ambos os módulos ID- e Base-LoRA, com o último pesado em 0,4. Embora o Base-LoRA tenha melhorado a fidelidade, ele limitou ligeiramente a editabilidade.

Resultados da comparação quantitativa inicial.

Dos testes quantitativos, os autores comentam:

‘O Base-LoRA ajuda a melhorar a fidelidade, mas limita a editabilidade. Embora nosso design desacople os recursos de imagem em diferentes LoRAs, é difícil evitar vazamento mútuo. Portanto, podemos ajustar o peso do Base-LoRA para se adaptar a diferentes cenários de aplicação.

‘Nossa HyperLoRA (Completa e ID) alcança a melhor e a segunda melhor fidelidade facial, enquanto o InstantID mostra superioridade na similaridade de ID facial, mas com fidelidade facial mais baixa.

‘Ambas as métricas devem ser consideradas juntas para avaliar a fidelidade, pois a similaridade de ID facial é mais abstrata e a fidelidade facial reflete mais detalhes.’

Em testes qualitativos, as várias compensações envolvidas na proposição essencial vêm à tona (observe que não temos espaço para reproduzir todas as imagens para resultados qualitativos, e referimos o leitor ao artigo de origem para mais imagens em melhor resolução):

Compação qualitativa. De cima para baixo, os prompts usados foram: ‘camisa branca’ e ‘orelhas de lobo’ (veja o artigo para exemplos adicionais).

Aqui, os autores comentam:

‘A pele dos retratos gerados pelo IP-Adapter e pelo InstantID tem uma textura de AI gerada aparente, que é um pouco [sobre-saturada] e longe do realismo fotográfico.

‘É uma limitação comum dos métodos baseados em adaptadores. O PuLID melhora esse problema, enfraquecendo a intrusão no modelo de base, superando o IP-Adapter e o InstantID, mas ainda sofrendo com borramento e falta de detalhes.

‘Em contraste, o LoRA modifica diretamente os pesos do modelo de base, em vez de introduzir módulos de atenção extras, geralmente gerando imagens altamente detalhadas e fotorealistas.’

Os autores argumentam que, porque o HyperLoRA modifica os pesos do modelo de base diretamente, em vez de confiar em módulos de atenção externos, ele retém a capacidade não linear dos métodos tradicionais baseados em LoRA, potencialmente oferecendo uma vantagem em fidelidade e permitindo a captura de detalhes sutis, como a cor do pupil.

Conclusão

A corrente constante de vários sistemas de customização de um único disparo nos últimos 18 meses assumiu, por agora, uma qualidade de desespero. Muito poucas das ofertas fizeram um avanço notável no estado da arte; e aquelas que avançaram um pouco tendem a ter demandas de treinamento exorbitantes e/ou demandas de inferência extremamente complexas ou intensivas em recursos.

Embora o próprio regime de treinamento do HyperLoRA seja tão assustador quanto o de muitas entradas recentes semelhantes, pelo menos se termina com um modelo que pode lidar com customização ad hoc fora da caixa.

Do material suplementar do artigo, notamos que a velocidade de inferência do HyperLoRA é melhor do que a do IP-Adapter, mas pior do que as duas outras abordagens anteriores – e que esses números são baseados em uma GPU NVIDIA V100, que não é hardware de consumidor típico (embora as novas GPUs ‘domésticas’ da NVIDIA possam igualar ou superar a VRAM máxima de 32GB da V100).

Velocidades de inferência dos métodos concorrentes, em milissegundos.

É justo dizer que a customização de zero-shot permanece um problema não resolvido do ponto de vista prático, pois as demandas de hardware significativas do HyperLoRA são argumentavelmente contraditórias com sua capacidade de produzir um modelo de fundação de longo prazo verdadeiramente único.

* Representando 640GB ou 1280GB de VRAM, dependendo do modelo usado (isso não é especificado)

Publicado pela primeira vez na segunda-feira, 24 de março de 2025