O Futuro da Geração de Imagens com RAG

Modelos de difusão gerativos, como Stable Diffusion, Flux e modelos de vídeo como Hunyuan, dependem do conhecimento adquirido durante uma única sessão de treinamento intensivo em recursos, utilizando um conjunto de dados fixo. Qualquer conceito introduzido após este treinamento – referido como o corte de conhecimento – está ausente do modelo, a menos que seja suplementado por meio de ajuste fino ou técnicas de adaptação externas, como Adaptação de Baixo Rango (LoRA).

Portanto, seria ideal se um sistema gerador de imagens ou vídeos pudesse acessar fontes online e incorporá-las no processo de geração conforme necessário. Dessa forma, por exemplo, um modelo de difusão que não sabe nada sobre o último lançamento da Apple (AAPL ) ou da Tesla (TSLA ) ainda poderia produzir imagens contendo esses novos produtos.

No que diz respeito a modelos de linguagem, a maioria de nós está familiarizada com sistemas como Perplexity, Notebook LM e ChatGPT-4o, que podem incorporar informações externas novas em um modelo de Geração Aumentada por Recuperação (RAG).

Processos RAG tornam as respostas do ChatGPT 4o mais relevantes. Fonte: https://chatgpt.com/

No entanto, essa é uma facilidade incomum quando se trata de gerar imagens, e o ChatGPT confessará suas próprias limitações nesse aspecto:

ChatGPT 4o fez uma boa suposição sobre a visualização de um lançamento de relógio novo, com base na linha geral e nas descrições que interpretou; mas não pode ‘absorver’ e integrar novas imagens em uma geração baseada em DALL-E.

Incorporar dados recuperados externamente em uma imagem gerada é desafiador porque a imagem de entrada deve primeiro ser quebrada em tokens e incorporações, que são então mapeados para o conhecimento de domínio mais próximo do modelo.

Embora esse processo funcione efetivamente para ferramentas de pós-treinamento, como ControlNet, essas manipulações permanecem em grande parte superficiais, essencialmente canalizando a imagem recuperada por um pipeline de renderização, mas sem integrá-la profundamente na representação interna do modelo.

Como resultado, o modelo carece da capacidade de gerar perspectivas novas da maneira como sistemas de renderização neural, como NeRF, podem, que constroem cenas com compreensão espacial e estrutural verdadeira.

Lógica Madura

Uma limitação semelhante se aplica a consultas baseadas em RAG em Modelos de Linguagem Grande (LLM), como Perplexity. Quando um modelo desse tipo processa dados recuperados externamente, ele funciona muito como um adulto desenhando em uma vida de conhecimento para inferir probabilidades sobre um tópico.

No entanto, assim como uma pessoa não pode integrar retroativamente novas informações no quadro cognitivo que moldou sua visão de mundo fundamental – quando seus preconceitos e preconcepções ainda estavam se formando –, um LLM não pode mesclar perfeitamente novos conhecimentos em sua estrutura pré-treinada.

Em vez disso, ele só pode ‘impactar’ ou justapor os novos dados contra seu conhecimento interno, usando princípios aprendidos para analisar e conjecturar, em vez de sintetizar no nível fundamental.

Essa falta de equivalência entre justaposto e interiorizado é provavelmente mais evidente em uma imagem gerada do que em uma geração baseada em linguagem: as conexões de rede mais profundas e a criatividade aumentada da ‘geração nativa’ (em vez de baseada em RAG) foram estabelecidas em vários estudos.

Riscos Ocultos da Geração de Imagens com RAG

Mesmo que fosse tecnicamente viável integrar imagens recuperadas da internet em novas sínteses de forma RAG, limitações de segurança apresentariam um desafio adicional.

Muitos conjuntos de dados usados para treinar modelos gerativos foram curados para minimizar a presença de conteúdo explícito, racista ou violento, entre outras categorias sensíveis. No entanto, esse processo é imperfeito, e associações residuais podem persistir. Para mitigar isso, sistemas como DALL·E e Adobe Firefly confiam em mecanismos de filtragem secundários que verificam tanto os prompts de entrada quanto as saídas geradas para conteúdo proibido.

Como resultado, um simples filtro NSFW – que bloqueia principalmente conteúdo explícito – seria insuficiente para avaliar a aceitabilidade de dados RAG recuperados. Tal conteúdo ainda poderia ser ofensivo ou prejudicial de maneiras que caem fora dos parâmetros de moderação pré-definidos do modelo, potencialmente introduzindo material que o AI carece de consciência contextual para avaliar adequadamente.

A descoberta de uma vulnerabilidade recente no DeepSeek, produzido pela CCP, projetado para suprimir discussões de conteúdo político banido, destacou como caminhos de entrada alternativos podem ser explorados para contornar as salvaguardas éticas de um modelo; argumenta-se que isso também se aplica a dados novos e arbitrários recuperados da internet, quando destinados a ser incorporados em uma nova geração de imagens.

RAG para Geração de Imagens

Apesar desses desafios e aspectos políticos espinhosos, vários projetos surgiram que tentam usar métodos baseados em RAG para incorporar dados novos em gerações visuais.

ReDi

O projeto Retrieval-based Diffusion (ReDi) de 2023 é um framework de aprendizado livre que acelera a inferência do modelo de difusão, recuperando trajetórias semelhantes de uma base de conhecimento pré-computada.

Valores de um conjunto de dados podem ser ‘emprestados’ para uma nova geração em ReDi. Fonte: https://arxiv.org/pdf/2302.02285

No contexto de modelos de difusão, uma trajetória é o caminho passo a passo que o modelo segue para gerar uma imagem a partir de ruído puro. Normalmente, esse processo ocorre gradualmente ao longo de muitos passos, com cada passo refinando a imagem um pouco mais.

ReDi acelera isso pulando muitos desses passos. Em vez de calcular cada passo, ele recupera uma trajetória passada semelhante de um banco de dados e salta para um ponto posterior no processo. Isso reduz o número de cálculos necessários, tornando a geração de imagens baseada em difusão muito mais rápida, mantendo a qualidade alta.

ReDi não modifica os pesos do modelo de difusão, mas usa a base de conhecimento para pular etapas intermediárias, reduzindo assim o número de estimativas de função necessárias para amostragem.

É claro que isso não é o mesmo que incorporar imagens específicas à vontade em uma solicitação de geração; mas relaciona-se a tipos semelhantes de geração.

Lançado em 2022, o ano em que os modelos de difusão latente capturaram a imaginação do público, ReDi parece ser uma das primeiras abordagens baseadas em difusão para confiar em uma metodologia RAG.

Embora deva ser mencionado que, em 2021, a Facebook Research lançou Instance-Conditioned GAN, que buscava condicionar imagens GAN em novas entradas de imagem, esse tipo de projeção no espaço latente é extremamente comum na literatura, tanto para GANs quanto para modelos de difusão; o desafio é tornar tal processo livre de treinamento e funcional em tempo real, como os métodos RAG focados em LLMs.

RDM

Outra incursão precoce na geração de imagens aumentada por RAG é o Retrieval-Augmented Diffusion Models (RDM), que introduz uma abordagem semi-paramétrica para síntese de imagem gerativa. Enquanto modelos de difusão tradicionais armazenam todo o conhecimento visual aprendido dentro de seus parâmetros de rede neural, o RDM confia em um banco de dados de imagem externo:

Vizinhos mais próximos recuperados em uma consulta ilustrativa pseudo no RDM*.

Durante o treinamento, o modelo recupera vizinhos mais próximos (imagens visual ou semanticamente semelhantes) do banco de dados externo para guiar o processo de geração. Isso permite que o modelo condicione suas saídas em instâncias visuais do mundo real.

O processo de recuperação é impulsionado por incorporações CLIP, projetadas para forçar as imagens recuperadas a compartilhar semelhanças significativas com a consulta, e também para fornecer informações novas para melhorar a geração.

Isso reduz a dependência de parâmetros, facilitando modelos menores que alcançam resultados competitivos sem a necessidade de conjuntos de dados de treinamento extensivos.

A abordagem RDM suporta modificações pós-hoc: os pesquisadores podem trocar o banco de dados no momento da inferência, permitindo adaptação zero-shot para novos estilos, domínios ou até tarefas completamente diferentes, como estilização ou síntese condicional de classe.

Na linha inferior, vemos os vizinhos mais próximos sendo incorporados no processo de difusão no RDM*.

Uma vantagem-chave do RDM é sua capacidade de melhorar a geração de imagens sem retreinar o modelo. Apenas alterando o banco de dados de recuperação, o modelo pode generalizar para novos conceitos que nunca foi explicitamente treinado. Isso é particularmente útil para aplicações onde deslocamentos de domínio ocorrem, como gerar imagens médicas com base em conjuntos de dados em evolução, ou adaptar modelos de texto-para-imagem para aplicações criativas.

Negativamente, métodos de recuperação dessa natureza dependem da qualidade e da cobertura do banco de dados externo, o que torna a cura de dados um fator importante para alcançar gerações de alta qualidade; e essa abordagem permanece longe de um equivalente de síntese de imagem baseado em RAG, como as interações baseadas em RAG típicas em LLMs comerciais.

ReMoDiffuse

O ReMoDiffuse é um modelo de difusão de movimento aumentado por recuperação, projetado para geração de movimento humano em 3D. Diferentemente de modelos de movimento tradicionais que dependem puramente de representações aprendidas, o ReMoDiffuse recupera amostras de movimento relevantes de um grande conjunto de dados de movimento e as integra no processo de denoising, em um esquema semelhante ao RDM (ver acima).

Comparação do ReMoDiffuse aumentado por RAG (à direita) com métodos anteriores. Fonte: https://arxiv.org/pdf/2304.01116

Isso permite que o modelo gere sequências de movimento projetadas para serem mais naturais e diversas, bem como semanticamente fiéis aos prompts de texto do usuário.

O ReMoDiffuse usa um mecanismo de recuperação híbrido inovador, que seleciona sequências de movimento com base em semelhanças tanto semânticas quanto cinemáticas, com a intenção de garantir que os movimentos recuperados não sejam apenas tematicamente relevantes, mas também fisicamente plausíveis quando integrados na nova geração.

O modelo, então, refina essas amostras recuperadas usando um Transformador Modulado por Semântica, que incorpora seletivamente conhecimento das amostras de movimento recuperadas, mantendo as qualidades características da sequência gerada:

Esquema para o pipeline do ReMoDiffuse.

A técnica Mistura de Condição do projeto melhora a capacidade do modelo de generalizar para diferentes prompts e condições de recuperação, equilibrando amostras de movimento recuperadas com prompts de texto durante a geração e ajustando quanto peso cada fonte recebe a cada passo.

Isso pode ajudar a prevenir saídas irrreais ou repetitivas, mesmo para prompts raros. Também aborda o problema de sensibilidade à escala que frequentemente surge nas técnicas de orientação livre de classificador comumente usadas em modelos de difusão.

RA-CM3

O paper de 2023 da Stanford, Retrieval-Augmented Multimodal Language Modeling (RA-CM3), permite que o sistema acesse informações do mundo real no momento da inferência:

O modelo de Stanford, Retrieval-Augmented Multimodal Language Modeling (RA-CM3), usa imagens recuperadas da internet para aumentar o processo de geração, mas permanece como um protótipo sem acesso público. Fonte: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

O RA-CM3 integra texto e imagens recuperados no pipeline de geração, melhorando tanto a síntese de texto-para-imagem quanto a imagem-para-texto. Usando CLIP para recuperação e um Transformador como o gerador, o modelo se refere a documentos multimodais pertinentes antes de compor uma saída.

Os benchmarks no MS-COCO mostram melhorias notáveis sobre o DALL-E e sistemas semelhantes, alcançando uma redução de 12 pontos na Fréchet Inception Distance (FID), com um custo computacional muito menor.

No entanto, como em outras abordagens baseadas em recuperação, o RA-CM3 não internaliza perfeitamente seu conhecimento recuperado. Em vez disso, ele superpõe novos dados contra sua rede pré-treinada, muito como um LLM aumenta respostas com resultados de busca. Embora esse método possa melhorar a precisão factual, não substitui a necessidade de atualizações de treinamento em domínios onde síntese profunda é necessária.

Além disso, uma implementação prática desse sistema não parece ter sido liberada, mesmo em uma plataforma baseada em API.

RealRAG

Um novo lançamento da China, e o que promoveu essa olhada nos sistemas gerativos de imagem com RAG, é chamado de Geração de Imagem Realista Aumentada por Recuperação (RealRAG).

Imagens externas incorporadas no RealRAG (centro inferior). Fonte: https://arxiv.o7rg/pdf/2502.00848

O RealRAG recupera imagens reais de objetos relevantes de um banco de dados curado a partir de conjuntos de dados públicos, como ImageNet, Stanford Cars, Stanford Dogs e Oxford Flowers. Em seguida, ele integra as imagens recuperadas no processo de geração, abordando lacunas de conhecimento no modelo.

Um componente-chave do RealRAG é o aprendizado contrastivo de auto-reflexão, que treina um modelo de recuperação para encontrar imagens de referência informativas, em vez de apenas selecionar imagens visualmente semelhantes.

Os autores afirmam:

‘Nossa principal percepção é treinar um recuperador que recupera imagens que permanecem fora do espaço de geração do gerador, mas próximas à representação dos prompts de texto.

‘Para isso, primeiro geramos imagens a partir dos prompts de texto dados e, em seguida, utilizamos as imagens geradas como consultas para recuperar as imagens mais relevantes no banco de dados baseado em objetos reais. Essas imagens mais relevantes são utilizadas como negativos reflexivos.’

Essa abordagem garante que as imagens recuperadas contribuem com conhecimento ausente para o processo de geração, em vez de reforçar vieses existentes no modelo.

À esquerda, a imagem de referência recuperada; centro, sem RAG; à direita, com o uso da imagem recuperada.

No entanto, a dependência da qualidade da recuperação e da cobertura do banco de dados significa que sua eficácia pode variar dependendo da disponibilidade de referências de alta qualidade. Se uma imagem relevante não existe no conjunto de dados, o modelo ainda pode lutar com conceitos desconhecidos.

O RealRAG é uma arquitetura muito modular, oferecendo compatibilidade com várias outras arquiteturas gerativas, incluindo modelos baseados em U-Net, DiT e autoregressivos.

Em geral, a recuperação e processamento de imagens externas adicionam sobrecarga computacional, e o desempenho do sistema depende de quão bem o mecanismo de recuperação generaliza em diferentes tarefas e conjuntos de dados.

Conclusão

Essa é uma visão geral representativa, embora não exaustiva, dos sistemas gerativos de imagem que recuperam imagens. Alguns sistemas desse tipo usam recuperação apenas para melhorar a compreensão da visão ou a cura de conjuntos de dados, entre outros motivos diversos, em vez de buscar gerar imagens. Um exemplo é Internet Explorer.

Muitos dos outros projetos RAG integrados na literatura permanecem sem lançamento. Protótipos, com apenas pesquisa publicada, incluem Re-Imagen, que – apesar de sua procedência do Google – só pode acessar imagens de um banco de dados local personalizado.

Além disso, em novembro de 2024, a Baidu anunciou Geração Aumentada por Recuperação de Imagens (iRAG), uma nova plataforma que usa imagens recuperadas ‘de um banco de dados’. Embora o iRAG seja relatado como disponível na plataforma Ernie, não há mais detalhes sobre esse processo de recuperação, que parece depender de um banco de dados local (ou seja, local ao serviço e não diretamente acessível ao usuário).

Ademais, o paper de 2024 Geração de Imagem de Texto Unificada e Recuperação oferece mais um método RAG-baseado para usar imagens externas para aumentar os resultados na geração – novamente, de um banco de dados local, em vez de fontes ad hoc da internet.

O entusiasmo em torno da ampliação RAG na geração de imagens provavelmente se concentrará em sistemas que possam incorporar imagens originadas da internet ou carregadas pelo usuário diretamente no processo gerativo, e que permitem que os usuários participem das escolhas ou fontes de imagens.

No entanto, isso é um desafio significativo por pelo menos duas razões; primeiro, porque a eficácia de tais sistemas geralmente depende de relações profundamente integradas formadas durante um processo de treinamento intensivo em recursos; e segundo, porque preocupações sobre segurança, legalidade e restrições de direitos autorais, como mencionado anteriormente, tornam essa uma característica improvável para um serviço web baseado em API e para implantação comercial em geral.

* Fonte: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf

Publicado pela primeira vez na terça-feira, 4 de fevereiro de 2025