Ferramentas de design visual e modelos de linguagem de visão têm aplicações generalizadas na indústria multimídia. Apesar dos avanços significativos nos últimos anos, uma compreensão sólida dessas ferramentas ainda é necessária para sua operação. Para melhorar a acessibilidade e o controle, a indústria multimídia está cada vez mais adotando técnicas de edição de imagem orientada por texto ou instrução. Essas técnicas utilizam comandos de linguagem natural em vez de máscaras regionais tradicionais ou descrições elaboradas, permitindo uma manipulação de imagem mais flexível e controlada. No entanto, os métodos baseados em instruções frequentemente fornecem direções breves que podem ser desafiadoras para os modelos existentes capturarem e executarem completamente. Além disso, os modelos de difusão, conhecidos por sua capacidade de criar imagens realistas, estão em alta demanda no setor de edição de imagem.

Além disso, Modelos de Linguagem Multimodais de Grande Escala (MLLMs) demonstraram um desempenho impressionante em tarefas que envolvem geração de respostas visualmente cientes e compreensão cross-modal. A Edição de Imagem Orientada por MLLM (MGIE) é um estudo inspirado em MLLMs que avalia suas capacidades e analisa como eles suportam a edição por meio de texto ou instruções orientadas. Essa abordagem envolve aprender a fornecer orientação explícita e derivar instruções expressivas. O modelo de edição MGIE compreende informações visuais e executa edições por meio de treinamento de ponta a ponta. Neste artigo, vamos mergulhar profundamente na MGIE, avaliando seu impacto na otimização global de imagem, modificações no estilo do Photoshop e edição local. Também discutiremos a importância da MGIE em tarefas de edição de imagem baseada em instruções que dependem de instruções expressivas. Vamos começar nossa exploração.

Edição de Imagem Orientada por MLLM ou MGIE: Uma Introdução

Modelos de Linguagem Multimodais de Grande Escala e Modelos de Difusão são dois dos frameworks de IA e ML mais utilizados atualmente devido às suas capacidades generativas notáveis. Por um lado, você tem os Modelos de Difusão, mais conhecidos por produzir imagens altamente realistas e visualmente atraentes, enquanto, por outro lado, você tem os Modelos de Linguagem Multimodais de Grande Escala, renomados por sua capacidade excepcional de gerar uma ampla variedade de conteúdo, incluindo texto, linguagem, fala e imagens/vídeos.

Os modelos de difusão trocam os mapas cross-modais latentes para realizar manipulação visual que reflete a alteração da legenda de objetivo de entrada, e também podem usar uma máscara orientada para editar uma região específica da imagem. Mas o principal motivo pelo qual os Modelos de Difusão são amplamente utilizados para aplicações multimídia é que, em vez de confiar em descrições elaboradas ou máscaras regionais, os Modelos de Difusão empregam abordagens de edição baseadas em instruções que permitem que os usuários expressem como editar a imagem diretamente usando comandos ou instruções de texto. Continuando, os Modelos de Linguagem de Grande Escala não precisam de introdução, pois demonstraram avanços significativos em uma variedade de tarefas de linguagem, incluindo resumo de texto, tradução de máquina, geração de texto e resposta a perguntas. Os LLMs são normalmente treinados em uma grande e diversificada quantidade de dados de treinamento que os equipam com criatividade visual e conhecimento, permitindo que eles realizem várias tarefas de linguagem de visão. Construindo sobre os LLMs, os MLLMs ou Modelos de Linguagem Multimodais de Grande Escala podem usar imagens como entradas naturais e fornecer respostas visualmente cientes apropriadas.

Com isso dito, embora os Modelos de Difusão e os frameworks MLLM sejam amplamente utilizados para tarefas de edição de imagem, existem algumas questões de orientação com instruções baseadas em texto que prejudicam o desempenho geral, resultando no desenvolvimento da MGIE ou Edição de Imagem Orientada por MLLM, um framework de IA que consiste em um modelo de difusão e um modelo MLLM, como demonstrado na seguinte imagem.

Dentro da arquitetura MGIE, o modelo de difusão é treinado de ponta a ponta para realizar edição de imagem com imaginação latente do objetivo pretendido, enquanto o framework MLLM aprende a prever instruções expressivas precisas. Juntos, o modelo de difusão e o framework MLLM aproveitam a derivação visual inerente, permitindo que ele aborde comandos humanos ambíguos, resultando em edição realista de imagens, como demonstrado na seguinte imagem.

O framework MGIE se inspira em duas abordagens existentes: Edição de Imagem Baseada em Instrução e Modelos de Linguagem de Visão.

A edição de imagem baseada em instrução pode melhorar significativamente a acessibilidade e a controlabilidade da manipulação visual, seguindo comandos humanos. Existem dois principais frameworks utilizados para edição de imagem baseada em instrução: frameworks GAN e Modelos de Difusão. GAN ou Redes Adversárias Generativas são capazes de alterar imagens, mas são limitadas a domínios específicos ou produzem resultados irreais. Por outro lado, os modelos de difusão com treinamento em larga escala podem controlar os mapas de atenção cross-modal para realizar edição de imagem e transformação. A edição baseada em instrução funciona recebendo comandos diretos como entrada, frequentemente não limitados a máscaras regionais e descrições elaboradas. No entanto, há uma probabilidade de que as instruções fornecidas sejam ambíguas ou não sejam precisas o suficiente para seguir instruções para tarefas de edição.

Os Modelos de Linguagem de Visão são renomados por suas capacidades de geração de texto e generalização em várias tarefas, e frequentemente têm uma compreensão textual robusta, e podem produzir programas executáveis ou pseudocódigo. Essa capacidade dos modelos de linguagem de grande escala permite que os MLLMs percebam imagens e forneçam respostas apropriadas usando alinhamento de recursos visuais com ajuste de instrução, com modelos recentes adotando MLLMs para gerar imagens relacionadas ao bate-papo ou ao texto de entrada. No entanto, o que distingue a MGIE dos MLLMs ou VLLMs é o fato de que, enquanto os últimos podem produzir imagens distintas das entradas a partir do zero, a MGIE aproveita as capacidades dos MLLMs para melhorar as capacidades de edição de imagem com instruções derivadas.

MGIE: Arquitetura e Metodologia

Tradicionalmente, os modelos de linguagem de grande escala têm sido utilizados para tarefas de processamento de linguagem natural generativas. Mas desde que os MLLMs se tornaram mainstream, os LLMs foram capacitados com a capacidade de fornecer respostas razoáveis, percebendo imagens de entrada. Conventionalmente, um Modelo de Linguagem Multimodal de Grande Escala é inicializado a partir de um LLM pré-treinado, e contém um codificador visual e um adaptador para extrair os recursos visuais e projetar os recursos visuais na modalidade de linguagem, respectivamente. Devido a isso, o framework MLLM é capaz de perceber entradas visuais, embora a saída ainda esteja limitada ao texto.

O framework MGIE proposto visa resolver esse problema e permitir que um MLLM edite uma imagem de entrada em uma imagem de saída com base na instrução textual fornecida. Para alcançar isso, o framework MGIE abriga um MLLM e é treinado para derivar instruções expressivas concisas e textuais. Além disso, o framework MGIE adiciona tokens de imagem especiais em sua arquitetura para pontuar a lacuna entre a visão e a modalidade de linguagem, e adota a cabeça de edição para a transformação das modalidades. Essas modalidades servem como a imaginação visual latente do Modelo de Linguagem Multimodal de Grande Escala, e orientam o modelo de difusão para realizar as tarefas de edição. O framework MGIE é então capaz de realizar tarefas de percepção visual para edição de imagem razoável.

Instrução Expressiva Concisa

Tradicionalmente, os Modelos de Linguagem Multimodais de Grande Escala podem oferecer respostas relacionadas à visão com sua percepção cross-modal devido ao ajuste de instrução e alinhamento de recursos. Para editar imagens, o framework MGIE usa um prompt textual como a entrada de linguagem principal com a imagem, e deriva uma explicação detalhada para o comando de edição. No entanto, essas explicações podem frequentemente ser muito longas ou envolver descrições repetitivas, resultando em intenções mal interpretadas, forçando a MGIE a aplicar um resumidor pré-treinado para obter narrações sucintas, permitindo que o MLLM gere saídas resumidas. O framework trata a orientação concisa, mas explícita, como uma instrução expressiva, e aplica a perda de entropia cruzada para treinar o modelo de linguagem multimodal de grande escala usando enforcement de professor.

Usar uma instrução expressiva fornece uma ideia mais concreta em comparação com a instrução de texto, pois pontua a lacuna para edição de imagem razoável, aumentando a eficiência do framework. Além disso, o framework MGIE, durante o período de inferência, deriva instruções expressivas concisas em vez de produzir narrações longas e confiar na resumação externa. Devido a isso, o framework MGIE é capaz de capturar a imaginação visual das intenções de edição, mas ainda está limitado à modalidade de linguagem. Para superar esse obstáculo, o modelo MGIE anexa um número determinado de tokens visuais após a instrução expressiva com embeddings de palavra treináveis, permitindo que o MLLM os gere usando sua cabeça de modelo de linguagem.

Edição de Imagem com Imaginação Latente

Na próxima etapa, o framework MGIE adota a cabeça de edição para transformar a instrução de imagem em orientação visual real. A cabeça de edição é um modelo de sequência para sequência que ajuda a mapear os tokens visuais sequenciais do MLLM para a orientação de edição semântica significativa, como sua orientação de edição. Para ser mais específico, a transformação sobre os embeddings de palavra pode ser interpretada como uma representação geral na modalidade visual, e usa um componente de imaginação visual consciente da instância para as intenções de edição. Além disso, para orientar a edição de imagem com imaginação visual, o framework MGIE incorpora um modelo de difusão latente em sua arquitetura que inclui um autoencoder variacional e aborda a difusão de ruído no espaço latente. O objetivo principal do modelo de difusão latente é gerar o objetivo latente, preservando a entrada latente e seguindo a orientação de edição. O processo de difusão adiciona ruído ao objetivo latente em intervalos de tempo regulares, e o nível de ruído aumenta com cada passo de tempo.

Aprendizado da MGIE

A figura a seguir resume o algoritmo do processo de aprendizado do framework MGIE proposto.

Como pode ser observado, o MLLM aprende a derivar instruções expressivas concisas usando a perda de instrução. Usando a imaginação latente da instrução de imagem de entrada, o framework transforma a modalidade da cabeça de edição e orienta o modelo de difusão latente para sintetizar a imagem resultante, e aplica a perda de edição para o treinamento de difusão. Finalmente, o framework congela a maioria dos pesos, resultando em um treinamento de ponta a ponta eficiente em termos de parâmetros.

MGIE: Resultados e Avaliação

O framework MGIE usa o conjunto de dados IPr2Pr como seu principal conjunto de dados de pré-treinamento, e contém mais de 1 milhão de dados filtrados por CLIP com instruções extraídas do modelo GPT-3 e um modelo Prompt-to-Prompt para sintetizar as imagens. Além disso, o framework MGIE considera o framework InsPix2Pix, construído sobre o codificador de texto CLIP com um modelo de difusão, como sua linha de base para tarefas de edição de imagem baseada em instrução. Além disso, o modelo MGIE também leva em conta um modelo de edição de imagem orientada por LLM adotado para instruções expressivas a partir de entradas de instrução apenas, mas sem percepção visual.

Análise Quantitativa

A figura a seguir resume os resultados de edição em um cenário de disparo zero, com os modelos sendo treinados apenas no conjunto de dados IPr2Pr. Para os dados GIER e EVR, envolvendo modificações no estilo do Photoshop, as instruções expressivas podem revelar objetivos concretos em vez de comandos ambíguos, permitindo que os resultados de edição sejam mais semelhantes às intenções de edição.

Embora tanto o LGIE quanto o MGIE sejam treinados nos mesmos dados que o modelo InsPix2Pix, eles podem oferecer explicações detalhadas por meio do aprendizado com o modelo de linguagem de grande escala, mas o LGIE ainda está confinado a uma única modalidade. Além disso, o framework MGIE pode fornecer um aumento significativo no desempenho, pois tem acesso a imagens e pode usá-las para derivar instruções explícitas.

Para avaliar o desempenho em tarefas de edição de imagem baseada em instrução para fins específicos, os desenvolvedores ajustam vários modelos em cada conjunto de dados, como resumido na tabela a seguir.

Como pode ser observado, após adaptar as tarefas de edição no estilo do Photoshop para EVR e GIER, os modelos demonstram um aumento no desempenho. No entanto, é importante notar que, como o ajuste fino torna as instruções expressivas mais específicas do domínio, o framework MGIE testemunha um aumento significativo no desempenho, pois também aprende orientação relacionada ao domínio, permitindo que o modelo de difusão demonstre cenas editadas concretas a partir do modelo de linguagem de grande escala ajustado, beneficiando tanto a modificação local quanto a otimização local.

A figura a seguir demonstra a pontuação CLIP-S ao longo das imagens de entrada ou de objetivo e da instrução expressiva. Uma pontuação CLIP mais alta indica a relevância das instruções com a edição de origem, e como pode ser observado, o MGIE tem uma pontuação CLIP mais alta em comparação com o modelo LGIE em ambas as imagens de entrada e saída.

Resultados Qualitativos

A imagem a seguir resume perfeitamente a análise qualitativa do framework MGIE.

Como sabemos, o framework LGIE está limitado a uma única modalidade devido à qual tem uma perspectiva baseada apenas em linguagem e é propenso a derivar explicações erradas ou irrelevantes para a edição da imagem. No entanto, o framework MGIE é multimodal e, com acesso a imagens, completa as tarefas de edição e fornece imaginação visual explícita que se alinha bem com o objetivo.

Pensamentos Finais

Neste artigo, discutimos a MGIE ou Edição de Imagem Orientada por MLLM, um estudo inspirado em MLLMs que visa avaliar os Modelos de Linguagem Multimodais de Grande Escala e analisar como eles facilitam a edição usando texto ou instruções orientadas, aprendendo a fornecer orientação explícita e derivar instruções expressivas simultaneamente. O modelo de edição MGIE compreende informações visuais e executa edições ou manipulações usando treinamento de ponta a ponta. Em vez de orientação ambígua e breve, o framework MGIE produz instruções visualmente cientes explícitas que resultam em edição de imagem razoável.