A chegada dos modelos GPT, juntamente com outros grandes modelos de linguagem autoregressivos ou AR, inaugurou uma nova era no campo do aprendizado de máquina e inteligência artificial. Os modelos GPT e autoregressivos frequentemente exibem inteligência geral e versatilidade que são considerados um passo significativo em direção à inteligência artificial geral ou AGI, apesar de terem alguns problemas, como alucinações. No entanto, o problema intrigante com esses grandes modelos é uma estratégia de aprendizado auto-supervisionado que permite que o modelo preveja o próximo token em uma sequência, uma estratégia simples, mas eficaz. Trabalhos recentes demonstraram o sucesso desses grandes modelos autoregressivos, destacando sua generalizabilidade e escalabilidade. A escalabilidade é um exemplo típico das leis de escalabilidade existentes que permitem que os pesquisadores prevejam o desempenho do grande modelo a partir do desempenho de modelos menores, resultando em uma melhor alocação de recursos. Por outro lado, a generalizabilidade é frequentemente evidenciada por estratégias de aprendizado, como aprendizado de zero disparo, um disparo e poucos disparos, destacando a capacidade de modelos não supervisionados, mas treinados, de se adaptar a tarefas diversas e não vistas. Juntas, a generalizabilidade e a escalabilidade revelam o potencial dos modelos autoregressivos para aprender com uma grande quantidade de dados não rotulados.

Com base no mesmo, neste artigo, vamos falar sobre o Quadro de AutoRegressão Visual ou o VAR, um novo padrão de geração que redefine o aprendizado autoregressivo em imagens como previsão de “próxima resolução” ou “próxima escala”. Embora simples, a abordagem é eficaz e permite que os transformadores autoregressivos aprendam distribuições visuais melhor, e melhore a generalizabilidade. Além disso, os modelos de AutoRegressão Visual habilitam os modelos autoregressivos do estilo GPT a superar as transferências de difusão em geração de imagens pela primeira vez. Os experimentos também indicam que o quadro VAR melhora significativamente os modelos autoregressivos de base e supera o modelo de Transferência de Difusão ou DiT em várias dimensões, incluindo eficiência de dados, qualidade de imagem, escalabilidade e velocidade de inferência. Além disso, a ampliação dos modelos de AutoRegressão Visual demonstra leis de escalabilidade de potência semelhantes às observadas com grandes modelos de linguagem, e também exibe habilidade de generalização de zero disparo em tarefas downstream, incluindo edição, pintura e fora de pintura.

Este artigo visa cobrir o quadro de AutoRegressão Visual em profundidade, e exploramos o mecanismo, a metodologia, a arquitetura do quadro, juntamente com sua comparação com quadros de estado da arte. Vamos falar também sobre como o quadro de AutoRegressão Visual demonstra duas propriedades importantes dos LLMs: Leis de Escalabilidade e generalização de zero disparo. Então, vamos começar.

Modelagem AutoRegressiva Visual: Geração de Imagens Escaláveis

Um padrão comum entre os grandes modelos de linguagem recentes é a implementação de uma estratégia de aprendizado auto-supervisionado, uma abordagem simples, mas eficaz, que prevê o próximo token na sequência. Graças à abordagem, os modelos autoregressivos e os grandes modelos de linguagem hoje demonstraram uma escalabilidade e generalizabilidade notáveis, propriedades que revelam o potencial dos modelos autoregressivos para aprender com uma grande quantidade de dados não rotulados, resumindo a essência da Inteligência Artificial Geral. Além disso, os pesquisadores no campo da visão computacional têm trabalhado paralelamente para desenvolver grandes modelos autoregressivos ou mundiais com o objetivo de igualar ou superar sua escalabilidade e generalizabilidade impressionantes, com modelos como DALL-E e VQGAN já demonstrando o potencial dos modelos autoregressivos no campo da geração de imagens. Esses modelos frequentemente implementam um tokenizador visual que representa ou aproxima imagens contínuas em uma grade de tokens 2D, que são então achatados em uma sequência 1D para aprendizado autoregressivo, espelhando o processo de modelagem de linguagem sequencial.

No entanto, os pesquisadores ainda não exploraram as leis de escalabilidade desses modelos, e o que é mais frustrante é o fato de que o desempenho desses modelos frequentemente fica atrás dos modelos de difusão por uma margem significativa, como demonstrado na seguinte imagem. A lacuna no desempenho indica que, em comparação com os grandes modelos de linguagem, as capacidades dos modelos autoregressivos na visão computacional são subexploradas.

Por um lado, os modelos autoregressivos tradicionais exigem uma ordem definida de dados, enquanto, por outro lado, o modelo de AutoRegressão Visual ou o VAR reexamina como ordenar uma imagem, e é isso que distingue o VAR dos métodos AR existentes. Normalmente, os humanos criam ou percebem uma imagem de maneira hierárquica, capturando a estrutura global seguida pelos detalhes locais, uma abordagem multi-escala, grossa para fina, que sugere uma ordem para a imagem naturalmente. Além disso, inspirados em designs multi-escala, o quadro VAR define o aprendizado autoregressivo para imagens como previsão de próxima escala, em vez de abordagens convencionais que definem o aprendizado como previsão de próximo token. A abordagem implementada pelo quadro VAR começa codificando uma imagem em mapas de tokens multi-escala. O quadro então inicia o processo autoregressivo a partir do mapa de token 1×1 e expande progressivamente em resolução. A cada etapa, o transformador prevê o mapa de token de resolução mais alta condicionado em todos os anteriores, uma metodologia que o quadro VAR refere-se como modelagem VAR.

O quadro VAR tenta aproveitar a arquitetura do transformador do GPT-2 para o aprendizado autoregressivo visual, e os resultados são evidentes no benchmark ImageNet, onde o modelo VAR melhora significativamente sua base AR, alcançando um FID de 1,80 e um escore de início de 356, juntamente com uma melhoria de 20x na velocidade de inferência. O que é mais interessante é que o quadro VAR consegue superar o desempenho do quadro de Transferência de Difusão ou DiT em termos de escores FID e IS, escalabilidade, velocidade de inferência e eficiência de dados. Além disso, o modelo de AutoRegressão Visual exibe fortes leis de escalabilidade semelhantes às observadas nos grandes modelos de linguagem.

Para resumir, o quadro VAR tenta fazer as seguintes contribuições.

1. Ele propõe um novo quadro de geração visual que usa uma abordagem autoregressiva multi-escala com previsão de próxima escala, contrariamente à previsão de próximo token tradicional, resultando no design do algoritmo autoregressivo para tarefas de visão computacional.
2. Ele tenta validar as leis de escalabilidade para os modelos autoregressivos, juntamente com o potencial de generalização de zero disparo, que emula as propriedades atraentes dos LLMs.
3. Ele oferece uma quebra de desempenho nos modelos autoregressivos visuais, permitindo que os quadros autoregressivos do estilo GPT superem os modelos de difusão existentes em tarefas de síntese de imagens pela primeira vez.

Além disso, é vital discutir as leis de escalabilidade de potência existentes que descrevem matematicamente a relação entre tamanhos de conjunto de dados, parâmetros de modelo, melhorias de desempenho e recursos computacionais de modelos de aprendizado de máquina. Primeiramente, essas leis de escalabilidade de potência facilitam a aplicação do desempenho de um modelo maior, escalando o tamanho do modelo, o custo computacional e o tamanho do conjunto de dados, economizando custos desnecessários e alocando o orçamento de treinamento, fornecendo princípios. Em segundo lugar, as leis de escalabilidade demonstraram um aumento consistente e não saturante no desempenho. Avançando com os princípios das leis de escalabilidade nos modelos de linguagem neural, vários LLMs incorporam o princípio de que aumentar a escala dos modelos tende a produzir resultados de desempenho melhorados. A generalização de zero disparo, por outro lado, refere-se à capacidade de um modelo, particularmente um LLM, de realizar tarefas que não foram treinadas explicitamente. No domínio da visão computacional, o interesse em construir habilidades de aprendizado de zero disparo e de contexto de modelos de fundação.

Os modelos de linguagem dependem de algoritmos WordPiece ou de abordagem de codificação de par de bytes para a tokenização de texto. Os modelos de geração visual baseados em modelos de linguagem também dependem fortemente da codificação de imagens 2D em sequências de tokens 1D. Trabalhos anteriores, como o VQVAE, demonstraram a capacidade de representar imagens como tokens discretos com qualidade de reconstrução moderada. O sucessor do VQVAE, o quadro VQGAN, incorporou perdas perceptuais e adversárias para melhorar a fidelidade da imagem e também empregou um transformador decodificador para gerar tokens de imagem em um modo autoregressivo padrão de varredura de raster. Os modelos de difusão, por outro lado, há muito tempo são considerados os líderes em tarefas de síntese visual, devido à sua diversidade e qualidade de geração superior. O avanço dos modelos de difusão tem sido centrado em melhorar as técnicas de amostragem, melhorias arquiteturais e amostragem mais rápida. Os modelos de difusão latente aplicam a difusão no espaço latente, o que melhora a eficiência de treinamento e inferência. Os modelos de transformador de difusão substituem a arquitetura tradicional U-Net por uma arquitetura baseada em transformador e foram implantados em modelos recentes de síntese de imagens ou vídeo, como o SORA e a Difusão Estável.

Visual AutoRegressiva: Metodologia e Arquitetura

Em seu núcleo, o quadro VAR tem dois estágios de treinamento discretos. No primeiro estágio, um autoencoder quantizado multi-escala ou VQVAE codifica uma imagem em mapas de tokens, e uma perda de reconstrução composta é implementada para fins de treinamento. Na figura acima, a embutida é uma palavra usada para definir a conversão de tokens discretos em vetores de embutida contínuos. No segundo estágio, o transformador no modelo VAR é treinado por minimizar a perda de entropia cruzada ou maximizar a probabilidade usando a abordagem de previsão de próxima escala. O VQVAE treinado produz o mapa de token de verdade para o quadro VAR.

Modelagem Autoregressiva via Previsão de Próximo Token

Para uma sequência dada de tokens discretos, onde cada token é um inteiro de um vocabulário de tamanho V, o modelo autoregressivo de próximo token afirma que a probabilidade de observar o token atual depende apenas de seu prefixo. Supondo a dependência unidirecional de token, o quadro VAR pode decompor as chances da sequência no produto de probabilidades condicionais. O treinamento de um modelo autoregressivo envolve otimizar o modelo em um conjunto de dados, e esse processo de otimização é conhecido como previsão de próximo token, e permite que o modelo treinado gere novas sequências. Além disso, as imagens são sinais contínuos 2D por herança, e aplicar a abordagem de modelagem autoregressiva às imagens via o processo de otimização de previsão de próximo token tem alguns pré-requisitos. Primeiramente, a imagem precisa ser tokenizada em vários tokens discretos. Normalmente, um autoencoder quantizado é implementado para converter o mapa de recurso da imagem em tokens discretos. Em segundo lugar, uma ordem 1D de tokens deve ser definida para o modelo autoregressivo unidirecional.

Os tokens de imagem em tokens discretos são arranjados em uma grade 2D, e, ao contrário das frases de linguagem natural que têm uma ordem intrínseca da esquerda para a direita, a ordem dos tokens de imagem deve ser definida explicitamente para o aprendizado autoregressivo unidirecional. As abordagens autoregressivas anteriores achataram a grade 2D de tokens discretos em uma sequência 1D usando métodos como varredura de raster de linha, curva z ou ordem espiral. Uma vez que os tokens discretos foram achatados, os modelos AR extraíam um conjunto de sequências do conjunto de dados e, em seguida, treinavam um modelo autoregressivo para maximizar a probabilidade no produto de T probabilidades condicionais usando a previsão de próximo token.

Modelagem AutoRegressiva Visual via Previsão de Próxima Escala

O quadro VAR reexamina a modelagem autoregressiva em imagens, mudando da previsão de próximo token para a abordagem de previsão de próxima escala, um processo no qual, em vez de ser um único token, a unidade autoregressiva é um mapa de token inteiro. O modelo primeiro quantiza o mapa de recurso em mapas de token multi-escala, cada um com uma resolução mais alta do que o anterior, e culmina ao corresponder à resolução dos mapas de recurso originais. Além disso, o quadro VAR desenvolve um novo codificador de quantização multi-escala para codificar uma imagem em mapas de token discretos multi-escala, necessário para o aprendizado VAR. O quadro VAR emprega a mesma arquitetura que o VQGAN, mas com uma camada de quantização multi-escala modificada, com os algoritmos demonstrados na seguinte imagem.

Visual AutoRegressiva: Resultados e Experimentos

O quadro VAR usa a arquitetura VQVAE vanilla com um esquema de quantização multi-escala com K convoluções extras e usa um código compartilhado para todas as escalas e uma dimensão latente de 32. O foco principal está no algoritmo VAR, devido ao qual o design da arquitetura do modelo é mantido simples, mas eficaz. O quadro adota a arquitetura de um transformador decodificador padrão, semelhante à implementada nos modelos GPT-2, com a única modificação sendo a substituição da normalização de camada tradicional por normalização adaptativa ou AdaLN. Para a síntese condicional de classe, o quadro VAR implementa as embutidas de classe como o token de início e também a condição da camada de normalização adaptativa.

Resultados de Geração de Imagem de Estado da Arte

Quando comparado a quadros de geração existentes, incluindo GANs ou Redes Adversárias Generativas, modelos de previsão mascarada do estilo BERT, modelos de difusão e modelos autoregressivos do estilo GPT, o quadro de AutoRegressão Visual mostra resultados promissores, resumidos na seguinte tabela.

Como pode ser observado, o quadro de AutoRegressão Visual não apenas consegue superar os escores FID e IS, mas também demonstra uma velocidade de geração de imagem notável, comparável aos modelos de estado da arte. Além disso, o quadro VAR também mantém escores de precisão e recall satisfatórios, o que confirma sua consistência semântica. Mas a surpresa real é o desempenho notável entregue pelo quadro VAR nos testes de capacidade AR tradicionais, tornando-o o primeiro modelo autoregressivo que superou um modelo de Transferência de Difusão, como demonstrado na seguinte tabela.

Resultado de Generalização de Tarefa de Zero Disparo

Para as tarefas de pintura dentro e fora, o quadro VAR força os tokens de verdade fora da máscara e deixa o modelo gerar apenas os tokens dentro da máscara, sem nenhuma informação de rótulo de classe sendo injetada no modelo. Os resultados são demonstrados na seguinte imagem, e como pode ser visto, o modelo VAR alcança resultados aceitáveis em tarefas downstream sem ajustar parâmetros ou modificar a arquitetura da rede, demonstrando a generalizabilidade do quadro VAR.

Pensamentos Finais

Neste artigo, falamos sobre um novo quadro de geração visual chamado Modelagem AutoRegressiva Visual (VAR) que 1) aborda teoricamente alguns problemas inerentes aos modelos AR de imagem padrão e 2) torna os modelos AR baseados em linguagem superarem os modelos de difusão existentes em termos de qualidade de imagem, diversidade, eficiência de dados e velocidade de inferência. Por um lado, os modelos autoregressivos tradicionais exigem uma ordem definida de dados, enquanto, por outro lado, o modelo de AutoRegressão Visual ou o VAR reexamina como ordenar uma imagem, e é isso que distingue o VAR dos métodos AR existentes. Ao escalar o VAR para 2 bilhões de parâmetros, os desenvolvedores do quadro VAR observaram uma relação de potência clara entre o desempenho de teste e os parâmetros do modelo ou o cômputo de treinamento, com coeficientes de Pearson se aproximando de −0,998, indicando um quadro robusto para previsão de desempenho. Essas leis de escalabilidade e a possibilidade de generalização de tarefa de zero disparo, como marcas registradas dos LLMs, agora foram inicialmente verificadas em nossos modelos de transformador VAR.