Os recentes avanços nos quadros de geração de texto para 3D de IA marcaram um marco significativo nos modelos gerativos. Eles abrem caminho para novas possibilidades na criação de ativos 3D em uma variedade de cenários do mundo real. Ativos digitais 3D agora ocupam um lugar indispensável em nossa presença digital, permitindo uma visualização e interação abrangentes com ambientes e objetos complexos que refletem nossas experiências do mundo real. Esses quadros de geração de texto para 3D de IA são aplicados em vários domínios, incluindo animação, arquitetura, jogos, realidade aumentada e virtual, e muito mais. Eles também estão sendo usados extensivamente em conferências online, varejo, educação e marketing.

No entanto, apesar da promessa desses avanços nos quadros de geração de texto para 3D de IA, o uso extensivo de tecnologias 3D vem com um grande problema. A geração de imagens e conteúdo de mídia 3D de alta qualidade ainda requer tempo, esforço, recursos e expertise significativos. Mesmo com esses requisitos atendidos, a geração de texto para 3D frequentemente falha em renderizar modelos 3D detalhados e de alta qualidade. Esse problema de renderização e geração 3D de baixa qualidade é mais prevalente em quadros que usam o método de Amostragem de Destilação de Pontuação (SDS). Este artigo discutirá as deficiências notáveis observadas em modelos que usam o método SDS, que introduzem inconsistências e direções de atualização de baixa qualidade, resultando em um efeito de sobre-suavização na saída gerada. Também apresentaremos o quadro LucidDreamer, uma abordagem nova que usa o método de Interval Score Matching (ISM) para superar o problema de sobre-suavização. Exploraremos a arquitetura do modelo e seu desempenho contra os quadros de geração de texto para 3D de IA de ponta. Então, vamos começar.

LucidDreamer3D: Uma Introdução à Geração 3D usando Interval Score Matching

Um dos principais motivos pelos quais os modelos de geração 3D têm sido o ponto de discussão da indústria de IA gerativa é devido às suas aplicações generalizadas em vários domínios e indústrias, e sua capacidade de produzir conteúdo 3D em tempo real. Devido às suas aplicações práticas generalizadas, os desenvolvedores propuseram várias abordagens de geração de conteúdo 3D, das quais os quadros de geração de texto para 3D se destacam por sua capacidade de usar apenas descrições de texto para gerar modelos 3D imaginativos. Os quadros de geração de texto para 3D alcançam isso usando um modelo de difusão de imagem pré-treinado como uma imagem forte antes de supervisionar o treinamento de um modelo neural parametrizado 3D, permitindo a renderização de imagens 3D consistentemente que se alinha com o texto. Essa capacidade de renderizar imagens 3D constantes é baseada no uso fundamental da Amostragem de Destilação de Pontuação, e permite que a SDS atue como o mecanismo central para trazer resultados 2D de modelos de difusão para seus equivalentes 3D, permitindo o treinamento de modelos 3D sem usar imagens de treinamento. Apesar de sua eficácia, os quadros de geração de texto para 3D de IA que usam o método SDS frequentemente sofrem de problemas de distorção e sobre-suavização que prejudicam as implementações práticas de geração 3D de alta fidelidade.

Para lidar com os problemas de sobre-suavização, o quadro LucidDreamer implementa uma abordagem de Interval Score Matching ou ISM, uma abordagem nova que usa dois mecanismos eficazes. Primeiro, a abordagem ISM emprega o método de inversão DDIM para mitigar o efeito de média causado por inconsistências de Verdadeiro Fundamento pseudo, produzindo uma trajetória de difusão invertível. Em segundo lugar, em vez de combinar as imagens renderizadas pelo modelo 3D com os Verdadeiros Fundamentos pseudo, o método ISM combina-as entre dois passos de intervalo na trajetória de difusão, o que ajuda a evitar um alto erro de reconstrução, evitando a reconstrução em um passo. O uso de ISM em vez de SDS resulta em um desempenho consistentemente alto com saídas realistas e detalhadas.

Em geral, o quadro LucidDreamer visa fazer as seguintes contribuições na geração de texto para 3D de IA

1. Fornece uma análise aprofundada da SDS, o conceito fundamental nos quadros de geração de texto para 3D, e identifica suas limitações principais de Verdadeiros Fundamentos pseudo de baixa qualidade, e fornece uma explicação para o efeito de sobre-suavização enfrentado por esses quadros de geração de texto para 3D.
2. Para contrariar as limitações impostas pela abordagem SDS, o quadro LucidDreamer introduz o Interval Score Matching, uma abordagem nova que usa combinação baseada em intervalo e trajetórias de difusão invertíveis para superar a SDS, produzindo saídas realistas e detalhadas.
3. Alcança o desempenho de ponta ao integrar o método ISM com Splatting Gaussiano 3D para superar os métodos existentes para geração de conteúdo 3D com baixos custos de treinamento.

Limitações da SDS

Como mencionado anteriormente, a SDS é uma das abordagens mais populares para modelos de geração de texto para 3D, e busca modos para posterior condicional no espaço latente do DDPM. A abordagem SDS também adota um DDPM pré-treinado para modelar o posterior condicional, e visa destilar as representações 3D para o posterior condicional, alcançado minimizando a seguinte divergência KL. Além disso, a abordagem SDS também reutiliza o objetivo de combinação de pontuação de ruído ponderado para o treinamento DDP. O objetivo principal da abordagem SDS também pode ser visto como combinar a visão do modelo 3D com o Verdadeiro Fundamento pseudo estimado pelo DDPM em um passo, embora o processo de destilação frequentemente ignore aspectos críticos do componente DDPM, e a figura a seguir demonstra como um DDPM pré-treinado tende a prever Verdadeiros Fundamentos pseudo com recursos inconsistentes, e produz saídas de baixa qualidade durante o processo de destilação.

No entanto, as direções de atualização em circunstâncias indesejadas são atualizadas para representações 3D que eventualmente levam a resultados sobre-suavizados. Além disso, é importante notar que o componente DDPM é sensível à entrada, e os recursos do Verdadeiro Fundamento pseudo mudam significativamente mesmo com a menor alteração na entrada. Além disso, a aleatoriedade na pose da câmera e no componente de ruído das entradas pode adicionar flutuações que são inevitáveis durante a destilação. Otimizar a entrada para Verdadeiros Fundamentos pseudo inconsistentes resulta em resultados de média de recursos. O que é mais importante é que a abordagem SDS obtém Verdadeiros Fundamentos pseudo com uma previsão de um passo para todos os intervalos de tempo, e não leva em conta as limitações de um componente DDPM de um passo que não consegue produzir saídas de alta qualidade, o que indica que destilar ativos ou imagens 3D com o componente SDS pode não ser a abordagem mais ideal.

LucidDreamer: Metodologia e Funcionamento

O quadro LucidDreamer não apenas introduz a abordagem ISM, mas também se baseia nos aprendizados de outros quadros, incluindo modelos de geração de texto para 3D, modelos de difusão e quadros de representação 3D diferenciáveis. Com isso dito, vamos dar uma olhada detalhada na arquitetura e na metodologia do quadro LucidDreamer.

Interval Score Matching ou ISM

Os problemas de sobre-suavização e saídas de baixa qualidade enfrentados pela maioria dos modelos de geração de texto para 3D podem ser atribuídos ao uso da abordagem SDS, que visa combinar o Verdadeiro Fundamento pseudo com as representações 3D, que é inconsistente e frequentemente de baixa qualidade. Para contrariar os problemas enfrentados pela SDS, o quadro LucidDreamer introduz o ISM ou Interval Score Matching, uma abordagem nova que tem dois estágios de funcionamento. No primeiro estágio, o componente ISM obtém Verdadeiros Fundamentos pseudo mais consistentes durante a destilação, independentemente da aleatoriedade nas poses da câmera e no ruído. No segundo estágio, o quadro gera Verdadeiros Fundamentos pseudo com melhor qualidade.

Outra limitação significativa da SDS é gerar Verdadeiros Fundamentos pseudo com uma previsão de um passo para todos os intervalos de tempo, o que torna difícil garantir Verdadeiros Fundamentos pseudo de alta qualidade, e forma a base para melhorar a qualidade visual dos Verdadeiros Fundamentos pseudo. De forma semelhante, o objetivo da SDS pode ser visto como combinar a visão do modelo 3D com o Verdadeiro Fundamento pseudo estimado pelo DDPM em um passo, embora o processo de destilação ignore um aspecto crítico do componente DDPM, ou seja, produz Verdadeiros Fundamentos pseudo de baixa qualidade com recursos inconsistentes durante o processo de destilação.

Em geral, o componente ISM promete entregar várias vantagens sobre os métodos anteriores usados em modelos de geração de texto para 3D. Primeiro, graças à capacidade do ISM de fornecer Verdadeiros Fundamentos pseudo consistentes de alta qualidade, é capaz de produzir saídas de destilação de alta fidelidade com estruturas mais finas e detalhes mais ricos, eliminando a necessidade de uma grande escala de orientação, e melhora a flexibilidade para criação de conteúdo 3D. Em segundo lugar, a transição da abordagem SDS para a abordagem ISM tem uma sobrecarga computacional marginal, especialmente desde que a abordagem ISM não compromete a eficiência geral, mesmo exigindo custos computacionais adicionais para inversões DDIM.

A figura acima demonstra o funcionamento da abordagem ISM e fornece uma visão geral da arquitetura do quadro LucidDreamer. O quadro primeiro inicializa o Splatting Gaussiano, ou seja, as representações 3D, usando um gerador de texto para 3D pré-treinado usando um prompt. Em seguida, é incorporado com um componente DDPM pré-treinado para perturbar vistas aleatórias para trajetórias latentes não condicionais usando inversões DDIM, e então atualiza com a pontuação de intervalo. Graças à sua arquitetura, o núcleo da otimização do componente ISM se concentra em atualizar as representações 3D em direção a Verdadeiros Fundamentos pseudo de alta qualidade e consistentes, mas amigáveis computacionalmente. Esse princípio é o que permite que o ISM se alinhe com os objetivos fundamentais da abordagem SDS, refinando o método existente.

Inversão DDIM

O quadro LucidDreamer visa produzir Verdadeiros Fundamentos pseudo mais consistentes em alinhamento com as representações 3D. Portanto, em vez de produzir representações 3D, o quadro LucidDreamer emprega a abordagem de inversão DDIM para prever ruído latente 3D e prever uma trajetória latente de ruído invertível de forma iterativa. Além disso, é devido à inversibilidade da inversão DDIM que o quadro LucidDreamer é capaz de aumentar a consistência do Verdadeiro Fundamento pseudo significativamente para todos os intervalos de tempo.

Pipeline de Geração Avançada

O quadro LucidDreamer também introduz uma pipeline avançada, além do ISM, para explorar os fatores que afetam a qualidade visual da geração de texto para 3D, e introduz o Splatting Gaussiano 3D ou 3DGS como seu modelo de geração 3D e modelo de geração de nuvem de pontos 3D para inicialização.

Splatting Gaussiano 3D

Trabalhos existentes indicaram que aumentar o tamanho do lote e a resolução de renderização para treinamento melhora significativamente a qualidade visual. No entanto, a maioria das representações 3D aprendidas adotadas para geração de texto para 3D são consumidoras de tempo e memória. Por outro lado, a abordagem de Splatting Gaussiano 3D fornece resultados eficientes tanto na otimização quanto na renderização, o que permite que a Pipeline de Geração Avançada no quadro LucidDreamer alcance um grande tamanho de lote e renderização de alta resolução, mesmo operando com recursos computacionais limitados.

Inicialização

A maioria dos quadros de geração de texto para 3D de ponta inicializa suas representações 3D com geometrias limitadas, como círculo, caixa ou cilindro, o que frequentemente resulta em saídas indesejadas em objetos não simétricos axiais. Por outro lado, como o quadro LucidDreamer introduz o Splatting Gaussiano 3D como representações 3D, o quadro pode adotar várias abordagens de geração de pontos para texto para gerar uma inicialização grossa com entradas humanas. A estratégia de inicialização acelera significativamente a velocidade de convergência.

LucidDreamer: Experimentos e Resultados

Geração de Texto para 3D

A figura acima demonstra os resultados gerados pelo modelo LucidDreamer com a abordagem de difusão estável original, enquanto a figura a seguir discute os resultados gerados em diferentes pontos de ajuste finos.

Como pode ser visto, o quadro LucidDreamer é capaz de gerar conteúdo 3D altamente consistente usando o texto de entrada e dicas semânticas. Além disso, com o uso do ISM, o quadro LucidDreamer gera imagens intricadas e mais realistas, evitando problemas comuns como sobre-saturação ou sobre-suavização, enquanto excede na geração de objetos comuns e apoia criações criativas.

Generalização do ISM

Para avaliar a generalização do ISM, uma comparação é realizada entre o ISM e a SDS em representações explícitas e implícitas, e os resultados são demonstrados na figura a seguir.

Comparações Qualitativas

Para analisar a eficiência qualitativa do quadro LucidDreamer, é comparado com os modelos de linha de base atuais, e para garantir uma comparação justa, usa o quadro de Difusão Estável 2.1 para destilação, e os resultados são demonstrados na figura a seguir. Como pode ser visto, o quadro entrega resultados de alta fidelidade e geometricamente precisos, consumindo menos recursos e tempo.

Além disso, para fornecer uma avaliação mais abrangente, os desenvolvedores também realizam um estudo de usuário. A avaliação seleciona 28 prompts e usa diferentes abordagens de geração de texto para 3D em cada prompt para gerar objetos. Os resultados foram então classificados pelos usuários com base no grau de alinhamento com o prompt de entrada e sua fidelidade.

LucidDreamer: Aplicações

Devido ao seu desempenho excepcional em uma ampla variedade de tarefas de geração de texto para 3D, o quadro LucidDreamer tem várias aplicações potenciais, incluindo geração de avatar zero-shot, geração de texto para 3D personalizada e edição 2D e 3D zero-shot.

A imagem do topo à esquerda demonstra o potencial do LucidDreamer em tarefas de edição 2D e 3D zero-shot, enquanto as imagens da esquerda inferior demonstram a capacidade do quadro de gerar saídas de texto para 3D personalizadas com LoRA, enquanto a imagem da direita mostra a capacidade do quadro de gerar avatares 3D.

Pensamentos Finais

Neste artigo, discutimos o LucidDreamer, uma abordagem nova que usa o método de Interval Score Matching ou ISM para superar o problema de sobre-suavização, e discutimos a arquitetura do modelo e seu desempenho contra os quadros de geração de texto para 3D de IA de ponta. Também discutimos como a SDS ou Amostragem de Destilação de Pontuação, uma abordagem comum implementada na maioria dos modelos de geração de texto para 3D de ponta, frequentemente resulta em sobre-suavização das imagens geradas, e como o quadro LucidDreamer contraria esse problema introduzindo uma nova abordagem, a abordagem de Interval Score Matching ou ISM, para gerar imagens 3D de alta fidelidade e mais realistas. Os resultados e a avaliação indicam a eficácia do quadro LucidDreamer em uma ampla variedade de tarefas de geração 3D, e como o quadro já desempenha melhor do que os modelos de geração 3D de ponta atuais. O desempenho excepcional do quadro abre caminho para uma ampla gama de aplicações práticas, como já discutido.