Transmissão de Avatares 3D em Streaming como em 1999

Pesquisa apresenta uma forma de transmitir avatares 3D realistas que aparecem quase instantaneamente e se aprimoram em tempo real, em vez de forçar os usuários a esperar por downloads massivos para serem concluídos.

De muitas maneiras, as enormes demandas de recursos de inteligência artificial e sistemas de renderização assistidos por IA têm levado a capacidade de consumo de volta vinte ou mais anos. Apenas em 2023, uma alocação de 64GB de RAM em um laptop ou PC parecia excessiva; agora, com o crescimento da popularidade de RAM e/ou desvio de CPU, 64GB é modesto para necessidades locais de IA; e esses elementos banais e acessíveis de PCs continuam a disparar em preço à medida que as corporações lutam para atender à demanda por serviços de IA.

A escala e a ganância de IA e seus processos e ambientes geralmente superam o hardware de nível de consumo, e até mesmo executar modelos “enxutos” locais como versões GGUF geralmente sobrecarregam o sistema médio.

Até mesmo serviços de IA baseados em texto, como o ChatGPT, estão sujeitos a uma grande pressão tanto no nível do cliente quanto no nível do servidor. Portanto, uma vez que a IA é encarregada de fornecer experiências de mídia online em tempo real, podemos razoavelmente esperar alguns compromissos muito sérios em termos de latência e/ou qualidade – semelhantes às lutas iniciais da internet com a transmissão de mídia, e os ícones de “buffering” animados muito odiados do RealPlayer e do QuickTime.

A última vez que problemas de mídia e rede criaram fricção na experiência do usuário, o hardware de nível de consumo ainda estava evoluindo através da Lei de Moore, melhorando quase exponencialmente a cada ano, mesmo enquanto os sistemas operacionais, redes e outras infraestruturas de suporte evoluíam para atender à demanda; e nos últimos dez anos, mais ou menos, as capacidades da tecnologia de consumo excederam as demandas de mídia (talvez até ao ponto em que a renovação precisou ser iniciada para manter as vendas).

Mas essa abundância de capacidade local pode estar chegando ao fim em breve, à medida que o hardware local se torna menos potente e mais caro, e os serviços baseados em IA exigem mais recursos no lado do servidor e local.

Obtendo uma Cabeça

No início da era pré-banda larga, mesmo antes do primeiro vídeo de streaming viável, os usuários da web estavam acostumados a ver imagens se tornando nítidas lentamente, à medida que as JPEGs progressivas permitiam que o usuário com baixa largura de banda visse a imagem sendo carregada, às vezes muito lentamente, à medida que mais dados da imagem eram carregados localmente.

Agora, parece que podemos estar prestes a ter uma experiência semelhante com avatares 3D assistidos por IA:

Clique para reproduzir. Do novo projeto ProgressiveAvatars, uma comparação da transmissão de avatares gaussianos. Fonte

Acima, vemos duas versões de um avatar Gaussian Splat (GSplat) – uma representação humana habilitada parcialmente por uma técnica de renderização não IA que remonta aos anos 90 e também por métodos mais modernos, como o modelo paramétrico de face FLAME e abordagens de treinamento baseadas em IA:

A técnica de Splatting Gaussiano usa uma representação gaussiana de cor e informações 3D no lugar de um pixel ou voxel, e mapeia essa textura ultrarrealista em uma malha CGI mais tradicional, que por sua vez é facilitada por um ‘humano paramétrico’, uma face e/ou corpo CGI, em sistemas como FLAME e STAR. Fonte

No lado esquerdo do vídeo acima, podemos ver que uma implementação tradicional de um avatar Gaussian Splat parece bastante horrível enquanto esperamos que os dados sejam carregados. No lado direito, uma nova implementação da China, chamada ProgressiveAvatars, consegue resolver de forma mais elegante à medida que os dados são carregados, apresentando uma imagem humana não alarmante desde o início.

Os autores afirmam que seu método é o primeiro a realmente “transmitir” um avatar gaussiano, e certamente o primeiro a fazê-lo de forma progressiva, onde a imagem se constrói elegantemente, e as áreas mais importantes – como olhos e lábios – podem ser priorizadas, de modo que o avatar possa se tornar conversacional mesmo quando apenas parcialmente carregado:

Clique para reproduzir. Do site do projeto ProgressiveAvatars, uma ilustração do carregamento atento.

Anteriormente, uma abordagem de “nível de detalhe” (LOD) havia sido usada em tentativas anteriores de reduzir os avatares “GSplat”, semelhante às otimizações de jogos de vídeo, onde versões mais detalhadas de uma pessoa são carregadas de acordo com a quantidade de espaço que ocupam na tela ou a atenção do espectador:

Um Domínio Emergente

Se isso parece um problema de nicho, bem, assim também foi a transmissão de vídeo, nos dias em que obter os primeiros plugins para funcionar era uma tarefa para o nerd mais próximo. Além disso, o potencial para representações de streaming baseadas em IA vai além de avatares humanos, estendendo-se à geração de cidades, jogos e versões baseadas em 3D de praticamente qualquer domínio online – como Virtual Try-On, para compras de roupas:

Clique para reproduzir. De um projeto de 2024, uma visão geral do futuro da “try-on” online. Outros projetos buscam adicionar movimento e interatividade – facetas exigentes para transmitir e gerenciar. Fonte

Assim como as abordagens baseadas em LOD foram até agora principalmente utilizadas por jogos de vídeo, muitas outras considerações que foram anteriormente exclusivas do desenvolvimento de jogos provavelmente se estenderão às representações baseadas em “splat”. Por exemplo, a maioria desses primeiros “GSplat” apresenta um único ser humano fazendo caretas ou talvez falando; mas muitas situações precisarão apresentar vários seres humanos, bem como recursos ambientais e ambiance – um cenário em que sistemas de “triagem” de alto desempenho determinarão onde os dados de transmissão precisam ser priorizados para manter o espectador no momento.

O novo artigo é intitulado ProgressiveAvatars: Avatares 3D Gaussian Animáveis Progressivos, e vem de três pesquisadores da Universidade de Ciência e Tecnologia da China, em Hefei.

Método

A abordagem inicial aproveita o vídeo de uma pessoa. Para cada quadro, um modelo de face paramétrico FLAME padrão é ajustado, de modo que a forma e a expressão mudam ao longo do tempo, enquanto a estrutura subjacente da malha permanece fixa. Como a topologia base não muda, um modelo de FLAME padrão pode ser reutilizado e aprimorado em vez de reconstruído do zero a cada momento, como acontece em trabalhos anteriores:

O vídeo da cabeça é primeiro ajustado com uma malha FLAME rastreada, após o que os gaussianos 3D são anexados a cada face e crescem hierarquicamente onde os gradientes do espaço da tela indicam detalhes faltantes. Durante o treinamento, essa subdivisão adaptativa constrói uma representação de vários níveis sob supervisão de várias vistas, e na inferência, as pontuações de importância por face determinam quais gaussianos são transmitidos primeiro, permitindo que o avatar apareça rapidamente e se aprimore progressivamente à medida que níveis de detalhe mais altos são adicionados.

Sobre essa estrutura base, detalhes são adicionados em camadas; a superfície é implicitamente subdividida em uma hierarquia, e pequenos gaussianos tridimensionais são anexados às faces em cada nível de detalhe.

Embora as camadas iniciais mais grosseiras capturem a forma geral da cabeça e o movimento, as camadas subsequentes mais finas fornecem rugas, deformações sutis e textura de alta frequência. As imagens são então renderizadas a partir desses gaussianos usando um rasterizador gaussiano diferenciável e treinado contra imagens de referência de várias vistas, de modo que o avatar aprende a reproduzir a aparência da pessoa real.

Durante o treinamento, essa hierarquia cresce automaticamente; as regiões que precisam de mais detalhes são subdivididas ainda mais, guiadas por sinais do espaço da tela, de modo que o esforço computacional se concentra onde o olho do espectador provavelmente notará erros.

Durante a inferência, essa mesma hierarquia permite transmissão progressiva, onde uma versão aproximada do avatar pode ser exibida primeiro, e à medida que camadas adicionais são carregadas, novos gaussianos podem ser adicionados sem alterar o que já é exibido, permitindo que um avatar de cabeça animável apareça rapidamente e se torne mais detalhado à medida que mais dados chegam.

Os autores observam que todo o sistema depende da priorização dos dados de entrada:

Quando todos os gaussianos em um determinado nível estão disponíveis, o modelo completo é renderizado com fidelidade máxima; mas durante a transmissão, enviar os gaussianos de maior contribuição primeiro permite que os resultados parciais iniciais sejam muito semelhantes à imagem final, enquanto transmitir gaussianos de baixa contribuição primeiro distorce o equilíbrio de cores e enfatiza componentes menores.

Dados e Testes

Para os testes, o novo método foi avaliado no conjunto de dados NeRSemble, que consiste em vídeos de várias vistas para cada sujeito, com parâmetros calibrados em todas as vistas:

Exemplos de interpretações diversas de sujeitos incluídos no conjunto de dados NeRSemble usado nos testes para ProgressiveAvatars. Fonte

Em linha com a metodologia original de GaussianAvatars, as imagens foram reduzidas para 802x550px, uma máscara de primeiro plano foi gerada e a divisão de treinamento/teste do projeto original foi adotada.

O otimizador Adam foi usado para atualizações de parâmetros, com uma taxa de aprendizado de 1×10^-2 em todas as coordenadas baricêntricas. O treinamento foi executado por 60.000 iterações, com a hierarquia sendo automaticamente expandida a cada 2.000 iterações.

Inicialmente, os autores testaram a reconstrução e animação – a tarefa de converter vídeo plano em um sistema 3D (x/y/z), usando a representação CGI canônica do FLAME como a malha de ancoragem. Para isso, todas as linhas de base foram treinadas do zero, e os frameworks rivais testados foram os mencionados GaussianAvatars e PointAvatar.

Para esses testes, as métricas usadas foram Taxa de Sinal para Ruído de Pico (PSNR), Índice de Semelhança Estrutural (SSIM) e Semelhança de Imagem Perceptual Aprendida (LPIPS):

Comparações qualitativas em síntese de vista e expressão novas. A linha de base GaussianAvatars luta com detalhes finos em torno dos olhos, rugas e textura da pele, enquanto o método proposto já preserva a estrutura facial chave em torno de cinco por cento dos dados transmitidos e converge em direção à verdade do solo à medida que mais gaussianos são transmitidos, aproximando-se estreitamente do modelo completo e das imagens de referência (verdade do solo).

Quanto a esses resultados, os autores afirmam:

‘[Nosso] método reconstrói detalhes mais nítidos em várias regiões, particularmente ao redor do pescoço, ombros e roupas. Essas áreas são relativamente grosseiramente tesselladas na malha FLAME em comparação com zonas faciais de alta saliência (por exemplo, a região periocular).

‘Consequentemente, métodos anteriores frequentemente alocam muito poucos gaussianos 3D para essas regiões para capturar fielmente seus detalhes de pequena escala. Em contraste, nossa estratégia de crescimento adaptativo aumenta o número de gaussianos e refina a hierarquia apenas onde necessário, tornando a alocação insensível à tesselação não uniforme do FLAME.’

Os autores observam ainda que sua abordagem está em pé de igualdade com os métodos de ponta, produzindo um avatar funcional com uma permissão de largura de banda trivial de 5%:

Comparações quantitativas em síntese de vista nova e síntese de expressão nova usando PSNR, SSIM e LPIPS. Na transmissão completa, o método proposto alcança o PSNR mais alto em ambas as tarefas e permanece competitivo com GaussianAvatars nas métricas perceptuais, enquanto o ajuste de 5% ilustra a troca de qualidade sob restrições de largura de banda extremas.

Em seguida, os pesquisadores testaram a renderização progressiva em si. Isso foi realizado em um NVIDIA RTX 4090, com 24Gb de VRAM, em resolução de 550x802px. Nesse cenário, os autores observam que um orçamento de 25% usaria todos os gaussianos de “nível 1”, bem como um subconjunto de gaussianos de nível 2, o que dá uma visão geral de como os grupos gaussianos acumulam detalhes nos grupos de número mais alto, e como os grupos de número mais baixo essencialmente constroem a tela base:

Desempenho sob diferentes orçamentos de transmissão para síntese de vista nova e síntese de expressão nova, mostrando que a qualidade se aproxima ou excede GaussianAvatars à medida que mais gaussianos e dados são transmitidos, enquanto as velocidades em tempo real são mantidas, em um RTX 4090.

Os autores comentam:

‘Com apenas 2,60 MB transmitidos (5% do orçamento), o avatar já atinge uma qualidade razoável. À medida que gaussianos de nível mais alto são transmitidos, estruturas finas como botões de camisa, dentes e cabelo gradualmente se tornam mais nítidos, enquanto a estabilidade temporal é mantida.

‘Em 100% de transmissão, nossa abordagem alcança uma qualidade de renderização comparável aos métodos de ponta. Notavelmente, as taxas de quadros não caem significativamente, provavelmente porque a carga de trabalho 3DGS ainda não saturou o GPU.’

No entanto, os autores observam que em cenários de realidade virtual multiusuário, o número de gaussianos 3D cresceria rapidamente ao ponto em que a rasterização do GPU se tornaria um gargalo. Nesses cenários mais pesados, a abordagem proposta oferece uma vantagem permitindo que o sistema faça uma troca entre o número de primitivos e a qualidade visual, aliviando a carga sem colapsar o render.

Embora o artigo não detalhe, o site do projeto apresenta comparações de testes adicionais, também apresentando o projeto de avatar híbrido de malha-gaussiano MeGA:

Clique para reproduzir. Um dos vídeos suplementares do site do projeto, comparando a nova abordagem em termos de síntese de vista nova.

Conclusão

O Splatting Gaussiano pode ou não perdurar, ou mesmo ser lembrado mais do que o RealPlayer agora é, em relação ao amanhecer da transmissão interativa: experiências representativas 3D impulsionadas por IA, incluindo vídeoconferência, compras virtuais, navegação de rotas e diversas aplicações de entretenimento. Pode ser que tecnologias ou abordagens alternativas prevaleçam, ou que o GSplat se mostre a representação de vídeo de IA mais confiável.

Se nada mais, este interessante novo artigo anuncia um pouco do escopo deste novo domínio, enquanto nos lembra, talvez nostalgicamente, da internet carente de largura de banda de outrora.

* Por ‘3D’, não quero dizer o tipo de experiência que exige óculos especiais, mas sim experiências em que o conteúdo de multimídia tem algum tipo de compreensão das coordenadas X/Y/Z.

Publicado pela primeira vez na quarta-feira, 18 de março de 2026