Uma Visão Pessoal Sobre Tendências em Literatura de Visão Computacional em 2024

Eu tenho acompanhado continuamente a cena de pesquisa em visão computacional (CV) e síntese de imagens no Arxiv e em outros lugares por cerca de cinco anos, então as tendências se tornam evidentes ao longo do tempo e mudam de direção a cada ano.

Portanto, à medida que 2024 chega ao fim, pensei que seria apropriado dar uma olhada em algumas características novas ou em evolução nos artigos submetidos à seção de Visão Computacional e Reconhecimento de Padrões do Arxiv. Essas observações, embora informadas por centenas de horas estudando a cena, são estritamente anedotas.

A Ascensão Contínua da Ásia Oriental

No final de 2023, eu havia notado que a maioria da literatura na categoria de síntese de voz estava vindo da China e de outras regiões da Ásia Oriental. No final de 2024, eu tenho que observar (anecdoticamente) que isso agora se aplica também à cena de pesquisa em síntese de imagem e vídeo.

Isso não significa que a China e os países adjacentes estejam necessariamente sempre produzindo o melhor trabalho (de fato, há alguma evidência em contrário); nem significa que leve em conta a alta probabilidade de que alguns dos sistemas mais interessantes e poderosos em desenvolvimento sejam proprietários e excluídos da literatura de pesquisa.

Mas isso sugere que a Ásia Oriental está superando o Ocidente em volume, nesse aspecto. O que isso vale depende da extensão em que você acredita na viabilidade da persistência no estilo de Edison, que normalmente se prova ineficaz diante de obstáculos intransponíveis.

Há muitos obstáculos em inteligência artificial gerativa, e não é fácil saber quais podem ser resolvidos abordando arquiteturas existentes e quais precisarão ser reconsiderados do zero.

Embora os pesquisadores da Ásia Oriental pareçam estar produzindo um número maior de artigos de visão computacional, eu notei um aumento na frequência de projetos do tipo “Frankenstein” – iniciativas que constituem uma mistura de trabalhos anteriores, enquanto adicionam limitada novidade arquitetônica (ou possivelmente apenas um tipo diferente de dados).

Este ano, um número muito maior de entradas da Ásia Oriental (primariamente chinesas ou colaborações chinesas) pareciam ser impulsionadas por quotas em vez de mérito, aumentando significativamente a relação sinal-ruído em um campo já supersubscrito.

Ao mesmo tempo, um número maior de artigos da Ásia Oriental também chamou minha atenção e admiração em 2024. Então, se isso é tudo um jogo de números, não está falhando – mas também não é barato.

O Volume Crescente de Submissões

O volume de artigos, de todos os países de origem, evidentemente aumentou em 2024.

O dia de publicação mais popular muda ao longo do ano; no momento, é terça-feira, quando o número de submissões à seção de Visão Computacional e Reconhecimento de Padrões é frequentemente de 300 a 350 em um único dia, nos períodos de pico (maio-agosto e outubro-dezembro, ou seja, temporada de conferências e “prazo de quota anual”, respectivamente).

Além da minha própria experiência, o Arxiv relata um número recorde de submissões em outubro de 2024, com 6.000 novas submissões, e a seção de Visão Computacional é a segunda mais submetida após Aprendizado de Máquina.

No entanto, desde que a seção de Aprendizado de Máquina no Arxiv é frequentemente usada como uma supercategoria “adicional” ou agregada, isso argumenta que Visão Computacional e Reconhecimento de Padrões é na verdade a categoria mais submetida do Arxiv.

As próprias estatísticas do Arxiv certamente mostram que ciência da computação é a líder clara em submissões:

Ciência da Computação (CS) domina as estatísticas de submissão do Arxiv nos últimos cinco anos. Fonte: https://info.arxiv.org/about/reports/submission_category_by_year.html

A 2024 AI Index da Universidade de Stanford, embora não possa relatar as estatísticas mais recentes, também enfatiza o aumento notável nas submissões de artigos acadêmicos sobre aprendizado de máquina nos últimos anos:

Com números não disponíveis para 2024, o relatório da Stanford ainda mostra dramaticamente o aumento do volume de submissões para artigos de aprendizado de máquina. Fonte: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Frameworks de Difusão > Malha Proliferam

Outra tendência clara que surgiu para mim foi um grande aumento nos artigos que lidam com a utilização de Modelos de Difusão Latente (LDMs) como geradores de modelos de CGI baseados em malha, “tradicionais”.

Projetos desse tipo incluem o InstantMesh3D da Tencent, 3Dtopia, Diffusion², V3D, MVEdit e GIMDiffusion, entre muitas outras ofertas semelhantes.

Geração e refinamento de malha via um processo baseado em difusão em 3Dtopia. Fonte: https://arxiv.org/pdf/2403.02234

Essa nova linha de pesquisa pode ser vista como uma concessão tácita à intransponibilidade contínua dos sistemas gerativos, como os modelos de difusão, que há apenas dois anos estavam sendo apontados como um possível substituto para todos os sistemas que os modelos de difusão > malha agora estão buscando popurar; relegando a difusão ao papel de uma ferramenta em tecnologias e fluxos de trabalho que datam de trinta ou mais anos.

A Stability.ai, originadora do modelo de difusão aberto Stable Diffusion, acaba de lançar o Stable Zero123, que pode, entre outras coisas, usar uma interpretação de Neural Radiance Fields (NeRF) de uma imagem gerada por IA como uma ponte para criar um modelo de CGI explícito e baseado em malha que pode ser usado em arenas de CGI, como Unity, em jogos de vídeo, realidade aumentada e em outras plataformas que exigem coordenadas 3D explícitas, em vez das coordenadas implícitas (ocultas) de funções contínuas.

Clique para reproduzir. Imagens geradas em Stable Diffusion podem ser convertidas em malhas de CGI racionais. Aqui vemos o resultado de um fluxo de trabalho de imagem > CGI usando o Stable Zero 123. Fonte: https://www.youtube.com/watch?v=RxsssDD48Xc

Semântica 3D

O espaço de inteligência artificial gerativa faz uma distinção entre sistemas de visão e gerativos 2D e 3D. Por exemplo, frameworks de marcação facial, embora representando objetos 3D (rostos) em todos os casos, nem todos necessariamente calculam coordenadas 3D endereçáveis.

O popular sistema FANAlign, amplamente utilizado em arquiteturas de deepfakes da era 2017 (entre outras), pode acomodar ambos os abordagens:

Acima, marcos 2D são gerados com base apenas em lineamentos e recursos faciais reconhecidos. Abaixo, eles são racionalizados no espaço 3D X/Y/Z. Fonte: https://github.com/1adrianb/face-alignment

Então, assim como “deepfake” se tornou um termo ambíguo e apropriado, “3D” também se tornou um termo confuso na pesquisa de visão computacional.

Para os consumidores, ele normalmente significou mídia estereoscópica (como filmes em que o espectador precisa usar óculos especiais); para profissionais de efeitos visuais e modeladores, ele fornece a distinção entre arte 2D (como esboços conceituais) e modelos baseados em malha que podem ser manipulados em um “programa 3D” como Maya ou Cinema4D.

Mas na visão computacional, ele simplesmente significa que um sistema de coordenadas cartesianas existe em algum lugar no espaço latente do modelo – não que ele possa necessariamente ser endereçado ou manipulado diretamente por um usuário; pelo menos, não sem sistemas de interpretação de CGI de terceiros, como 3DMM ou FLAME.

Portanto, a noção de difusão > 3D é inexata; não apenas qualquer tipo de imagem (incluindo uma foto real) pode ser usado como entrada para produzir um modelo de CGI gerativo, mas o termo menos ambíguo “malha” é mais apropriado.

No entanto, para complicar a ambiguidade, a difusão é necessária para interpretar a foto de origem em uma malha, na maioria dos projetos emergentes. Então, uma descrição melhor pode ser imagem-para-malha, enquanto imagem > difusão > malha é uma descrição ainda mais precisa.

Mas isso é um argumento difícil de vender em uma reunião de diretoria ou em um comunicado de imprensa destinado a atrair investidores.

Evidências de Impasses Arquiteturais

Mesmo em comparação com 2023, a safra de artigos dos últimos 12 meses exibe um desespero crescente em torno da remoção dos limites práticos difíceis da geração baseada em difusão.

O obstáculo-chave permanece a geração de vídeo narrativa e temporalmente consistente, e manter a aparência consistente de personagens e objetos – não apenas em diferentes cliques de vídeo, mas mesmo ao longo da curta execução de um único clipe de vídeo gerado.

A última inovação épica na síntese baseada em difusão foi a aparição do LoRA em 2022. Embora sistemas mais novos, como o Flux, tenham melhorado alguns dos problemas de outlier, como a antiga incapacidade da Stable Diffusion de reproduzir conteúdo de texto dentro de uma imagem gerada, e a qualidade geral da imagem tenha melhorado, a maioria dos artigos que estudei em 2024 eram basicamente apenas rearranjando a comida no prato.

Esses impasses ocorreram antes, com Redes Adversárias Gerativas (GANs) e Campos de Radiância Neural (NeRF), ambos os quais não viveram até seu potencial aparente inicial – e ambos os quais estão sendo cada vez mais utilizados em sistemas mais convencionais (como o uso de NeRF no Stable Zero 123, acima). Isso também parece estar acontecendo com os modelos de difusão.

Pesquisa de Splatting Gaussiano Pivota

Parecia no final de 2023 que o método de rasterização Splatting Gaussiano 3D (3DGS), que estreou como uma técnica de imagem médica no início dos anos 90, estava prestes a superar os sistemas baseados em autoencoder em desafios de síntese de imagem humana (como simulação e recriação facial, bem como transferência de identidade).

O artigo ASH de 2023 prometeu humanos 3DGS completos, enquanto Gaussian Avatars ofereceu detalhes massivamente melhorados (em comparação com métodos autoencoder e outros concorrentes), juntamente com uma reencenação cruzada impressionante.

No entanto, este ano foi relativamente curto em momentos de quebra de barreiras para a síntese humana 3DGS; a maioria dos artigos que abordaram o problema foram ou derivados dos trabalhos acima ou não conseguiram exceder suas capacidades.

Em vez disso, a ênfase no 3DGS tem sido em melhorar sua viabilidade arquitetônica fundamental, levando a uma série de artigos que oferecem ambientes externos 3DGS aprimorados. Atenção particular tem sido dada a abordagens de Localização e Mapeamento Simultâneos (SLAM) 3DGS, em projetos como Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, entre muitos outros.

Os projetos que tentaram continuar ou estender a síntese humana baseada em splat incluíram MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM e Topo4D. Embora haja outros além disso, nenhuma dessas saídas igualou o impacto inicial dos artigos que surgiram no final de 2023.

A ‘Era Weinstein’ de Amostras de Teste Está em Declínio (Lento)

Pesquisas do sudeste asiático em geral (e da China em particular) frequentemente apresentam exemplos de teste que são problemáticos para republicar em um artigo de revisão, porque eles apresentam material que é um pouco “picante”.

Se isso ocorre porque os cientistas de pesquisa daquela parte do mundo estão tentando chamar a atenção para sua saída é debatível; mas nos últimos 18 meses, um número crescente de artigos sobre inteligência artificial gerativa (imagem e/ou vídeo) tem recorrido a usar jovens mulheres e meninas parcialmente vestidas em exemplos de projetos. Exemplos de fronteira NSFW incluem UniAnimate, ControlNext e até mesmo artigos muito “secos” como Avaliando a Consistência do Movimento por Distância de Movimento de Vídeo de Fréchet (FVMD).

Isso segue as tendências gerais de subreddits e outras comunidades que se reuniram em torno de Modelos de Difusão Latente (LDMs), onde a Regra 34 permanece muito presente.

Confronto de Rostos de Celebridades

Esse tipo de exemplo inadequado se sobrepõe ao reconhecimento crescente de que os processos de IA não devem explorar arbitrariamente semelhanças de celebridades – particularmente em estudos que usam exemplos com celebridades atraentes, frequentemente femininas, e as colocam em contextos questionáveis.

Um exemplo é AnyDressing, que, além de apresentar personagens femininos de anime muito jovens, também usa liberalmente as identidades de celebridades clássicas, como Marilyn Monroe, e atuais, como Ann Hathaway (que denunciou esse tipo de uso quite vocalmente).

O uso arbitrário de celebridades atuais e ‘clássicas’ ainda é bastante comum em artigos do sudeste asiático, embora a prática esteja ligeiramente em declínio. Fonte: https://crayon-shinchan.github.io/AnyDressing/

Em artigos ocidentais, essa prática particular está em declínio ao longo de 2024, liderada pelos lançamentos mais importantes de FAANG e outros órgãos de pesquisa de alto nível, como OpenAI. Cientes do potencial de litígios futuros, esses grandes jogadores corporativos parecem cada vez mais relutantes em representar até mesmo personagens fictícios fotorealistas.

Embora os sistemas que eles estão criando (como Imagen e Veo2) sejam claramente capazes de produzir tal saída, os exemplos de projetos de IA gerativa ocidentais agora tendem a imagens e vídeos “fofos”, “disneyfied” e extremamente “seguros”.

Apesar de gabaritar a capacidade do Imagen de criar saída fotorealista, as amostras promovidas pela Google Research são tipicamente fantásticas, ‘família’ –  humanos fotorealistas são cuidadosamente evitados, ou exemplos mínimos fornecidos. Fonte: https://imagen.research.google/

Lavagem de Rostos

Na literatura de visão computacional ocidental, essa abordagem dissimulada é particularmente evidente em sistemas de personalização – métodos que são capazes de criar semelhanças consistentes de uma pessoa em particular em várias exemplos (ou seja, como LoRA e o mais antigo DreamBooth).

Exemplos incluem incrustação visual ortogonal, LoRA-Composer, o InstructBooth da Google e muitos mais.

O InstructBooth da Google aumenta o fator de fofura para 11, embora a história sugira que os usuários estejam mais interessados em criar humanos fotorealistas do que personagens fofos ou peludos. Fonte: https://sites.google.com/view/instructbooth

No entanto, o aumento do “exemplo fofo” é visto em outras linhas de pesquisa de visão computacional e síntese, em projetos como Comp4D, V3D, DesignEdit, UniEdit, FaceChain (que concede a expectativas de usuário mais realistas em sua página do GitHub), e DPG-T2I, entre muitos outros.

A facilidade com que esses sistemas (como LoRAs) podem ser criados por usuários domésticos com hardware relativamente modesto levou a uma explosão de modelos de celebridades disponíveis para download gratuito no domínio civit.ai e na comunidade. Esse uso ilegal permanece possível por meio da abertura de arquiteturas como Stable Diffusion e Flux.

Embora seja frequentemente possível “furar” os recursos de segurança de sistemas de imagem-para-texto (T2I) e texto-para-vídeo (T2V) para produzir material proibido pelos termos de uso de uma plataforma, a lacuna entre as capacidades restritas dos melhores sistemas (como RunwayML e Sora) e as capacidades ilimitadas dos sistemas apenas performáticos (como Stable Video Diffusion, CogVideo e implantações locais de Hunyuan), não está realmente fechando, como muitos acreditam.

Em vez disso, esses sistemas proprietários e de código aberto, respectivamente, ameaçam se tornar igualmente inúteis: sistemas T2V de alta escala e caros podem se tornar excessivamente limitados devido a medos de litígios, enquanto a falta de infraestrutura de licenciamento e supervisão de conjuntos de dados em sistemas de código aberto pode excluí-los completamente do mercado à medida que regulamentações mais rigorosas sejam implementadas.

Publicado pela primeira vez na terça-feira, 24 de dezembro de 2024