Por que a Entrelaçamento de Conceitos Significa que Você Não Pode Ter Vídeo de IA “ao Seu Jeito”

As ferramentas de vídeo de IA prometem controle total, mas o “entrelaçamento de conceitos” oculto cola identidades, expressões e comportamentos juntos, forçando hacks e truques de modelo que destroem o mito da magia GenAI sem esforço.

Opinião Desde que eu me aprofundei no assunto há cinco anos, o problema do entrelaçamento de conceitos em sistemas de IA treinados se estendeu a um número muito maior de usuários, sem ser realmente compreendido melhor em seus próprios termos.

Naquela época, os sistemas de autoencoder de deepfakes (ou seja, o agora defunto DeepFaceLab e o menos pornográfico FaceSwap, ambos derivados do código de lançamento do Reddit de 2017, que foi desacreditado e quase imediatamente banido) eram os únicos jogos na cidade para criar deepfakes de pessoas relativamente fotorealistas.

Esses sistemas dependiam de conjuntos de dados de treinamento facial extensos que visavam fornecer ao modelo de IA informações sobre A) como a pessoa parecia em repouso (um embutimento de referência canônico) e B) como elas pareciam em diversas situações que um rosto pode refletir, desde sono até riso, horror, tédio, ceticismo, tristeza, etc.

A identidade vem não sozinha, mas junto com expressões faciais. Além disso, certas emoções podem ter apenas dados de face disponíveis de ângulos específicos, extremos, que tenderão a associar o ângulo com a emoção e vice-versa.

O problema era que a identidade canônica geralmente tinha que ser inferida a partir de capturas faciais que não eram elas mesmas ‘neutras’, então a preponderância de sorrisos e risos obtidos ao raspar conjuntos de dados de estoque deslocaria a distribuição em direção a um ‘padrão sorridente’. Isso ocorria devido ao grande volume de fotos de tapete vermelho e de paparazzi na web raspada nos dados de treinamento que normalmente informam esses modelos, bem como qualquer outra razão especiosa por que um conjunto de dados poderia ser tendencioso em direção a um tipo de imagem.

Em outras palavras, o sistema de autoencoder teria que tentar extrair um conceito de identidade ‘neutro’ de milhares de imagens onde as características faciais estavam contorcidas por expressões faciais normais.

Também teve que tentar desembaraçar conceitos faciais semânticos de diferentes emoções dos ângulos que os rostos foram tirados. Isso significava que, se as únicas expressões faciais ‘aterrorizadas’ disponíveis foram tiradas de uma vista de perfil, o sistema treinado só poderia reproduzir essa emoção de forma ótima a partir daquele ângulo.

Olhando para Frente

À medida que as abordagens baseadas em difusão assumiram o cenário de imagem (e, posteriormente, vídeo) de GenAI a partir de 2022, os sistemas gerativos se tornaram muito melhores em extrapolar expressões faciais precisas quando fornecidos com dados faciais limitados.

Até mesmo o desafiador desafio de criar vistas de perfil convincentes foi quase superado, no estado atual da arte, enquanto os dados de expressão foram efetivamente desviados da identidade – na medida em que o tipo de Marionetagem de deepfake ao vivo, pioneira pelo sistema de transmissão DeepFaceLive, tem muitas aplicações offline eficazes, com atuação em tempo real um desenvolvimento futuro provável:

Clique para reproduzir. Do projeto ‘FlashPortrait’, exemplos diversos de conduzir avatares por meio de vídeos de origem. Nesse caso, não importa de que lado o ‘domínio realista’ esteja sentado, se é que está. Fonte 

No entanto, à medida que a tela de GenAI se ampliou e a saída se tornou mais sofisticada, o problema do entrelaçamento simplesmente se espalhou para várias outras áreas – e está sendo atualmente ‘corrigido’ por alguns truques baratos e antigos. Se você não sabe quais são esses truques, pode ter uma visão mais positiva de como rápido o vídeo e a imagem de IA estão evoluindo e superando seus velhos problemas.

Gatos Tagarelas

É provável que seja claro por que a identidade e a emoção se provaram difíceis de separar para os antigos sistemas de autoencoder de 2017. Foi porque a) Havia muitos dados de um tipo, OU um tipo específico de dados importantes, qualquer um dos quais causaria um viés de distribuição; e/ou B) a arquitetura do modelo não estava à altura da tarefa de separar essas qualidades e tendia a ‘colá-las juntas’ no momento da inferência, a menos que o usuário tomasse um cuidado extraordinário para garantir o equilíbrio no conjunto de dados.

Por exatamente a mesma razão, problemas semelhantes surgiram em uma série de modelos de vídeo de código aberto e proprietários nos últimos anos, embora tenham sido ofuscados por níveis maiores de crítica em torno de alucinações, falta de censura e diversos outros tópicos.

Por exemplo, no sistema Wan2.+, muitos usuários encontraram que é muito difícil evitar que seus personagens gerados falem incessantemente e, muitas vezes, também é difícil evitar que eles olhem para a câmera.

O último problema (olhar para a câmera, ou quebrar a quarta parede) precede a advento de sistemas de síntese de vídeo, desde que surgiu em vários sistemas de difusão de imagem apenas, devido à prevalência de fotos ‘olhando para a câmera’ em conjuntos de dados raspados na web, como LAION.

O problema em torno de personagens ‘tagarelas’ vem da abundância fácil de vídeos de ‘influenciadores’ no YouTube, que naturalmente oferecem milhares de horas de discurso direto para a lente, frequentemente curados em conjuntos de dados onde cientistas de pesquisa podem lavar a raspagem da web, fornecendo um contexto acadêmico.

Porém, a menos que os curadores originais ou subsequentes tomem cuidado para limitar o número de vídeos desse tipo e equilibrá-los contra diferentes tipos de filmagens, um viés grave se desenvolve no modelo de vídeo, que precisará ser abordado por meio de remédios baseados em prompts e sistemas adjunctos de terceiros.

Diante do problema de ‘tagarelice’ do Wan, o usuário do Reddit u/Several-Estimate-681 encontrou uma solução que aproveita uma configuração no sistema Infinite Talk V2V – uma estrutura projetada para encorajar a loquacidade de estilo influenciador – que permite ao usuário silenciar o personagem renderizado:

Clique para reproduzir: Apenas ouça – uma solução para alcançar atenção do personagem em Wan2.+. Fonte 

Obviamente, atalhos desse tipo não representam soluções arquiteturais de baixo nível e, ausentes soluções verdadeiras sendo encontradas e implementadas pelos criadores de modelos de base (porque os entusiastas casuais normalmente não têm milhões de dólares para recriar ou afinar esse trabalho), isso significa que o jogo de ‘whack a mole’ do entrelaçamento provavelmente será reiniciado para zero na próxima versão.

Barato e Frágil

Não há nada na arquitetura de difusão em si que torne esses problemas inevitáveis; de fato, se houvesse alguma maneira de aplicar curadoria realmente eficaz, triagem e anotação de alta qualidade a conjuntos de dados hiperscale com pontos de dados que contam em milhões, quase todos esses problemas provavelmente desapareceriam.

Contudo, esse nível de atenção ao detalhe seria semelhante ao Projeto Manhattan em termos de logística, escopo, recursos necessários e esforço de longo prazo. Em um clima onde uma nova arquitetura, ou mesmo uma nova versão de arquitetura, poderia desfazer a extensão desse esforço, não há vontade atual de fazer esse tipo de compromisso.

Consequentemente, na medida em que é concordante com a obtenção de modelos utilizáveis, as abordagens mais baratas permanecem preferidas. Um exemplo de ‘avareza’ é a ampliação de dados, que, quando aplicada liberalmente e a conjuntos de dados de videoclipes do tipo errado, pode ter resultados hilários:

Porque a ampliação de dados frequentemente reverte a direção dos vídeos de origem no conjunto de dados, o modelo de IA pode ocasionalmente aprender alguns ‘movimentos impossíveis’. – Fonte

No entanto, no agregado, rochas rolando colina acima e pessoas quebrando o personagem ao ativar o ‘modo influenciador’ tendem a ser considerados como danos colaterais em sistemas gerativos que, apesar de tais falhas persistentes e calcanhares de Aquiles, podem ser coagidos a produzir resultados impressionantes e manchetes suficientemente impressionadas.

Soluções de Caldeira

No período atual, centenas de domínios de vídeo gerativos, quase todos os quais de alguma forma violam a nova leva de leis e reações contra GenAI, estão desfrutando de seu tempo na panela antes que a aplicação da lei, listas de bloqueio ou outras formas de desplatformização removam esses serviços comerciais.

Os sites maiores e mais conhecidos desse tipo tendem a aderir a alguma forma de autocensura (eventualmente) ou a responder à crítica mudando os tipos de conteúdo que suas plataformas facilitam para os usuários.

Porém, atrás desses grandes nomes, há centenas de outras operações de curta duração, constantemente atendendo à demanda por novos (e frequentemente mais extremos) tipos de conteúdo.

Esse tipo de provisionamento de baixo esforço impede o custo extremamente alto e o esforço de treinar modelos de base a partir do zero. Muito frequentemente, até mesmo o ajuste fino, que custa significativamente menos, é precludido.

Portanto, esses sites oferecem ‘modelos’, que se comportam 100% identicamente na prática a LoRAs personalizados, que têm sido usados por entusiastas de IA por mais de quatro anos agora, para treinar qualquer identidade, estilo, objeto e (no caso de LoRAs de vídeo) movimento ou ação em um LoRA adjunto dedicado.

Com o LoRA interposto entre o usuário e o modelo de base, os resultados obtidos serão muito específicos do que o LoRA foi treinado, e, geralmente, o desempenho mais amplo do modelo é prejudicado pela influência de flexão de peso do LoRA, que reproduzirá seu próprio assunto muito bem, mas também o interporá em qualquer solicitação, seja qual for (se os sites de GenAI de curta duração permitissem esse nível de controle – eles não; eles apenas oferecem um [AÇÃO DE SUA ESCOLHA] modelo e interpretam sua entrada de texto/imagens/vídeos da maneira mais provável de resultar em uma aplicação bem-sucedida do modelo).

Para razões óbvias, não posso incorporar amostras de sites na web neste artigo; mas a literatura de pesquisa recentemente ofereceu alguns exemplos análogos. Aqui, por exemplo, o projeto EffectMaker mostra o princípio em ação, onde um efeito específico é aplicado a uma imagem fornecida pelo usuário:

Clique para reproduzir. No EffectMaker, efeitos específicos refinados podem ser aplicados a entrada personalizada. Fonte 

Até mesmo nessas circunstâncias altamente curadas e direcionadas, os usuários frequentemente reclamam que várias tentativas que consomem tokens precisam ser feitas para obter um bom resultado, e não devemos talvez atribuir à avareza do provedor ou práticas agressivas o que é mais provavelmente a falha de estruturas GenAI ‘hit-and-miss’ DiT congênitas.

O público em geral, pode-se argumentar, obtém sua impressão das capacidades de GenAI a partir de exemplos escolhidos a dedo que não são representativos do que um usuário casual, iniciante, provavelmente obteria.  Se um usuário queima seis tentativas de um modelo (ou seja, um LoRA fornecido pelo site de IA), eles tenderão a publicar e elogiar o melhor deles, transmitindo a impressão de que se poderia obter tais resultados consultando o modelo de base – e transmitindo a impressão de que os modelos de base gerativos são muito mais desembaraçados do que realmente são.

Conclusão

A literatura continua a examinar o problema do entrelaçamento, que primeiro surgiu seriamente por volta de 2020, na colaboração Max Planck/Google Um Olhar Sóbrio para a Aprendizagem de Representações Desembaraçadas e sua Avaliação.

Além disso, vários sucessores de Desembaraçamento via Contraste (DisCo) surgem periodicamente, e a cena permanece animada com uma consciência do problema que muito excede a consciência pública do que a IA não pode fazer, nesse sentido.

Um estudo chinês de 2024 sugere que uma resolução para o entrelaçamento pode não ser necessária afinal, para resolver os problemas que ele traz. Historicamente, isso soa verdadeiro, desde que muitos problemas intransigentes em visão computacional foram superados não sendo resolvidos, mas sendo ultrapassados por meio de técnicas e abordagens completamente novas.

Até que um contendente discreto surja, parece que continuaremos a precisar aplicar soluções rápidas e curativos para as limitações e deficiências de GenAI, e tolerar a superestimação pública da flexibilidade e ductilidade dos modelos de base.

Publicado pela primeira vez na segunda-feira, 23 de março de 2026