¡Sin lengua! Investigadores de IA abordan la ausencia de esta estructura anatómica en la animación facial

Lo que pasó desapercibido en 2026: Llega esa época del año en que la calidad y el volumen de la actividad investigadora suben y bajan al compás de las últimas conferencias de noviembre y diciembre. Para atravesar estas escaseces esporádicas, repasamos algunos de los artículos más interesantes que estuvieron a punto de ser seleccionados en 2026, pero quedaron fuera ante otros trabajos, en períodos de envío más competitivos.

Hasta hace poco, tanto los aficionados como los profesionales de los deepfakes tenían asuntos más apremiantes que resolver que determinar si el ser humano reconstruido parecía tener lengua. Al fin y al cabo, la lengua es el rasgo facial más impredecible: no se ve en absoluto en las personas que apenas articulan y solo aparece de forma intermitente en la mayoría de las situaciones habituales.

Por eso, cuando hace falta, no está ahí, al menos en las reconstrucciones de IA. En un contexto en el que la reconstrucción amateur basada en difusión ha alcanzado un realismo asombroso y nuestra capacidad crítica para evaluar a los humanos generados por IA es cada vez más exigente, quizá haya llegado el momento de abordar el problema.

Una solución para el problema de la lengua

En julio, una colaboración académica entre Australia y China propuso un flujo de trabajo para abordar la falta de simulación de la lengua en los procesos de trabajo de IA. El marco propuesto, titulado TongueReenact, recurre prácticamente a todos los métodos del arsenal de los deepfakes para resolver el problema, incluidos el splatting gaussiano, los humanos paramétricos, los campos de radiancia neuronal (NeRF) y la generación de video basada en difusión (lo sentimos, GANs, esta vez no entraron).

Arriba, la captura de la persona conductora (real), cuyas características se transfieren a la representación de TongueReenact que aparece debajo. Fuente

Aunque el código prometido por el proyecto no parece haberse publicado desde que se publicó el artículo, y todavía no se ha difundido ningún video complementario, se trata, no obstante, de un trabajo pionero: es el primero que aborda la lengua en la reconstrucción basada en IA fuera del ámbito médico y que aborda la grave falta de datos anotados, esenciales para cualquier solución propuesta.

Los investigadores aprovecharon de forma innovadora diversos marcos y conjuntos de datos existentes para crear un marco de segmentación de la lengua basado en SegmentAnything y generar etiquetas seudogeneradas para los datos recién segmentados.

El artículo afirma:

‘[We] presentamos el primer marco para transferir dinámicas de la lengua entre identidades en la recreación facial. A partir de un fotograma de origen y un video de referencia, nuestro método transfiere tanto los movimientos faciales como la articulación de la lengua a la identidad de origen.

‘La idea central de nuestro trabajo es que la síntesis de la lengua no puede tratarse como un problema genérico de relleno de imágenes. La lengua debe anclarse espacialmente a la geometría del rostro de origen, que cambia con cada fotograma de referencia.’

El sistema comienza por transferir los movimientos faciales de la persona conductora al rostro de origen mediante 3D Gaussian Splatting y el modelo facial FLAME. Así se obtiene un rostro animado con la pose y la expresión correctas, pero aún sin lengua.

Flujo de trabajo de TongueReenact. Arriba: se identifican y segmentan imágenes de lenguas, y luego se refinan manualmente para entrenar un modelo de detección. Abajo: los movimientos faciales se transfieren de un video de referencia a un rostro de origen; después, un modelo de difusión genera la lengua faltante en la posición adecuada.

A continuación, se utiliza un modelo Stable Diffusion para generar la lengua faltante, guiado por su aspecto en el video de referencia y por la geometría del rostro reconstruido.

Al explicar por qué es necesario abordar esta carencia en la reconstrucción facial, los autores señalan*:

‘Durante expresiones intensas como la risa, el asco o la sorpresa, [the tongue] puede ocupar por completo la región oral visible. Sin embargo, casi todos los sistemas existentes de recreación facial y avatares modelan el interior de la boca como un vacío sin textura o dejan que la dejen sin restricciones.

‘Este descuido no es casual: la lengua es una estructura singularmente transitoria, completamente oculta en reposo, expuesta de manera intermitente durante el habla y de pronto dominante en las expresiones extremas. Por ello, se resiste fundamentalmente al modelado paramétrico estático aplicado al resto del rostro.

‘Abordar este desafío pasado por alto es la motivación central de nuestro trabajo.’

En las pruebas, el nuevo método superó con creces a cinco sistemas de animación facial de la competencia y obtuvo una ventaja de precisión superior al 100 % sobre su rival más cercano en medidas clave de posicionamiento y tamaño de la lengua, aunque hay que reconocer que es difícil diseñar pruebas de este tipo cuando se está abriendo camino en un campo nuevo y los marcos de trabajo anteriores apenas abordan este nuevo desafío, o no lo hacen en absoluto.

Veamos más de cerca el nuevo enfoque.

Método

Para desarrollar un sistema capaz de identificar lenguas en grabaciones faciales convencionales, se utilizó el conjunto de datos NERSemble, compuesto por grabaciones de cabezas humanas desde múltiples ángulos, junto con fotogramas generados sintéticamente a partir del conjunto de datos VFHQ, que incluye más de 16 000 videos faciales de alta calidad:

Pulsa para reproducirUn ejemplo curiosamente «lingual» de reconstrucción de campos de radiancia del sitio del proyecto Nersemble. Sin embargo, aquí la lengua se trata como geometría genérica y no tiene un dominio propio.Fuente 

Se utilizó el modelo de análisis facial MaskGAN para localizar la boca en cada imagen. Después, se empleó el detector médico TongueSAM para identificar la zona probable de la lengua y se pasó el resultado a SegmentAnything, que generó un contorno inicial (es decir, una seud etiqueta) de la lengua visible.

Muestras del conjunto de datos TongueSAM, destinadas al uso médico analítico y no a la evaluación de expresiones faciales. Fuente

Las máscaras resultantes se dividieron en tres grupos según la cantidad de lengua visible. Se descartaron los ejemplos incorrectos y se corrigieron manualmente las máscaras prometedoras para distinguir la lengua de los labios, los dientes y otros tejidos circundantes de la boca. Estas anotaciones refinadas se utilizaron para entrenar la red de segmentación de imágenes BiSeNet.

A continuación, se aplicó el modelo a otros sujetos de NERSemble y a fotogramas sintéticos de VFHQ. Personas revisaron y corrigieron sus predicciones antes de continuar el entrenamiento; el proceso se repitió hasta que el rendimiento se estabilizó en sujetos que no se habían visto anteriormente:

Flujo de trabajo para procesar los datos existentes y convertirlos en datos del «dominio de la lengua».

Para sintetizar la lengua, la región bucal identificada por BiSeNet se amplió ligeramente antes de pasarla al modelo de difusión. Así, la lengua generada podía extenderse más allá de la segmentación inicial a medida que cambiaba la forma de la boca.

La generación se realizó en el espacio latente de Variaciones de imágenes de Stable Diffusion, con una guía independiente derivada de la geometría facial reconstruida y de la lengua visible en el fotograma de referencia; solo se regeneró la región identificada de la boca y la lengua.

El flujo de trabajo generativo. La referencia a DINO V2 en el cuadrante superior izquierdo representa el uso de GAGAvatar (véase más abajo), que combina características de apariencia de DINO V2 con FLAME.

Datos y pruebas

BiSeNet se entrenó con dos clases de salida derivadas de las etapas de procesamiento de datos mencionadas: fondo y lengua. El entrenamiento se llevó a cabo durante 50 000 iteraciones, con una tasa de aprendizaje de 10^-3, usando imágenes de 512×512 px con un tamaño de lote de 4, en una sola GPU NVIDIA A40 con 48 GB de VRAM. Los datos de entrenamiento consistieron en los fotogramas de NERSemble y VFHQ mencionados anteriormente.

Para la parte de recreación, se utilizó la arquitectura base de Gaussian Splatting preentrenada de GAGAvatar. También se utilizó el punto de control de Variaciones de imágenes de Stable Diffusion, con el codificador VAE y el codificador CLIP congelados. A continuación, se entrenaron los codificadores de guía y la UNET de eliminación de ruido con los datos de NERSemble durante 85 000 iteraciones, con un tamaño de lote de 8 y entradas de 512×512. Para la inferencia se utilizaron 20 pasos de DDIM (en muchos modelos de difusión actuales, esto se considera una cantidad elevada, pensada para favorecer el nivel de detalle, con ciertas compensaciones inevitables).

Los marcos de avatar de la competencia evaluados fueron GPAvatar, el aclamado LivePortrait, X-NeMo y X-Portrait. Cada uno se evaluó con 9 000 pares de origen y referencia de VFHQ que correspondían a identidades distintas.

Las métricas utilizadas fueron Similitud perceptual aprendida de parches de imagen (LPIPS); presencia de la lengua (la proporción de fotogramas en los que se detecta una lengua); IoU de la lengua (la superposición entre las regiones de la lengua generada y la de referencia); y similitud del área de la lengua (el grado de correspondencia entre el tamaño de la lengua generada y el de la lengua de referencia).

Resultados de las pruebas que comparan TongueReenact con cinco marcos rivales de recreación facial. TongueReenact obtiene el mejor resultado en las cuatro métricas específicas de la lengua; las flechas indican si se prefieren puntuaciones más altas o más bajas.

Sobre la comparación inicial, los autores afirman:

‘Nuestro método obtiene el mejor rendimiento en las cuatro métricas de transferencia de la lengua, con un IoU de la lengua de 0.3582 y una similitud del área de la lengua de 0.4338, más del doble que el competidor más cercano, lo que confirma una transferencia de la dinámica de la lengua mucho más precisa.

‘La presencia de la lengua, de 0.7891, demuestra además que nuestro método sintetiza de forma fiable la articulación visible de la lengua, que los métodos existentes a menudo no generan.’

Algunos aspectos destacados de los numerosos ejemplos cualitativos que se muestran en el artículo original. Aquí vemos comparaciones entre el nuevo enfoque y los cinco métodos anteriores, ninguno de los cuales está preparado para generar lenguas. Consulta el artículo original para ver más ejemplos y una mayor resolución.

Aunque no podemos evaluarlo por nuestra cuenta debido a la actual falta de material de video complementario, los autores también probaron la coherencia temporal del sistema mediante T-LPIPS:

Resultados de las pruebas de coherencia temporal.

Los autores comentan:

‘Nuestro modelo completo logra una fluctuación del flujo (0.218543 frente a 0.622901) y una magnitud del flujo (0.513165 frente a 1.254073) sustancialmente menores, lo que confirma que la eliminación de ruido anclada en la geometría produce un movimiento de la lengua suave y estable.

‘El menor valor de T-LPIPS confirma además que la síntesis de la lengua no compromete la coherencia temporal.’

Conclusión

El efecto del valle inquietante está desapareciendo gradualmente gracias a algunos de los modelos de video basados en difusión más recientes. Sin embargo, empieza a manifestarse una nueva barrera psicológica: las personas tienden a tener una opinión negativa del material generado por IA por motivos ajenos a la calidad de lo que están viendo.

Esto complicará la evaluación cualitativa, aunque supongo que las métricas basadas en pruebas «a ciegas» (en las que el usuario quiere rebajar la valoración de los resultados de la IA, pero teme rebajar la de los resultados reales) podrían contribuir a desarrollar una especie de escala «en la sombra» del realismo de la IA.

Por lo tanto, aunque existen líneas de investigación sólidas sobre la reproducción mediante IA de rasgos identitarios secundarios como el cabello, la simulación de emociones, la mirada y, ahora, el movimiento de la lengua, quizá por el momento sean cuestiones irrelevantes.

* Mi conversión de las citas insertadas por los autores en enlaces.

Publicado por primera vez el miércoles 11 de noviembre de 2026