Senza lingua! I ricercatori di IA affrontano l’assenza di un elemento anatomico nell’animazione facciale

Esclusi nel 2026: È quel periodo dell’anno in cui la qualità e il volume della ricerca aumentano e diminuiscono di pari passo con gli ultimi convegni di novembre e dicembre. Per superare queste carestie sporadiche, passiamo in rassegna alcuni degli studi più interessanti che nel 2026 sono arrivati quasi alla selezione, ma sono stati scartati a favore di altri lavori durante periodi di presentazione più competitivi.

Fino a poco tempo fa, chi si occupava di deepfake, a livello amatoriale o professionale, aveva questioni più urgenti da affrontare che stabilire se l’essere umano ricostruito avesse o meno una lingua. Dopotutto, la lingua è il tratto del volto più sfuggente: non si vede affatto in chi borbotta e compare solo occasionalmente nella maggior parte delle situazioni normali.

Di conseguenza, quando serve, nelle ricostruzioni IA la lingua semplicemente non c’è. In un contesto in cui la ricostruzione amatoriale basata sulla diffusione ha raggiunto un livello di realismo sorprendente e il nostro spirito critico nei confronti degli esseri umani generati dall’IA si fa sempre più acuto, forse è arrivato il momento di affrontare il problema.

Il problema della lingua

A luglio, una collaborazione accademica tra Australia e Cina ha presentato una procedura per affrontare l’assenza di simulazioni della lingua nei flussi di lavoro basati sull’IA. Intitolato TongueReenact, il framework proposto applica praticamente tutti i metodi disponibili nell’ambito dei deepfake, tra cui la rappresentazione tramite splat gaussiani, gli esseri umani parametrici, i campi di radianza neurale (NeRF) e la generazione video basata sulla diffusione (spiacenti, GAN, questa volta non siete stati selezionati).

In alto, la ripresa reale della persona che guida il movimento, le cui caratteristiche vengono trasferite alla ricostruzione di TongueReenact sottostante. Fonte

Sebbene il codice promesso dal progetto non sembri essere stato reso disponibile dopo la pubblicazione dello studio e non sia ancora stato pubblicato alcun video supplementare, si tratta comunque di un lavoro pionieristico: è il primo ad affrontare la lingua nelle ricostruzioni basate sull’IA al di fuori dell’ambito medico e a occuparsi della grave carenza di dati annotati, indispensabili per qualsiasi soluzione proposta.

I ricercatori hanno sfruttato in modo innovativo diversi framework e dati esistenti per creare un sistema di segmentazione della lingua basato su SegmentAnything e generare etichette provvisorie per i dati appena segmentati.

Lo studio afferma:

«[We] presentiamo il primo framework per trasferire le dinamiche della lingua tra identità diverse nel reenactment facciale. Partendo da un fotogramma sorgente e da un video guida, il nostro metodo trasferisce sull’identità sorgente sia i movimenti del volto sia l’articolazione della lingua.

«L’intuizione fondamentale alla base del nostro lavoro è che la sintesi della lingua non può essere trattata come un problema generico di riempimento delle parti mancanti. La lingua deve essere ancorata nello spazio alla geometria del volto sorgente, che a sua volta cambia a ogni fotogramma del video guida.»

Il sistema inizia trasferendo i movimenti del volto della persona che guida il movimento sul volto sorgente, utilizzando la rappresentazione tramite splat gaussiani 3D e il modello facciale FLAME. Si ottiene così un volto animato con posa ed espressione corrette, ma ancora privo della lingua.

Il flusso di lavoro di TongueReenact. In alto: le immagini della lingua vengono individuate e segmentate, poi perfezionate manualmente per addestrare un modello di rilevamento. In basso: i movimenti del volto vengono trasferiti da un video guida a un volto sorgente, quindi un modello di diffusione genera la lingua mancante nella posizione corretta.

Viene poi utilizzato un modello Stable Diffusion per generare la lingua mancante, guidato dal suo aspetto nel video guida e dalla geometria del volto ricostruito.

Riguardo alla necessità di colmare questa lacuna nella ricostruzione facciale, gli autori osservano*:

«Durante espressioni come una risata, il disgusto o la sorpresa, [the tongue] può occupare completamente la parte visibile della bocca. Eppure, quasi tutti i sistemi esistenti di reenactment e avatar modellano l’interno della bocca come un vuoto privo di texture oppure lo lasciano del tutto privo di vincoli.

«Questa omissione non è casuale: la lingua è una struttura unica nel suo genere, completamente nascosta a riposo, esposta a tratti durante il parlato e improvvisamente protagonista nelle espressioni estreme. Per questo è fondamentalmente incompatibile con la modellazione parametrica statica applicata al resto del volto.

«Affrontare questa sfida trascurata è la motivazione centrale del nostro lavoro.»

Nei test, il nuovo metodo ha superato nettamente cinque sistemi concorrenti di animazione facciale, ottenendo un vantaggio in termini di accuratezza superiore al 100% rispetto al rivale più vicino nelle misurazioni chiave del posizionamento e delle dimensioni della lingua. Va tuttavia riconosciuto che è difficile ideare test di questo tipo quando si esplora un territorio nuovo e i framework precedenti affrontano la nuova sfida solo in minima parte, o per nulla.

Esaminiamo più da vicino il nuovo approccio.

Metodo

Per sviluppare un sistema in grado di identificare le lingue in normali riprese del volto, è stato utilizzato il dataset NERSemble, composto da registrazioni multi-view di teste umane, insieme a fotogrammi generati sinteticamente dal dataset VFHQ, che include oltre 16.000 video facciali di alta qualità:

Premi per riprodurre Un esempio curiosamente «linguale» di ricostruzione di un campo di radianza dal sito del progetto Nersemble. Qui, tuttavia, la lingua è trattata come una geometria generica e non appartiene a un dominio specifico. Fonte 

Per individuare la bocca in ciascuna immagine è stato utilizzato il modello di analisi del volto MaskGAN; in seguito, il rilevatore medico TongueSAM è servito a identificare la probabile area della lingua, che è stata poi elaborata da SegmentAnything per generare un contorno iniziale (ossia un’etichetta pseudo) della lingua visibile.

Esempi dal dataset TongueSAM, destinato all’uso medico a fini analitici anziché alla valutazione delle espressioni facciali. Fonte

Le maschere risultanti sono state suddivise in tre gruppi, in base alla porzione di lingua visibile. Gli esempi errati sono stati scartati, mentre le maschere promettenti sono state corrette manualmente per distinguere la lingua dalle labbra, dai denti e dagli altri tessuti circostanti della bocca. Queste annotazioni perfezionate sono state utilizzate per addestrare la rete di segmentazione delle immagini BiSeNet.

Il modello è stato quindi applicato ad altri soggetti NERSemble e a fotogrammi sintetici VFHQ; le sue previsioni sono state verificate e corrette da operatori umani prima di proseguire l’addestramento. Il processo è stato ripetuto finché le prestazioni su soggetti mai visti in precedenza non si sono stabilizzate:

Pipeline per elaborare i dati esistenti e convertirli in dati del «dominio della lingua».

Per sintetizzare la lingua, la regione orale individuata da BiSeNet è stata leggermente ampliata prima di essere passata al modello di diffusione, così da lasciare alla lingua generata spazio per estendersi oltre la segmentazione iniziale man mano che la bocca cambiava forma.

La generazione è stata eseguita nello spazio latente di Stable Diffusion Image Variations, con indicazioni distinte ricavate dalla geometria facciale ricostruita e dalla lingua visibile nel fotogramma di riferimento; è stata rigenerata soltanto la regione individuata della bocca e della lingua.

La pipeline generativa. Il riferimento a DINO V2 nel quadrante in alto a sinistra illustra l’uso di GAGAvatar (vedi sotto), che combina le caratteristiche di aspetto di DINO V2 con FLAME.

Dati e test

BiSeNet è stato addestrato su due classi di output ricavate dalle fasi di elaborazione dei dati descritte in precedenza: sfondo e lingua. L’addestramento è stato eseguito per 50.000 iterazioni, con un tasso di apprendimento di 10^-3, usando immagini da 512x512px con dimensione del batch pari a 4, su una singola GPU NVIDIA A40 con 48GB di VRAM. I dati di addestramento erano costituiti dai fotogrammi NERSemble e VFHQ menzionati in precedenza.

Per la fase di rianimazione è stato utilizzato il backbone Gaussian Splatting preaddestrato GAGAvatar. È stato impiegato anche il checkpoint Stable Diffusion Image Variations, con l’encoder VAE e quello CLIP congelati. Gli encoder di guida e la UNET di denoising sono stati quindi addestrati sui dati NERSemble per 85.000 iterazioni, con dimensione del batch pari a 8 e input da 512×512. In fase di inferenza sono stati utilizzati 20 passaggi DDIM (per molti modelli di diffusione attuali si tratta di un numero elevato, pensato per privilegiare il dettaglio, con alcuni inevitabili compromessi).

I framework per avatar concorrenti sottoposti a test erano GPAvatar, l’acclamato LivePortrait, X-NeMo e X-Portrait. Ciascuno è stato valutato su 9.000 coppie di immagini di riferimento e guida VFHQ con identità diverse.

Le metriche utilizzate erano la Similarità percettiva appresa tra patch di immagini (LPIPS); la presenza della lingua (la proporzione di fotogrammi in cui viene rilevata una lingua); la IoU della lingua (la sovrapposizione tra le regioni della lingua generata e di quella nel fotogramma di riferimento); e la similarità dell’area della lingua (quanto le dimensioni della lingua generata corrispondono a quelle della lingua nel fotogramma di riferimento).

Risultati dei test che confrontano TongueReenact con cinque framework concorrenti per il reenactment facciale. TongueReenact ottiene il risultato migliore in tutte e quattro le metriche specifiche per la lingua; le frecce indicano se sono preferibili punteggi più alti o più bassi.

A proposito del confronto iniziale, gli autori affermano:

«Il nostro metodo ottiene le prestazioni migliori in tutte e quattro le metriche di trasferimento della lingua, con un IoU della lingua pari a 0.3582 e una similarità dell’area della lingua pari a 0.4338, più del doppio rispetto al concorrente più vicino, confermando un trasferimento delle dinamiche della lingua sostanzialmente più accurato.»

«Il valore di 0.7891 per la presenza della lingua dimostra inoltre che il nostro metodo sintetizza in modo affidabile l’articolazione visibile della lingua, mentre i metodi esistenti spesso non la producono affatto.»

Alcuni esempi scelti tra gli estesi risultati qualitativi presentati nell’articolo originale. Qui vediamo un confronto tra il nuovo approccio e i cinque metodi concorrenti precedenti, nessuno dei quali è in grado di generare lingue. Per altri esempi e una risoluzione superiore, si rimanda all’articolo originale.

Sebbene, per via dell’attuale mancanza di materiale video supplementare, non possiamo valutarlo direttamente, gli autori hanno testato il sistema anche per verificarne la coerenza temporale usando T-LPIPS:

Risultati dei test sulla coerenza temporale.

Gli autori commentano:

«Il nostro modello completo riduce notevolmente il tremolio del flusso (0.218543 contro 0.622901) e l’ampiezza del flusso (0.513165 contro 1.254073), confermando che la riduzione del rumore ancorata alla geometria produce movimenti della lingua fluidi e stabili.»

«Il valore più basso di T-LPIPS conferma inoltre che la sintesi della lingua non compromette la coerenza temporale.»

Conclusione

L’effetto della valle perturbante viene gradualmente superato da alcuni dei più recenti modelli video basati sulla diffusione. Tuttavia, sta iniziando a manifestarsi una nuova barriera psicologica: le persone tendono a reagire negativamente ai contenuti generati dall’IA per ragioni diverse dalla qualità di ciò che stanno guardando.

Questo rischia di complicare la valutazione qualitativa, anche se, a mio avviso, metriche basate su test «alla cieca» (in cui l’utente vuole penalizzare i risultati dell’IA, ma teme di penalizzare quelli reali) potrebbero contribuire a sviluppare una sorta di scala «ombra» per il realismo dell’IA.

Pertanto, benché esistano importanti filoni di ricerca sulla riproduzione tramite IA di tratti secondari dell’identità, come i capelli, la simulazione delle emozioni, lo sguardo e ora i movimenti della lingua, per il momento potrebbero essere questioni irrilevanti.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta mercoledì 11 novembre 2026