Lettura labiale con visemi e apprendimento automatico

Una nuova ricerca della Scuola di Ingegneria Informatica di Teheran offre un approccio migliorato alla sfida di creare sistemi di apprendimento automatico in grado di leggere le labbra.

Il documento, intitolato Lettura labiale utilizzando la decodifica dei visemi, riporta che il nuovo sistema raggiunge un miglioramento del 4% nel tasso di errore delle parole rispetto ai migliori modelli precedenti. Il sistema affronta la generale carenza di dati di allenamento utili in questo settore mappando i visemi sul contenuto testuale derivato dai sei milioni di campioni nel dataset OpenSubtitles di titoli di film tradotti.

Un visema è l’equivalente visivo di un fonema, effettivamente una mappatura audio>immagine che può costituire una ‘funzionalità’ in un modello di apprendimento automatico.

Visemi in azione. Fonte: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

I ricercatori hanno iniziato stabilendo il tasso di errore più basso sui dataset disponibili e sviluppando sequenze di visemi da procedure di mappatura stabilite. Gradualmente, questo processo sviluppa un lessico visivo di parole – sebbene sia necessario definire le probabilità di accuratezza per diverse parole che condividono un visema (come ‘cuore’ e ‘arte’).

Visemi estratti dal testo. Fonte: https://arxiv.org/pdf/2104.04784.pdf

Quando due parole identiche producono lo stesso visema, viene selezionata la parola più frequentemente occorrente.

Il modello si basa sull’apprendimento sequenza-sequenza tradizionale aggiungendo una sottoprocedura in cui i visemi vengono previsti dal testo e modellati in un pipeline dedicato:

In alto, metodi sequenza-sequenza tradizionali in un modello carattere; in basso, l’aggiunta della modellazione dei caratteri visemi nel modello di ricerca di Teheran. Fonte: https://arxiv.org/pdf/2104.04784.pdf

Il modello è stato applicato senza contesto visivo contro il dataset LRS3-TED, rilasciato dall’Università di Oxford nel 2018, con il peggiore tasso di errore delle parole (WER) ottenuto del 24,29%.

La ricerca di Teheran incorpora anche l’uso di un convertitore grafema-fonema.

In un test contro la ricerca di Oxford del 2017 Lettura labiale di frasi nel mondo reale (vedi sotto), il metodo Video-To-Viseme ha raggiunto un tasso di errore delle parole del 62,3%, rispetto al 69,5% per il metodo di Oxford.

I ricercatori concludono che l’uso di una maggiore quantità di informazioni testuali, combinato con la mappatura dei grafemi-fonemi e dei visemi, promette miglioramenti rispetto allo stato dell’arte nei sistemi di lettura labiale automatizzati, mentre riconosce che i metodi utilizzati potrebbero produrre risultati ancora migliori quando incorporati in framework più sofisticati attuali.

La lettura labiale guidata dalla macchina è stata un’area di ricerca attiva e in corso di visione computerizzata e NLP negli ultimi due decenni. Tra molti altri esempi e progetti, nel 2006 l’uso di software di lettura labiale automatizzato ha catturato i titoli quando è stato utilizzato per interpretare cosa stava dicendo Adolf Hitler in alcuni dei famosi film muti girati nel suo ritiro bavarese, sebbene l’applicazione sembra essere scomparsa nell’oscurità da allora (dodici anni dopo, Sir Peter Jackson si è rivolto a lettori labiali umani per ripristinare le conversazioni di footage di prima guerra mondiale nel progetto di restauro They Shall Not Grow Old).

Nel 2017, Lettura labiale di frasi nel mondo reale, una collaborazione tra l’Università di Oxford e la divisione di ricerca AI di Google, ha prodotto un software di lettura labiale in grado di inferire correttamente il 48% del discorso in video senza suono, dove un lettore labiale umano poteva raggiungere solo una precisione del 12,4% dallo stesso materiale. Il modello è stato addestrato su migliaia di ore di footage TV della BBC.

Questo lavoro è seguito a una iniziativa separata di Oxford/Google dell’anno precedente, intitolata LipNet, un’architettura di rete neurale che ha mappato sequenze video di lunghezza variabile su sequenze testuali utilizzando una rete neurale ricorrente (RNN), che aggiunge funzionalità alla base dell’architettura di una rete neurale ricorrente (GRN). Il modello ha raggiunto una prestazione migliorata di 4,1 volte rispetto ai lettori labiali umani.

Oltre al problema di estrarre una trascrizione accurata in tempo reale, la sfida di interpretare il discorso da video si approfondisce quando si rimuove il contesto utile, come l’audio, le riprese ‘frontali’ ben illuminate e una lingua/cultura in cui i fonemi/visemi sono relativamente distinti.

Sebbene attualmente non ci sia una comprensione empirica di quali lingue siano le più difficili da leggere le labbra in assenza completa di audio, il giapponese è un principale concorrente. I modi diversi in cui i nativi giapponesi (nonché certi altri nativi asiatici occidentali e orientali) utilizzano le espressioni facciali contro il contenuto del loro discorso li rendono già una maggiore sfida per i sistemi di analisi dei sentimenti.

Tuttavia, è importante notare che gran parte della letteratura scientifica sull’argomento è generalmente circospetta, non ultimo perché anche la ricerca obiettiva ben intenzionata in questa sfera rischia di oltrepassare la profilazione razziale e la promozione di stereotipi esistenti.

Le lingue con una alta proporzione di componenti gutturali, come il cecheno e il olandese, sono particolarmente problematiche per le tecniche di estrazione del discorso automatizzate, mentre le culture in cui il parlante può esprimere emozione o deferenza guardando altrove (ancora una volta, generalmente nelle culture asiatiche) aggiungono un’altra dimensione in cui i ricercatori di lettura labiale AI dovranno sviluppare metodi aggiuntivi di ‘inserimento’ da altri indizi contestuali.