Lip-lezen met Visemen en Machine Learning

Nieuw onderzoek van de School of Computer Engineering in Teheran biedt een verbeterde aanpak voor de uitdaging om machine learning-systemen te creëren die lippen kunnen lezen.

Het artikel, getiteld Lip Reading Using Viseme Decoding, meldt dat het nieuwe systeem een verbetering van 4% in woordfoutpercentage bereikt ten opzichte van de beste eerdere modellen. Het systeem lost het algemene gebrek aan bruikbare trainingsgegevens in deze sector op door visemen te koppelen aan tekstinhoud afgeleid van de zes miljoen voorbeelden in de OpenSubtitles-dataset van vertaalde filmtitels.

Een visum is het visuele equivalent van een foneem, effectief een audio>afbeelding kaart die een ‘kenmerk’ in een machine learning-model kan vormen.

Visemen in actie. Bron: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

De onderzoekers begonnen met het vaststellen van de laagste foutpercentage op beschikbare datasets en ontwikkelden visumsequenties vanuit gevestigde kaartprocedures. Gaandeweg ontwikkelt dit proces een visueel lexicon van woorden – hoewel het nodig is om waarschijnlijkheden van nauwkeurigheid voor verschillende woorden die een visum delen (zoals ‘hart’ en ‘kunst’) te definiëren.

Visemen uit tekst. Bron: https://arxiv.org/pdf/2104.04784.pdf

Wanneer twee identieke woorden hetzelfde visum opleveren, wordt het meest voorkomende woord geselecteerd.

Het model bouwt voort op traditionele sequentie-naar-sequentie leren door een sub-verwerkingstage toe te voegen waarin visumen uit tekst worden voorspeld en gemodelleerd in een speciale pijplijn:

Boven, traditionele sequentie-naar-sequentie methoden in een karaktermodel; onder, de toevoeging van visumkaraktermodellering in het Teheran-onderzoeksmodel. Bron: https://arxiv.org/pdf/2104.04784.pdf

Het model werd toegepast zonder visuele context tegen de LRS3-TED-dataset, uitgegeven door de Universiteit van Oxford in 2018, met de slechtste woordfoutpercentage (WER) van 24,29%.

Het Teheran-onderzoek omvat ook het gebruik van een grafeme-naar-foneem converter.

In een test tegen het Oxford-onderzoek van 2017 Lip Reading Sentences In The Wild (zie hieronder), bereikte de Video-To-Viseme-methode een woordfoutpercentage van 62,3%, vergeleken met 69,5% voor de Oxford-methode.

De onderzoekers concluderen dat het gebruik van een grotere hoeveelheid tekstgegevens, in combinatie met grafeme-naar-foneem en visumkaart, verbeteringen belooft ten opzichte van de huidige stand van zaken in geautomatiseerde lip-leessystemen, terwijl zij erkennen dat de gebruikte methoden mogelijk nog betere resultaten opleveren wanneer zij worden geïntegreerd in meer geavanceerde huidige kaders.

Machine-gestuurd lip-lezen is een actief en voortdurend onderzoeksgebied in computerzicht en NLP-onderzoek in de afgelopen twee decennia. Onder veel andere voorbeelden en projecten werd in 2006 het gebruik van geautomatiseerde lip-leessoftware in het nieuws gebracht toen het werd gebruikt om te interpreteren wat Adolf Hitler zei in enkele van de beroemde stomme films die op zijn Beierse retreat werden genomen, hoewel de toepassing sindsdien lijkt te zijn verdwenen (twaalf jaar later gebruikte Sir Peter Jackson menselijke lip-lezers om de conversaties van WW1-beelden te herstellen in het restauratieproject They Shall Not Grow Old).

In 2017 produceerde Lip Reading Sentences in The Wild, een samenwerking tussen de Universiteit van Oxford en Google’s AI-onderzoeksafdeling, een lip-lees AI die in staat was om 48% van de spraak in video’s zonder geluid correct af te leiden, waar een menselijke lip-lezer slechts 12,4% nauwkeurigheid kon bereiken van hetzelfde materiaal. Het model werd getraind op duizenden uren aan BBC-TV-beelden.

Dit onderzoek volgde op een afzonderlijk Oxford/Google-initiatief van het voorgaande jaar, getiteld LipNet, een neurale netwerkarchitectuur die videosequenties van variabele lengte koppelde aan tekstsequentie met behulp van een Gated Recurrent Network (GRN), die functionaliteit toevoegt aan de basisarchitectuur van een Recurrent Neural Network (RNN). Het model bereikte een 4,1 keer betere prestatie dan menselijke lip-lezers.

Naast het probleem van het verkrijgen van een nauwkeurige transcriptie in real-time, wordt de uitdaging van het interpreteren van spraak uit video’s dieper naarmate u meer context verwijdert, zoals audio, ‘face-on’ beelden die goed verlicht zijn, en een taal/cultuur waar de foneemen/visemen relatief distinct zijn.

Hoewel er momenteel geen empirische kennis is over welke talen het moeilijkst zijn om lip-lezen in de volledige afwezigheid van audio, is Japans een prime kandidaat. De verschillende manieren waarop Japanse inheemsen (evenals sommige andere West- en Oost-Aziatische inheemsen) gezichtsuitdrukkingen gebruiken tegen de inhoud van hun spraak, maken hen al een grotere uitdaging voor sentimentanalyse-systemen.

Er moet echter worden opgemerkt dat veel van de wetenschappelijke literatuur over dit onderwerp over het algemeen omzichtig is, niet in de laatste plaats omdat zelfs goedbedoelde objectieve onderzoeken in deze sfeer het risico lopen om over te gaan in raciale profilering en het verspreiden van bestaande stereotypen.

Talen met een hoog percentage gutturalen, zoals Tsjetsjeens en Nederlands, zijn bijzonder problematisch voor geautomatiseerde spraakextractietechnieken, terwijl culturen waar de spreker emotie of deferentie kan uitdrukken door weg te kijken (opnieuw over het algemeen in Aziatische culturen) een andere dimensie toevoegen waar AI-lip-leesonderzoekers additionele methoden moeten ontwikkelen om ‘in te vullen’ vanuit andere contextuele aanwijzingen.