Läppavläsning med visemer och maskinlärande

Ny forskning från Skolan för datorteknik vid Teherans universitet erbjuder en förbättrad metod för att skapa maskinlärandesystem som kan läsa läppar.

Den artikeln, med titeln Läppavläsning med visemavkodning, rapporterar att det nya systemet uppnår en 4-procentig förbättring av ordfelrate jämfört med de bästa tidigare modellerna. Systemet hanterar den allmänna bristen på användbar träningsdata inom detta område genom att mappa visemer till textinnehåll som hämtats från de sex miljoner exemplen i OpenSubtitles-databasen med översatta filmrubriker.

En visem är den visuella motsvarigheten till en fonem, effektivt en ljud-bild-mappning som kan utgöra en “funktion” i en maskinlärandemodell.

Visemer i aktion. Källa: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

Forskarna började med att etablera den lägsta felraten på tillgängliga dataset och utveckla visemsekvenser från etablerade mappningsförfaranden. Gradvis utvecklar detta förfarande en visuell lexikon av ord – även om det är nödvändigt att definiera sannolikheter för olika ord som delar en visem (såsom “hjärta” och “konst”).

Visemer extraherade från text. Källa: https://arxiv.org/pdf/2104.04784.pdf

Där två identiska ord resulterar i samma visem, väljs det vanligast förekommande ordet.

Modellen bygger på traditionell sekvens-till-sekvens-lärande genom att lägga till en underbearbetningssteg där visemer förutsägs från text och modelleras i en dedikerad pipeline:

Ovan, traditionella sekvens-till-sekvens-metoder i en teckenmodell; nedan, tillägget av visemteckenmodellering i Teherans forskningsmodell. Källa: https://arxiv.org/pdf/2104.04784.pdf

Modellen tillämpades utan visuell kontext mot LRS3-TED-databasen, släppt från Oxford University 2018, med den sämsta ordfelraten (WER) som uppnåddes en respektabel 24,29%.

Teherans forskning inkorporerar också användningen av en grafem-till-fonem-omvandlare.

I en test mot 2017 års Oxford-forskning Läppavläsning av meningar i det vilda (se nedan), uppnådde Video-Till-Visem-metoden en ordfelrate på 62,3%, jämfört med 69,5% för Oxford-metoden.

Forskarna drar slutsatsen att användningen av en större mängd textinformation, i kombination med grafem-till-fonem och visem-mappning, lovar förbättringar jämfört med den nuvarande tillståndet i automatiserad läppavläsning, medan de erkänner att metoderna som används kan producera ännu bättre resultat när de inkorporeras i mer avancerade ramverk.

Maskinbaserad läppavläsning har varit ett aktivt och pågående område inom datorteknik och NLP-forskning under de senaste två decennierna. Bland många andra exempel och projekt, 2006 användes automatiserad läppavläsningsprogramvara för att tolka vad Adolf Hitler sa i några av de berömda stumfilmerna som togs på hans bayerska tillhåll, även om tillämpningen tycks ha försvunnit i glömska sedan (tolv år senare, Sir Peter Jackson använde mänskliga läppavläsare för att återställa samtal i första världskrigets film i restaureringsprojektet De skall inte bli äldre).

2017, Läppavläsning av meningar i det vilda, ett samarbete mellan Oxford University och Googles AI-forskningsavdelning producerade en läppavläsnings-AI som kunde korrekt tolka 48% av tal i video utan ljud, där en mänsklig läppavläsare endast kunde nå en 12,4% noggrannhet från samma material. Modellen tränades på tusentals timmar av BBC-TV-inspelningar.

Detta arbete följde på ett separat Oxford/Google-initiativ från föregående år, med titeln LipNet, en neural nätverksarkitektur som mappade videosekvenser av variabel längd till textsekvenser med hjälp av ett Gated Recurrent Network (GRN), som lägger till funktionalitet till den grundläggande arkitekturen för ett Recurrent Neural Network (RNN). Modellen uppnådde en 4,1-gånger förbättrad prestanda jämfört med mänskliga läppavläsare.

Förutom problemet med att erhålla en exakt transkription i realtid, fördjupas utmaningen med att tolka tal från video när man tar bort hjälpsamma sammanhang, såsom ljud, “ansikte-mot-ansikte”-inspelningar som är väl upplysta och ett språk/kultur där fonem/visemer är relativt distinkta.

Även om det för närvarande inte finns någon empirisk förståelse för vilka språk som är svårast att läppavläsa i frånvaro av ljud, är japanska ett främsta kandidat. De olika sätten som japanska infödingar (samt vissa andra väst- och östasiatiska infödingar) använder ansiktsuttryck mot talinnehållet gör dem redan till en större utmaning för sentimentanalys-system.

Det är dock värt att notera att mycket av den vetenskapliga litteraturen inom området är generellt försiktig, inte minst för att även välmenande objektiv forskning inom detta område riskerar att korsa över i rasprofilering och spridning av befintliga stereotyper.

Språk med en hög andel gutturala komponenter, såsom tjetjenska och holländska, är särskilt problematiska för automatiserad talutvinningsteknik, medan kulturer där talaren kan uttrycka känslor eller underkastelse genom att titta bort (igen, generellt i asiatiska kulturer) lägger till en annan dimension där AI-läppavläsningsforskare kommer att behöva utveckla ytterligare metoder för “in-fyllning” från andra kontextuella ledtrådar.