Odczytywanie z ruchów ust z wykorzystaniem visem i uczenia maszynowego

Nowe badania przeprowadzone przez Szkołę Inżynierii Komputerowej w Teheranie oferują ulepszony podejście do wyzwania tworzenia systemów uczenia maszynowego zdolnych do odczytywania ruchów ust.

Artykuł artykuł, zatytułowany Odczytywanie z ruchów ust przy użyciu dekodowania visem, donosi, że nowy system osiąga 4% poprawę wskaźnika błędu słowa w porównaniu z najlepszymi wcześniejszymi modelami. System ten rozwiązuje ogólny brak przydatnych danych szkoleniowych w tym sektorze, mapując visemy na treść tekstową pochodzącą z sześciu milionów próbek w zestawie OpenSubtitles.

Visema to równoważnik wizualny fonemu, efektywnie mapowanie audio>obraz, które może stanowić “cechę” w modelu uczenia maszynowego.

Visemy w działaniu. Źródło: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

Badacze rozpoczęli od ustalenia najniższego wskaźnika błędu na dostępnych zestawach danych, a następnie opracowali sekwencje visem przy użyciu ustanowionych procedur mapowania. Stopniowo, proces ten rozwija wizualny leksykon słów – choć konieczne jest określenie prawdopodobieństwa dokładności dla różnych słów, które dzielą visemę (takich jak “serce” i “sztuka”).

Visemy wyodrębnione z tekstu. Źródło: https://arxiv.org/pdf/2104.04784.pdf

Gdzie dwa identyczne słowa dają ten sam visem, wybiera się najczęściej występujące słowo.

Model opiera się na tradycyjnym uczeniu sekwencji przez dodanie podprocesu, w którym visemy są przewidywane z tekstu i modelowane w dedykowanej pipeline:

Powyżej, tradycyjne metody sekwencji w modelu znakowym; poniżej, dodanie modelowania visem w modelu badawczym z Teheranu. Źródło: https://arxiv.org/pdf/2104.04784.pdf

Model został zastosowany bez kontekstu wizualnego wobec zestawu danych LRS3-TED, opublikowanego przez Uniwersytet w Oksfordzie w 2018 roku, z najgorszym wskaźnikiem błędu słowa (WER) na poziomie 24,29%.

Badania w Teheranie obejmują również wykorzystanie konwertera grafem-fonem.

W teście przeciwko badaniom z 2017 roku Odczytywanie zdań z ruchów ust w dzikiej przyrodzie (patrz poniżej), metoda Video-To-Viseme osiągnęła wskaźnik błędu słowa na poziomie 62,3%, w porównaniu z 69,5% dla metody z Oksfordu.

Badacze stwierdzają, że użycie większej ilości informacji tekstowych, w połączeniu z konwerterem grafem-fonem i mapowaniem visem, obiecuje poprawę stanu sztuki w systemach automatycznego odczytywania z ruchów ust, przyznając, że metody te mogą dać jeszcze lepsze wyniki, gdy zostaną zintegrowane z bardziej zaawansowanymi ramami.

Badania nad odczytywaniem z ruchów ust maszynami były aktywnym i ciągłym obszarem badań nad widzeniem komputerowym i NLP przez ostatnie dwie dekady. Wśród wielu innych przykładów i projektów, w 2006 roku zastosowanie oprogramowania do automatycznego odczytywania z ruchów ust przyciągnęło uwagę mediów, gdy zostało użyte do interpretacji tego, co Adolf Hitler mówił w niektórych słynnych filmach niemych nakręconych w jego bawarskiej rezydencji, chociaż aplikacja zdaje się zniknąć w zapomnieniu (dwanaście lat później, sir Peter Jackson posłużył się ludzkimi czytelnikami ust, aby przywrócić rozmowy z filmów z I wojny światowej w projekcie They Shall Not Grow Old).

W 2017 roku Odczytywanie zdań z ruchów ust w dzikiej przyrodzie, współpraca między Uniwersytetem w Oksfordzie a wydziałem badań AI Google, wyprodukowała system odczytywania z ruchów ust, który mógł poprawnie wnioskować 48% mowy w filmie bez dźwięku, gdzie czytelnik ust mógł osiągnąć tylko 12,4% dokładności z tego samego materiału. Model został przeszkolony na tysiącach godzin filmów BBC.

Praca ta była kontynuacją oddzielnego projektu Oksford-Google z poprzedniego roku, zatytułowanego LipNet, architekturę sieci neuronowej, która mapowała sekwencje wideo o zmiennej długości na sekwencje tekstowe przy użyciu bramkowanej sieci rekurencyjnej (GRN), co dodaje funkcjonalność do podstawowej architektury sieci neuronowej (RNN). Model osiągnął 4,1-krotną poprawę wyników w porównaniu z czytelnikami ust.

Poza problemem uzyskania dokładnego transkryptu w czasie rzeczywistym, wyzwanie interpretacji mowy z filmu pogłębia się, gdy usuwa się kontekst, taki jak dźwięk, “z przodu” nagrania, które jest dobrze oświetlone, i język/kulturę, w którym fonemy/visemy są względnie odrębne.

Chociaż nie ma obecnie empirycznego zrozumienia, które języki są najtrudniejsze do odczytania z ruchów ust w całkowitej absencji dźwięku, język japoński jest głównym kandydatem. Różne sposoby, w jakie rodzimi Japończycy (a także niektórzy inni mieszkańcy Azji Wschodniej i Zachodniej) wykorzystują wyrażenia twarzy wobec treści swojej mowy, już teraz sprawiają, że są większym wyzwaniem dla systemów rozpoznawania emocji.

Jednakże warto zauważyć, że wiele literatury naukowej na ten temat jest ogólnie ostrożne, nie tylko dlatego, że nawet dobrze zamierzone obiektywne badania w tej sferze ryzykują przekroczenie granicy rasowego profilowania i utrwalenia istniejących stereotypów.

Języki z wysokim udziałem elementów gutturalnych, takich jak czeczeński i holenderski, są szczególnie problematyczne dla automatycznych technik ekstrakcji mowy, podczas gdy kultury, w których mówca może wyrażać emocje lub pokorę, odwracając się (znowu, ogólnie w kulturach azjatyckich), dodają inną wymiarem, w którym badacze odczytywania z ruchów ust muszą opracować dodatkowe metody “wypełniania” z innych kontekstowych wskazówek.