Čtení rtů s visemy a strojovým učením

Nový výzkum ze Školy počítačového inženýrství v Teheránu nabízí vylepšený přístup k výzvám vytváření systémů strojového učení schopných číst rty.

Článek článku, nazvaný Čtení rtů pomocí dekódování visem, uvádí, že nový systém dosáhl 4% zlepšení chybovosti slov ve srovnání s nejlepšími předchozími modely. Systém řeší obecný nedostatek užitečných trénovacích dat v tomto sektoru mapováním visem na textový obsah odvozený ze šesti milionů vzorků v datové sadě OpenSubtitles přeložených názvů filmů.

Visema je vizuální ekvivalent fonému, efektivní audio-obrázek mapování, které může tvořit “funkci” ve strojovém učení.

Visemy v akci. Zdroj: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

Vědci začali tím, že stanovili nejnižší chybovost na dostupných datech a vyvinuli sekvence visem z etablovaných mapovacích postupů. Postupně se tato metoda vyvíjí do vizuálního lexikonu slov – i když je nutné definovat pravděpodobnosti přesnosti pro různé slova, která sdílejí visemu (jako “srdce” a “umění”).

Visemy extrahované z textu. Zdroj: https://arxiv.org/pdf/2104.04784.pdf

Když dvě identická slova vedou k stejné visemě, je vybráno nejčastěji se vyskytující slovo.

Model staví na tradičním sekvenciální učení přidáním podprocesního stádia, ve kterém se visemy předpovídají z textu a modelují v dedikovaném potrubí:

Nahoře, tradiční sekvenciální metody v charakterovém modelu; dole, přidání modelování visem v teheránském výzkumném modelu. Zdroj: https://arxiv.org/pdf/2104.04784.pdf

Model byl aplikován bez vizuálního kontextu proti LRS3-TED datasetu, vydanému z Oxfordské univerzity v roce 2018, s nejhorší chybovostí slov (WER) získanou respektovanou 24,29%.

Teheránský výzkum také zahrnuje použití grafémového konvertoru na foném.

Při testu proti oxfordskému výzkumu Čtení vět v divočině (viz níže) metoda Video-To-Viseme dosáhla chybovosti slov 62,3%, ve srovnání s 69,5% pro oxfordskou metodu.

Vědci uzavírají, že použití vyššího objemu textové informace, kombinované s grafémovým konvertorem na foném a mapováním visem, slibuje zlepšení nad současným stavem automatizovaných systémů čtení rtů, zatímco uznávají, že metody použité mohou produkovat ještě lepší výsledky, když jsou začleněny do sofistikovanějších současných rámců.

Strojově řízené čtení rtů bylo aktivní a probíhající oblastí počítačového vidění a výzkumu NLP v posledních dvou desetiletích. Mezi mnoha dalšími příklady a projekty, v roce 2006 použití automatizovaného softwaru pro čtení rtů získalo titulky, když bylo použito k interpretaci toho, co Adolf Hitler říkal v některých slavných němých filmech pořízených v jeho bavorském útočišti, ačkoli aplikace zdá se, že zmizela do zapomnění (dvanáct let později, Sir Peter Jackson se uchýlil k lidským čtenářům rtů, aby obnovil konverzace ve filmovém projektu z první světové války Oni nebudou stárnout).

V roce 2017, Čtení vět v divočině, spolupráce mezi Oxfordskou univerzitou a výzkumnou divizí Google, vyprodukovala čtenářský AI schopný správně odhadnout 48% řeči ve videu bez zvuku, zatímco lidský čtenář rtů mohl dosáhnout pouze 12,4% přesnosti z stejného materiálu. Model byl trénován na tisících hodinách BBC TV záběrů.

Tato práce navázala na samostatnou oxfordsko-googlovskou iniciativu z předchozího roku, nazvanou LipNet, neuronová síťová architektura, která mapovala video sekvence proměnné délky na textové sekvence pomocí Gated Recurrent Network (GRN), která přidává funkčnost k základní architektuře Recurrent Neural Network (RNN). Model dosáhl 4,1krát lepšího výkonu než lidský čtenář rtů.

Kromě problému získání přesného přepisu v reálném čase se výzva interpretace řeči z videa prohlubuje, když odstraníte užitečný kontext, jako je audio, “čelní” záběry, které jsou dobře osvětlené, a jazyk/kultura, kde fonémy/visemy jsou relativně odlišné.

Although není současné empirické pochopení, které jazyky jsou nejobtížnější pro čtení rtů v úplné absenci audio, japonština je hlavním kandidátem. Různé způsoby, kterými japonští rodilí (stejně jako určití další západoasiatští a východoasiatští rodilí) využívají mimiku proti obsahu své řeči, již činí větší výzvou pro systémy sentimentální analýzy.

Japonština je zvláště obtížná pro automatizované techniky extrakce řeči, zatímco kultury, ve kterých mluvčí může vyjádřit emoce nebo úctu odvrácením se (opět obecně v asijských kulturách), přidávají další rozměr, ve kterém výzkumníci čtení rtů budou muset vyvinout další metody “doplnění” z jiných kontextových podnětů.