Úsvit hlubokých emocí

Výzkumníci vyvinuli novou techniku strojového učení, která umožňuje libovolně měnit emoce na obličeji ve videu, a to pomocí stávajících technologií, které nedávno vyšly jako řešení pro synchronizaci pohybů rtů s dabingem cizích jazyků.

Výzkum je rovnocennou spoluprací mezi Northeastern University v Bostonu a Medialabem na MIT, a je nazvaný Převratné čelenky: Video-na-video překlad emocí obličeje. Ačkoli výzkumníci připouštějí, že počáteční kvalita výsledků musí být dále vyvinuta, tvrdí, že tato technika, nazvaná Wav2Lip-Emotion, je první svého druhu, která přímo řeší úpravu plného videa pomocí neuronových sítí.

Základní kód byl vydán na GitHubu, ačkoli kontrolní body modelu budou přidány do otevřeného repozitáře později, slibují autoři.

Vlevo, ‘smutná’ snímka zdrojového videa. Vpravo, ‘šťastná’ snímka. Uprostřed jsou dvě začínající přístupy k syntéze alternativních emocí – horní řada: plně maskované obličeje, kde byla nahrazena celá plocha výrazu; spodní řada: tradiční metoda Wav2Lip, která nahrazuje pouze spodní část obličeje. Zdroj: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

Jedno video jako zdroj dat

Teoreticky jsou takové manipulace dostupné nyní prostřednictvím plného tréninku na tradičních repozitářích hlubokých padělků, jako je DeepFaceLab nebo FaceSwap. Nicméně standardní pracovní postup by zahrnoval použití alternativní identity pro ‘cílovou’ identitu, jako je herec, který napodobuje cílovou osobu, jejíž vlastní výrazy by byly přeneseny na jinou osobu, spolu s zbytkem výkonu. Kromě toho by obvykle byly nutné techniky hlubokého padělání hlasu, aby se dokončilo klamání.

Dále, skutečné změny výrazu target1>target1 v jediném zdrojovém videu v rámci těchto populárních rámců by vyžadovaly změnu vektorů zarovnání obličeje způsobem, který tyto architektury目前 nedovolují.

Wav2Lip-Emotion udržuje synchronizaci rtů původního video dialogu, zatímco transformuje přidružené výrazy.

Místo toho Wav2Lip-Emotion účinně seeks ‘copy and paste’ emocí souvisejících s výrazy z jedné části videa a nahradit je do jiných bodů, se samozvanou skromností zdrojových dat, která je určena nakonec nabídnout nižší úsilí pro úpravu výrazu.

Offline modely by mohly být později vyvinuty, které jsou trénovány na alternativních videích mluvčího, což by eliminovalo potřebu jakéhokoli jednoho videa, aby obsahovalo ‘paletu’ stavů výrazu, se kterými by se manipulovalo s videem.

Potenciální účely

Autoři navrhují řadu aplikací pro úpravu výrazu, včetně živého video filtru, který kompenzuje účinky PTSD a obličeje postižených facialní paralýzou. Článek uvádí:

‘Jednotlivci s nebo bez inhibovaných obličejových výrazů mohou těžit z úprav svých vlastních výrazů, aby lépe odpovídaly jejich sociálním okolnostem. Někdo může chtít změnit výrazy ve videích, které se mu ukazují. Mluvčí mohou křičet na sebe během video konference, ale přesto chtějí získat obsah jejich výměny bez nepříjemných výrazů. Nebo filmový režisér může chtít zvýšit nebo snížit výrazy herce.’

Poněvadž obličejový výraz je klíčovým a základním ukazatelem záměru, i když se může dotknout slov, která se vyslovují, schopnost měnit výraz také nabízí, do jisté míry, schopnost měnit, jak je komunikace přijímána.

Předchozí práce

Zájem o úpravu výrazu pomocí strojového učení sahá až do roku 2012, kdy spolupráce mezi Adobe, Facebookem a Rutgers University navrhla metodu pro úpravu výrazu pomocí tensorového 3D geometrického přístupu, který namáhavě aplikoval CGI mesh na každou snímku cílového videa, aby vyvolal změnu.

Výzkum Adobe/Facebook z roku 2012 upravil výrazy tím, že aplikoval tradiční, CGI-poháněné změny na video snímky. Výrazy mohly být zvýšeny nebo potlačeny. Zdroj: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

Ačkoli výsledky byly slibné, metoda byla náročná a zdroje potřebné byly značné. V tomto okamžiku byla CGI daleko před počítačovým viděním založeným na přístupu k přímé manipulaci funkcí a pixelů.

Více související s novým článkem je MEAD, dataset a model generování výrazu, který byl vydán v roce 2020, schopný generovat ‘mluvící hlavy’ videa, ale bez úrovně sofistikovanosti, která je potenciálně dosažitelná úpravou skutečného zdrojového videa přímo.

Generování výrazu s MEAD, spolupráce mezi SenseTime Research, Carnegie Mellon a třemi čínskými univerzitami. Zdroj: https://wywu.github.io/projects/MEAD/MEAD.html

V roce 2018 vyšel další článek, nazvaný GANimation: Anatomicky-aware tváří animace z jediného obrazu, jako akademická spolupráce mezi USA a Španělskem, a používal Generative Adversarial Networks ke zvýšení nebo změně výrazu ve statických obrazech.

Změna výrazu ve statických obrazech s GANimation. Zdroj: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

Místo toho je nový projekt založen na Wav2Lip, který získal publicitu v roce 2020 tím, že nabídl potenciální metodu pro re-synchronizaci pohybů rtů, aby se přizpůsobily novému řečovému vstupu (nebo písni), který se nevyskytoval v původním videu.

Původní architektura Wav2Lip byla trénována na korpusu mluvených vět z archivů BBC. Aby výzkumníci přizpůsobili Wav2Lip úkolu úpravy výrazu, ‘jemně’ upravili architekturu na výše zmíněném datasetu MEAD.

MEAD se skládá z 40 hodin videa, které zahrnuje 60 herců, kteří čtou stejnou větu, zatímco provádějí různé obličejové výrazy. HerCI pocházejí z 15 různých zemí a nabízejí řadu mezinárodních charakteristik, jejichž cílem je pomoci projektu (a odvozeným projektům) produkovat aplikovatelnou a dobře zobecněnou syntézu výrazu.

V době výzkumu MEAD vydal pouze první část datasetu, který zahrnoval 47 jedinců, kteří prováděli výrazy, jako je ‘hněv’, ‘pohoršení’, ‘strach’, ‘pohrdání’, ‘šťastný’, ‘smutný’ a ‘překvapení’. V tomto počátečním přístupu k novému přístupu výzkumníci omezili rozsah projektu na superimpozici nebo jinou úpravu vnímaných emocí ‘šťastný’ a ‘smutný’, protože tyto jsou nejlépe rozpoznatelné.

Metoda a výsledky

Původní architektura Wav2Lip nahrazuje pouze spodní část obličeje, zatímco Wav2Lip-Emotion také experimentuje s plnou maskou obličeje a syntézou výrazu. Proto bylo nutné, aby výzkumníci navíc upravili vestavěné metody hodnocení, protože tyto nebyly navrženy pro plnou konfiguraci obličeje.

Autoři vylepšují původní kód tím, že uchovávají původní audio vstup, udržují konzistenci pohybů rtů.

Generátorový prvek zahrnuje identifikační kód, kódovací řeč a dekodér obličeje, v souladu s předchozí prací. Řečový prvek je zakódován navíc jako zásobní 2D konvoluce, které jsou poté spojena se svými přidruženými snímky.

Kromě generátorového prvku upravená architektura zahrnuje tři hlavní diskriminační komponenty, zaměřené na kvalitu synchronizace rtů, emocionální cíl a adversariálně trénovaný vizuální kvalitní cíl.

Pro plnou rekonstrukci obličeje původní práce Wav2Lip neobsahovala žádný precedent, a proto byl model trénován od začátku. Pro trénink spodní části obličeje (poloviční maska) výzkumníci postupovali z kontrolních bodů zahrnutých v původním kódu Wav2Lip.

Kromě automatického hodnocení výzkumníci použili názorové hodnocení poskytnuté poloautomatickou službou. Pracovníci obecně ohodnotili výstup highly v terms of rozpoznávání superimponovaných emocí, zatímco pouze ohodnotili ‘střední’ hodnocení pro kvalitu obrazu.

Autoři navrhují, že kromě zlepšení vygenerované kvality videa s dalšími úpravami, budoucí iterace práce by mohly zahrnovat širší rozsah emocí, a že práce by mohla být aplikována v budoucnu na označená nebo automaticky odvozená zdrojová data a datasety, vedoucí nakonec k autentickému systému, ve kterém by emoce mohly být zvýšeny nebo sníženy podle libosti uživatele, nebo nakonec nahrazeny kontrastními emocemi ve vztahu k původnímu zdrojovému videu.