Degradované syntetické obličeje by mohly pomoci zlepšit rozpoznávání obličejů

Výzkumníci z Michiganské státní univerzity vyvinuli způsob, jak syntetické obličeje mohou přestat být používány pro deepfakes a místo toho pomoci zlepšit rozpoznávání obrazů.

Nový modul kontinuální syntézy obličejů (CFSM), který vyvinuli, je schopen regenerovat obličeje ve stylu skutečných videozáznamů z kamer, místo aby se spoléhali na uniformně vyšší kvalitu obrazů používaných v populárních otevřených zdrojových datech celebrit, které neodrážejí všechny chyby a nedostatky skutečných systémů CCTV, jako je rozostření obličeje, nízké rozlišení a šum senzoru – faktory, které mohou ovlivnit přesnost rozpoznávání.

Konceptuální architektura modulu kontinuální syntézy obličejů (CFSM). Zdroj: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

CFSM není určen speciálně pro autentické simulace poloh hlavy, výrazů nebo všech ostatních obvyklých rysů, které jsou cílem systémů deepfake, ale spíše pro generování rozsahu alternativních pohledů ve stylu cílového rozpoznávacího systému, pomocí přenosu stylu.

Systém je navržen tak, aby napodoboval styl domény cílového systému a přizpůsoboval svůj výstup podle rozlišení a rozsahu “excentricit” v něm. Příkladem použití je legacy systémy, které nejsou pravděpodobně aktualizovány kvůli nákladům, ale které mohou目前 přispět málo k nové generaci technologií rozpoznávání obličejů, kvůli špatné kvalitě výstupu, která mohla být dříve špičková.

Při testování systému výzkumníci zjistili, že dosáhl významných zlepšení ve stavu rozpoznávání obrazů, které musí zpracovat tento typ šumu a nízkokvalitních dat.

Školení modelů rozpoznávání obličejů, aby se přizpůsobily omezením cílových systémů. Zdroj: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf

Dále zjistili, že proces má užitečný vedlejší produkt – že cílové datové sady lze nyní charakterizovat a porovnávat navzájem, což usnadňuje srovnání, benchmarking a generování vlastních datových sad pro různé systémy CCTV v budoucnu.

Kromě toho lze metodu aplikovat na existující datové sady, provádět de facto adaptaci domény a činí je vhodnějšími pro systémy rozpoznávání obličejů.

Nová práce nese název Kontinuální a řízená syntéza obličejů pro neomezené rozpoznávání obličejů, je podporována částečně Úřadem ředitele národní rozvědky (ODNI, v IARPA) a pochází od čtyř výzkumníků z oddělení počítačových věd a inženýrství na MSU.

Významný obsah

Rozpoznávání obličejů s nízkou kvalitou (LQFR) se stalo významným oblastí studia v posledních letech. Protože občanské a městské úřady postavily systémy videozáznamů, aby byly odolné a dlouhodobé (nechtěly znovu alokovat zdroje na tento problém), mnoho “legacy” systémů videozáznamů se stalo obětí technického dluhu, co se týče jejich adaptability jako zdrojů dat pro strojové učení.

Různé úrovně rozlišení obličeje napříč různými historickými a nedávnými systémy videozáznamů. Zdroj: https://arxiv.org/pdf/1805.11519.pdf

Naštěstí je to úkol, který jsou difúzní modely a další modely založené na šumu neobvykle dobře přizpůsobeny řešit. Mnoho z nejpopulárnějších a nejúčinnějších systémů syntézy obrazů z posledních let provádí zvětšení nízkorozlišitelných obrazů jako součást svého procesu, zatímco toto je také absolutně nezbytné pro techniky komprese neuronových sítí (metody pro uložení obrazů a filmů jako neuronových dat místo bitmapových dat).

Část výzvy rozpoznávání obličejů spočívá v získání maximální možné přesnosti z minimálního počtu rysů, které lze extrahovat z nejmenších a nejméně slibných nízkorozlišitelných obrazů. Tento omezení existuje nejen proto, že je užitečné být schopen identifikovat (nebo vytvořit) obličej v nízkém rozlišení, ale také kvůli technickým omezením na velikost obrazů, které mohou projít latentním prostorem modelu, který se trénuje v dostupné VRAM na místním GPU.

V tomto smyslu je termín “rys” matoucí, protože takové rysy lze také získat z datové sady laviček. V sektoru počítačového vidění “rys” odkazuje na rozlišovací charakteristiky získané z obrazů – libovolné obrazy, ať už se jedná o linie kostela, hory nebo dispozici obličejových rysů v datové sadě obličejů.

Pokud jsou algoritmy počítačového vidění nyní schopny zvětšovat obrazy a videozáznamy, byly navrženy různé metody pro “vylepšení” nízkorozlišitelných nebo jinak degradovaných legacy materiálů videozáznamů, aby bylo možné použít takové augmentace pro právní účely, jako je umístění konkrétní osoby na místě, v souvislosti s vyšetřováním trestného činu.

Kromě možnosti nesprávné identifikace, která občas získala titulky, by teoreticky nemělo být nutné hyper-resolvovat nebo jinak transformovat nízkorozlišitelné záznamy, aby se provedla pozitivní identifikace osoby, protože systém rozpoznávání obličejů zaměřující se na nízkouhlíkové rysy by neměl potřebovat takovou úroveň rozlišení a jasnosti. Kromě toho jsou takové transformace nákladné v praxi a vyvolávají další, opakující se otázky kolem jejich potenciální platnosti a legality.

Potřebujeme více “zchudlých” celebrit

Bylo by užitečnější, kdyby systém rozpoznávání obličejů mohl získat rysy (tj. rysy strojového učení lidských rysů) z výstupu legacy systémů, tak jak jsou, tím, že lépe porozumí vztahu mezi “vysokým rozlišením” identitou a degradovanými obrazy, které jsou dostupné v nezměnitelných (a často nenahraditelných) existujících rámcích videozáznamů.

Problém spočívá v standardech: běžné webové datové sady, jako je MS-Celeb-1M a WebFace260M (mezi mnoha jinými), byly připojeny výzkumnou komunitou, protože poskytují konzistentní benchmarky, proti kterým výzkumníci mohou měřit svůj pokrok proti současnému stavu.

Příklady z populární datové sady Microsoftu MS-Celeb1m. Zdroj: https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

Autoři argumentují, že algoritmy rozpoznávání obličejů (FR) trénované na těchto datech jsou nevhodným materiálem pro vizuální “domény” výstupu z mnoha starších systémů videozáznamů.

Práce uvádí*:

‘[Stav současnosti] (SoTA) modely FR nefungují dobře na reálných datech videozáznamů (neomezená) kvůli problému posunutí domény, tj. velké škále trénovacích dat (poloomezená) získaných prostřednictvím webových celebritních obličejů chybí variace v divočině, jako je vrozený šum senzoru, nízké rozlišení, rozmazání pohybu, efekt turbulence atd.

‘Například 1:1 ověřovací přesnost hlášená jedním ze SoTA modelů na neomezeném IJB-S datovém sadě je asi o 30 % nižší než na poloomezeném LFW.

‘Potenciální řešení takového rozdílu ve výkonu je sestavení velké neomezené datové sady obličejů. Nicméně, sestavení takové trénovací datové sady s desítkami tisíc subjektů je prohibitivně obtížné s vysokými náklady na manuální označení.’

Autoři popisují různé předchozí metody, které se pokusily “sladit” různé typy výstupů z historických nebo nízkorozpočtových systémů videozáznamů, ale poznamenávají, že tyto metody se zabývaly “slepými” augmentacemi. Na rozdíl od toho CFSM dostává přímou zpětnou vazbu od reálného výstupu cílového systému během trénování a přizpůsobuje se prostřednictvím přenosu stylu, aby napodoboval tuto doménu.

Herečka Natalie Portman, která není cizí s několika datovými sadami, které dominují komunitě počítačového vidění, je součástí identit v tomto příkladu CFSM, který provádí style-matched doménovou adaptaci na základě zpětné vazby z domény cílového modelu.

Architektura navržená autory využívá Fast Gradient Sign Method (FGSM) k individuaci a “importu” získaných stylů a charakteristik z skutečného výstupu cílového systému. Část procesu věnovaná generaci obrazů se následně verbessí a stane se věrnější cílovému systému s trénováním. Tato zpětná vazba z nízkorozměrného stylového prostoru cílového systému je nízkorozměrná a odpovídá nejširším odvozeným vizuálním deskriptorům.

Autoři komentují:

‘S zpětnou vazbou z modelu FR jsou syntetizované obrazy více prospěšné pro výkon FR, což vede k významně zlepšeným obecným možnostem modelů FR trénovaných s nimi.’

Testy

Výzkumníci použili předchozí práci MSU jako šablonu pro testování svého systému. Na základě stejných experimentálních protokolů použili MS-Celeb-1m, který se skládá výhradně z web-trawled celebritních fotografií, jako označenou trénovací datovou sadu. Pro spravedlnost také zahrnuli MS1M-V2, který obsahuje 3,9 milionu obrazů s 85 700 třídami.

Cílová data byla WiderFace datová sada z Čínské univerzity v Hongkongu. Tato datová sada je besonders různorodá a je navržena pro úkoly detekce obličejů v náročných situacích. 70 000 obrazů z této sady bylo použito.

Pro hodnocení byl systém testován proti čtyřem benchmarkům rozpoznávání obličejů: IJB-B, IJB-C, IJB-S a TinyFace.

CFSM byl trénován s ∼10 % trénovacích dat z MS-Celeb-1m, kolem 0,4 milionu obrazů, po 125 000 iteracích s velikostí batch 32 pod Adam optimalizátorem při velmi nízké rychlosti učení 1e-4.

Cílový model rozpoznávání obličejů používal modifikaci ResNet-50 pro záda, s funkcí ArcFace ztráty povolenou během trénování. Kromě toho byl trénován model s CFSM jako ablace a srovnávací cvičení (označené jako “ArcFace” v tabulce výsledků níže).

Výsledky z primárních testů pro CFSM. Vyšší čísla jsou lepší.

Autoři komentují primární výsledky:

‘Model ArcFace překonává všechny benchmarky v obou úkolech identifikace a verifikace obličejů a dosahuje nového stavu.

Schopnost extrahovat domény z různých charakteristik legacy nebo poddimenzovaných systémů videozáznamů také umožňuje autorům porovnávat a vyhodnocovat podobnost distribuce mezi těmito rámci a prezentovat každý systém ve formě vizuálního stylu, který by mohl být využit v následujících pracích.

Příklady z různých datových sad ukazují zřejmé rozdíly ve stylu.

Autoři dále uvádějí, že jejich systém by mohl využít některých technologií, které byly dosud považovány pouze za problémy, které je třeba vyřešit výzkumnou a vizi komunitou:

‘[CFSM] ukazuje, že manipulace s adversářem může jít za hranice útoku a sloužit ke zvýšení přesnosti rozpoznávání ve vizuálních úkolech. Mezitím definujeme metriku podobnosti datových sad na základě naučených stylů, které zachycují rozdíly ve stylu v značkovacím nebo prediktivním agnostickém způsobu.’

‘Věříme, že naše výzkum představil sílu kontrolovaného a řízeného modelu syntézy obličejů pro neomezené rozpoznávání obličejů a poskytuje pochopení rozdílů mezi datovými sadami.’

* Mé převody inline citací autorů na hypertextové odkazy.

Poprvé zveřejněno 1. srpna 2022.