‘Kreativní’ obličejová verifikace s generativními adversními sítěmi

Nová studie ze Stanfordovy univerzity navrhla novou metodu pro obcházení systémů obličejové autentizace na platformách, jako jsou aplikace pro seznamování, pomocí Generative Adversarial Network (GAN) pro vytváření alternativních obličejových obrazů, které obsahují stejné základní identifikační informace jako skutečný obličej.

Metoda úspěšně obešla procesy obličejové verifikace na aplikacích pro seznamování Tinder a Bumble, v jednom případě dokonce úspěšně předstírala mužský obličej jako autentický pro ženskou identitu.

Různé generované identity, které obsahují specifické kódování autora článku (zobrazené v prvním obrázku výše). Zdroj: https://arxiv.org/pdf/2203.15068.pdf

Podle autora představuje tato práce první pokus o obejití obličejové verifikace pomocí generovaných obrazů, které byly vybaveny specifickými identifikačními rysy, ale které se pokusily představovat alternativní nebo podstatně pozměněné identitu.

Technika byla testována na vlastním místním systému obličejové verifikace a poté dobře fungovala v černých skříňkách proti dvěma aplikacím pro seznamování, které provádějí obličejovou verifikaci na uživatelsky nahrávaných obrázcích.

Nová studie nese název Obličejová verifikace bypass a pochází od Sanjany Sardy, výzkumnice na oddělení elektrotechniky Stanfordovy univerzity.

Řízení obličejového prostoru

Ačkoli “injekční” identifikační rysy (tj. z obličejů, dopravních značek atd.) do vyrobených obrazů je základní součástí adversářských útoků, nová studie naznačuje něco jiného: že rostoucí schopnost výzkumného sektoru řídit latentní prostor GAN bude nakonec umožňovat vývoj architektur, které mohou vytvářet konstantní alternativní identity uživatele – a efektivní extrakci identifikačních rysů z obrazů dostupných na webu nevědomého uživatele, aby je mohli být použity pro “stínovou” vyrobenou identitu.

Konzistence a navigabilita byly primárními výzvami týkajícími se latentního prostoru GAN od jeho vzniku. GAN, který úspěšně asimiloval kolekci trénovacích obrazů do svého latentního prostoru, neposkytuje žádný snadný mapu pro “tlačení” rysů z jedné třídy do druhé.

Zatímco techniky a nástroje, jako je Gradient-weighted Class Activation Mapping (Grad-CAM), mohou pomoci stanovit latentní směry mezi stanovenými třídami a umožnit transformace (viz obrázek níže), další výzva rozpletení obvykle vede k “approximativnímu” putování, s omezenou jemnou kontrolou přechodu.

Drsná cesta mezi zakódovanými vektory v latentním prostoru GAN, tlačení datové odvozené mužské identity do “ženské” kódování na druhé straně jedné z mnoha lineárních hyperploch v komplexním a záhadném latentním prostoru. Obrázek odvozen z materiálu na https://www.youtube.com/watch?v=dCKbRCUyop8

Schopnost “zmrazit” a ochránit identifikační rysy, zatímco je přesouvají do transformačních kódování jinde v latentním prostoru, potenciálně umožňuje vytvářet konzistentní (a dokonce animovatelnou) individualitu, jejíž identita je čtena strojovými systémy jako někdo jiný.

Metoda

Autor použil dvě datové sady jako základ pro experimenty: datovou sadu lidských uživatelů, která se skládá z 310 obrázků jejího obličeje z období čtyř let, s různým osvětlením, věkem a úhly pohledu), s ořezanými obličeji extrahovanými pomocí Caffe; a rasově vyváženou sadu 108 501 obrázků v FairFace datové sadě, podobně extrahované a ořezané.

Místní model obličejové verifikace byl odvozen z základní implementace FaceNet a DeepFace, předtrénované na ConvNet Inception, s každým obrázkem reprezentovaným 128-rozměrným vektorem.

Přístup používá obličejové obrázky z trénovací podmnožiny FairFace. Pro úspěšné obejití obličejové verifikace je vypočtená vzdálenost způsobená Frobeniovou normou obrazu offsetována proti cílovému uživateli v databázi. Každý obraz pod prahem 0,7 je považován za stejnou identitu, jinak je verifikace považována za neúspěšnou.

Model StyleGAN byl jemně naladěn na autorčině osobní datové sadě, což vedlo k modelu, který generuje rozpoznatelné variace její identity, i když žádný z generovaných obrázků nebyl identický s trénovacími daty. To bylo dosaženo zamrznutím prvních čtyř vrstev v diskriminátoru, aby se zabránilo přeučení dat a produkci variovaného výstupu.

Ačkoli byly získány rozmanité obrázky pomocí základního modelu StyleGAN, nízké rozlišení a věrnost vedly k druhému pokusu s StarGAN V2, který umožňuje trénování semen obrázků směrem k cílovému obličeji.

Model StarGAN V2 byl předtrénován přibližně 10 hodin pomocí validační sady FairFace, s velikostí batchu čtyři a validační velikostí osm. V nejúspěšnějším přístupu byla autorčina osobní datová sada použita jako zdroj s trénovacími daty jako referencí.

Experimenty verifikace

Model obličejové verifikace byl sestaven na základě podmnožiny 1000 obrázků, s cílem ověřit libovolný obraz z této sady. Obrázky, které úspěšně prošly verifikací, byly následně testovány proti autorčině vlastní identitě.

Vlevo, autorka článku, skutečný fotografický obraz; uprostřed, libovolný obraz, který verifikaci neprošel; vpravo, nesouvisející obraz z datové sady, který prošel verifikací jako autorka.

Cílem experimentů bylo vytvořit co největší mezеру mezi vnímanou vizuální identitou, zatímco zachování definujících rysů cílové identity. To bylo vyhodnoceno pomocí Mahalanobisovy vzdálenosti, metriky používané v zpracování obrazů pro vyhledávání vzorců a šablon.

Pro základní generativní model zobrazují nízkorozlišené výsledky omezenou diverzitu, i když prošly lokální obličejovou verifikací. StarGAN V2 se ukázal být schopnějším při vytváření diverzifikovaných obrázků, které byly schopny autentifikovat.

Všechny zobrazené obrázky prošly lokální obličejovou verifikací. Nahoře jsou nízkorozlišené generace základního modelu StyleGAN, dole, vyšší rozlišení a kvalita generací StarGAN V2.

Poslední tři obrázky výše použily autorčinu vlastní datovou sadu jako zdroj i referenci, zatímco předchozí obrázky použily trénovací data jako referenci a autorčinu datovou sadu jako zdroj.

Vygenerované obrázky byly testovány proti systémům obličejové verifikace aplikací Bumble a Tinder, s autorčinou identitou jako základnou, a prošly verifikací. “Mužská” generace autorčina obličeje také prošla verifikačním procesem Bumble, i když osvětlení muselo být upraveno v generovaném obraze, než byl přijat. Tinder nepřijal mužskou verzi.

‘Mužské’ verze autorčiny (ženské) identity.

Závěr

Tyto jsou-seminalní experimenty v oblasti projekce identity, v kontextu manipulace latentního prostoru GAN, která zůstává mimořádnou výzvou ve výzkumu syntézy obrazů a deepfake. Přesto tato práce otevírá koncept vkládání vysoce specifických rysů konzistentně napříč různými identitami a vytváření “alternativních” identit, které “čtou” jako někdo jiný.

Poprvé publikováno 30. března 2022.