Andersonův úhel
‘Kreativní’ obličejová verifikace s generativními adversními sítěmi

Klíčové bodyMetoda GAN od Stanfordu obešla ověřování obličeje na Tinderu a Bumble pomocí snímků s…
Zobrazit více
- Metoda GAN od Stanfordu obešla ověřování obličeje na Tinderu a Bumble pomocí snímků s prohozeným pohlavím.
- StarGAN V2 generoval kvalitnější a rozmanitější obličeje, které prošly místním ověřováním lépe než StyleGAN.
- Tato technika vkládá rysy identity do upravených obličejů, což umožňuje konzistentní alternativní identity pro autentizační systémy.
Nová studie ze Stanfordovy univerzity navrhla novou metodu pro obcházení systémů obličejové autentizace na platformách, jako jsou aplikace pro seznamování, pomocí Generative Adversarial Network (GAN) pro vytváření alternativních obličejových obrazů, které obsahují stejné základní identifikační informace jako skutečný obličej.
Metoda úspěšně obešla procesy obličejové verifikace na aplikacích pro seznamování Tinder a Bumble, v jednom případě dokonce úspěšně předstírala mužský obličej jako autentický pro ženskou identitu.

Různé generované identity, které obsahují specifické kódování autorky článku (zobrazené v prvním obrázku výše). Zdroj: https://arxiv.org/pdf/2203.15068.pdf
Podle autorky představuje tato práce první pokus o obejití obličejové verifikace pomocí generovaných obrazů, které byly vybaveny specifickými identifikačními rysy, ale které se pokusily představovat alternativní nebo podstatně pozměněnou identitu.
Technika byla testována na vlastním místním systému obličejové verifikace a poté dobře obstála v testech typu černé skříňky proti dvěma aplikacím pro seznamování, které provádějí obličejovou verifikaci na uživatelsky nahrávaných obrázcích.
Nová studie nese název Obcházení obličejové verifikace a pochází od Sanjany Sardy, výzkumnice na oddělení elektrotechniky Stanfordovy univerzity.
Řízení obličejového prostoru
Ačkoli je „vkládání“ identifikačních rysů (tj. z obličejů, dopravních značek atd.) do vyrobených obrazů je základní součástí adversářských útoků, nová studie naznačuje něco jiného: že rostoucí schopnost výzkumného sektoru řídit latentní prostor GAN bude nakonec umožňovat vývoj architektur, které mohou vytvářet konstantní alternativní identity uživatele – a efektivní extrakci identifikačních rysů z obrazů dostupných na webu nevědomého uživatele, aby mohly být použity pro “stínovou” vyrobenou identitu.
Konzistence a navigabilita byly primárními výzvami týkajícími se latentního prostoru GAN od jeho vzniku. GAN, který úspěšně asimiloval kolekci trénovacích obrazů do svého latentního prostoru, neposkytuje žádnou snadnou mapu pro “tlačení” rysů z jedné třídy do druhé.
Zatímco techniky a nástroje, jako je Gradient-weighted Class Activation Mapping (Grad-CAM), mohou pomoci stanovit latentní směry mezi stanovenými třídami a umožnit transformace (viz obrázek níže), další výzva propletení rysů obvykle vede k “approximativnímu” putování, s omezenou jemnou kontrolou přechodu.

Drsná cesta mezi zakódovanými vektory v latentním prostoru GAN, tlačení datové odvozené mužské identity do “ženské” kódování na druhé straně jedné z mnoha lineárních hyperploch v komplexním a záhadném latentním prostoru. Obrázek odvozen z materiálu na https://www.youtube.com/watch?v=dCKbRCUyop8
Schopnost “zmrazit” a ochránit identifikační rysy, zatímco je přesouvají do transformačních kódování jinde v latentním prostoru, potenciálně umožňuje vytvářet konzistentní (a dokonce animovatelnou) individualitu, jejíž identita je čtena strojovými systémy jako někdo jiný.
Metoda
Autorka použila dvě datové sady jako základ pro experimenty: datovou sadu lidských uživatelů, která se skládá z 310 obrázků jejího obličeje z období čtyř let, s různým osvětlením, věkem a úhly pohledu), s ořezanými obličeji extrahovanými pomocí Caffe; a rasově vyváženou sadu 108 501 obrázků v FairFace datové sadě, podobně extrahované a ořezané.
Místní model obličejové verifikace byl odvozen z základní implementace FaceNet a DeepFace, předtrénované na ConvNet Inception, s každým obrázkem reprezentovaným 128-rozměrným vektorem.
Přístup používá obličejové obrázky z trénovací podmnožiny FairFace. Pro úspěšné obejití obličejové verifikace je vzdálenost vypočtená pomocí Frobeniovy normy obrazu porovnána s cílovým uživatelem v databázi. Každý obraz pod prahem 0,7 je považován za stejnou identitu, jinak je verifikace považována za neúspěšnou.
Model StyleGAN byl jemně naladěn na autorčině osobní datové sadě, což vedlo k modelu, který generuje rozpoznatelné variace její identity, i když žádný z generovaných obrázků nebyl identický s trénovacími daty. To bylo dosaženo zamrznutím prvních čtyř vrstev v diskriminátoru, aby se zabránilo přeučení dat a vznikal rozmanitý výstup.
Ačkoli byly získány rozmanité obrázky pomocí základního modelu StyleGAN, nízké rozlišení a omezená obrazová věrnost vedly k druhému pokusu s StarGAN V2, který umožňuje trénování výchozích obrázků směrem k cílovému obličeji.
Model StarGAN V2 byl předtrénován přibližně 10 hodin pomocí validační sady FairFace, s velikostí batchu čtyři a validační velikostí osm. V nejúspěšnějším přístupu byla autorčina osobní datová sada použita jako zdroj s trénovacími daty jako referencí.
Experimenty verifikace
Model obličejové verifikace byl sestaven na základě podmnožiny 1000 obrázků, s cílem ověřit libovolný obraz z této sady. Obrázky, které úspěšně prošly verifikací, byly následně testovány proti autorčině vlastní identitě.

Vlevo, autorka článku, skutečný fotografický obraz; uprostřed, libovolný obraz, který verifikaci neprošel; vpravo, nesouvisející obraz z datové sady, který prošel verifikací jako autorka.
Cílem experimentů bylo vytvořit co největší mezеру mezi vnímanou vizuální identitou, při zachování určujících rysů cílové identity. To bylo vyhodnoceno pomocí Mahalanobisovy vzdálenosti, metriky používané v zpracování obrazů pro vyhledávání vzorců a šablon.
Pro základní generativní model zobrazují nízkorozlišené výsledky omezenou diverzitu, i když prošly lokální obličejovou verifikací. StarGAN V2 se ukázal být schopnějším při vytváření diverzifikovaných obrázků, které byly schopny autentifikovat.

Všechny zobrazené obrázky prošly lokální obličejovou verifikací. Nahoře jsou nízkorozlišené generace základního modelu StyleGAN, dole, vyšší rozlišení a kvalita generací StarGAN V2.
Poslední tři obrázky výše použily autorčinu vlastní datovou sadu jako zdroj i referenci, zatímco předchozí obrázky použily trénovací data jako referenci a autorčinu datovou sadu jako zdroj.
Vygenerované obrázky byly testovány proti systémům obličejové verifikace aplikací Bumble a Tinder, s autorčinou identitou jako základnou, a prošly verifikací. “Mužská” generace autorčina obličeje také prošla verifikačním procesem Bumble, i když osvětlení muselo být upraveno v generovaném obraze, než byl přijat. Tinder nepřijal mužskou verzi.

‘Mužské’ verze autorčiny (ženské) identity.
Závěr
Jde o průkopnické experimenty v oblasti projekce identity, v kontextu manipulace latentního prostoru GAN, která zůstává mimořádnou výzvou ve výzkumu syntézy obrazů a deepfake. Přesto tato práce otevírá koncept vkládání vysoce specifických rysů konzistentně napříč různými identitami a vytváření “alternativních” identit, které systémy interpretují jako někoho jiného.
Poprvé publikováno 30. března 2022.












