Andersonin kulma
‘Luova’ kasvojen todentaminen generatiivisilla vastakkaisverkoilla

Keskeiset kohdatStanfordin GAN-menetelmä ohitti Tinderin ja Bumblen kasvojentunnistuksen…
Näytä lisää
- Stanfordin GAN-menetelmä ohitti Tinderin ja Bumblen kasvojentunnistuksen sukupuolenvaihtokuvilla.
- StarGAN V2 tuotti laadukkaampia ja monipuolisempia kasvoja, jotka läpäisivät paikallisen vahvistuksen paremmin kuin StyleGAN.
- Tekniikka lisää identiteettipiirteitä muokattuihin kasvoihin, mikä mahdollistaa johdonmukaiset vaihtoehtoiset identiteetit tunnistusjärjestelmille.
Stanfordin yliopistosta on julkaistu uusi tutkimus, jossa esitetään uusi menetelmä kasvojen tunnistusjärjestelmien petkuttamiseksi alustoilla, kuten treffisovelluksissa, käyttämällä generatiivista vastakkaisverkostoa (GAN) luomaan vaihtoehtoisia kasvokuvia, jotka sisältävät saman olennaisen tunnistetiedon kuin aito kasvo.
Menetelmä ohitti onnistuneesti kasvojen tunnistusprosessit treffisovelluksissa Tinder ja Bumble, ja yhdessä tapauksessa ohjelma hyväksyi jopa sukupuoleltaan muunnetut (miehen) kasvot alkuperäisen (naisen) identiteetin aidoiksi kasvoiksi.

Erikoisesti luodut identiteetit, jotka sisältävät tutkimuksen kirjoittajan (ylempänä olevassa kuvassa) tietyn koodauksen. Lähde: https://arxiv.org/pdf/2203.15068.pdf
Tutkimuksen mukaan työ edustaa ensimmäistä yritystä ohittaa kasvojen tunnistusjärjestelmät käyttämällä generoituja kuvia, jotka on varustettu tiettyjen identiteettipiirteiden kanssa, mutta jotka yrittävät edustaa vaihtoehtoista tai merkittävästi muunnettua identiteettiä.
Menetelmä testattiin omalla paikallisella kasvojen tunnistusjärjestelmällä, ja se suoritti hyvin mustalaatikko-testeissä kahteen treffisovellukseen, jotka suorittavat kasvojen tunnistuksen käyttäjien lataamista kuvista.
Uusi tutkimus on nimeltään Kasvojen tunnistuksen ohittaminen, ja se on tehty Sanjana Sardan, Stanfordin yliopiston sähkötekniikan osaston tutkijan toimesta.
Kasvojen tilan hallinta
Vaikka identiteettikohtaisten piirteiden ”injektoiminen” (esim. kasvoista, tienmerkeistä jne.) muokattuihin kuviin on olennainen osa vastakkaisia hyökkäyksiä, uusi tutkimus ehdottaa jotain toista: että tutkimusalan kasvava kyky ohjata GANin latenttiavaruutta lopulta mahdollistaa arkkitehtuurien kehittämisen, jotka voivat luoda vakaita vaihtoehtoisia identiteettejä käyttäjän identiteetin rinnalla – ja tehokkaasti mahdollistaa identiteettipiirteiden poimimisen pahaa-aavistamattoman käyttäjän verkkokuvista ja niiden käyttämisen keinotekoiseen ”varjoidentiteettiin”.
Vakaus ja navigointi ovat olleet pääasialliset haasteet GANin latentin avaruuden suhteen sen kehittämisen alusta lähtien. GAN, joka on onnistuneesti omaksunut kokoelman koulutuskuvia latenttiavaruuteensa, ei tarjoa helppoa karttaa “työntää” piirteitä toisesta luokasta toiseen.
Vaikka tekniikat ja työkalut, kuten Gradient-painotettu luokan aktivaatiokartta (Grad-CAM), voivat auttaa määrittämään latentteja suuntia vakiintuneiden luokkien välillä ja mahdollistaa muunnoksia (katso kuva alla), piirteiden kietoutuminen toisiinsa tekee siirtymästä yleensä vain likimääräisen ja rajoittaa sen hienosäätöä.

Likimääräinen siirtymä GAN-verkon latenttiavaruuden koodattujen vektorien välillä, työntäen data-pohjaisen miehen identiteetin ‘naisten’ koodauksiin toisella puolella monista lineaarisista hypertasoista monimutkaisessa ja arkaaisessa latenttiavaruudessa. Kuva peräisin aineistosta https://www.youtube.com/watch?v=dCKbRCUyop8
Mahdollisuus ”jäädyttää” ja suojata identiteettikohtaisia piirteitä samalla kun niitä siirretään latenttiavaruuden muihin muunneltaviin koodauksiin voi mahdollistaa johdonmukaisen ja jopa animoitavan yksilön luomisen, jonka identiteetti luetaan konejärjestelmillä jonkun toisen identiteettinä.
Menetelmä
Kirjoittaja käytti kahta tietokantaa kokeiden perustana: Ihmisen käyttäjätietokanta, joka koostui 310 hänen kasvonsa kuvasta neljän vuoden ajalta, vaihtelevilla valaistuksilla, iällä ja näkökulmilla), josta kasvot oli poimittu ja rajattu Caffen avulla; ja rodullisesti tasapuolinen 108 501 kuvan FairFace -tietokanta, josta kasvot oli vastaavasti poimittu ja rajattu.
Paikallinen kasvojen tunnistusmalli perustui FaceNetin ja DeepFacen perus toteutukseen, joka oli esikoulutettu ConvNet Inception -verkostoon, jossa jokainen kuva edustettiin 128-ulotteisella vektorilla.
Lähestymistapa käytti kasvokuvia koulutetusta alijoukosta FairFace -tietokannasta. Jotta kasvojen tunnistus voitiin suorittaa, kuvan Frobeniuksen normin avulla laskettua etäisyyttä verrattiin tietokannassa olevaan kohdekäyttäjään. Mikä tahansa kuva, jonka etäisyys oli alle 0,7, vastasi samaa identiteettiä; muuten tunnistus katsottiin epäonnistuneeksi.
StyleGAN-malli oli hienosäädetty kirjoittajan henkilökohtaisella tietokannalla, josta saatiin malli, joka voisi generoida tunnistettavia muunnelmia hänen identiteetistään, vaikka mikään näistä generoituista kuvista ei ollut identtinen koulutusaineiston kanssa. Tämä saavutettiin jäädyttämällä erottelijan neljä ensimmäistä kerrosta, jotta vältettiin ylisovittaminen ja saatiin monipuolisia tuloksia.
Vaikka StyleGAN-perusmallilla saatiin erilaisia kuvia, heikko resoluutio ja kuvien rajallinen tarkkuus johtivat toiseen yritykseen StarGAN V2 -mallilla, joka mahdollistaa lähtökuvien kouluttamisen kohdekasvojen suuntaan.
StarGAN V2 -malli oli esikoulutettu noin 10 tunnin ajan FairFace -tietokannan validointijoukolla, eräkoolle 4 ja validointikoolle 8. Menetelmän onnistuneimmassa lähestymistavassa kirjoittajan henkilökohtainen tietokanta käytettiin lähteenä ja koulutusaineistoa viiteenä.
Tunnistuskokeet
Kasvojen tunnistusmalli rakennettiin 1000 kuvan alijoukosta, jossa tarkoituksena oli tunnistaa satunnainen kuva joukosta. Kuvat, jotka ohittivat tunnistuksen onnistuneesti, testattiin myöhemmin kirjoittajan oman identiteetin vastaisesti.

Vasemmalla, tutkimuksen kirjoittaja, aito kuva; keskellä, satunnainen kuva, joka epäonnistui tunnistuksessa; oikealla, sivullinen kuva tietokannasta, joka ohitti tunnistuksen kirjoittajan identiteetinä.
Kokeiden tavoitteena oli luoda mahdollisimman laaja kuilu havaittavien visuaalisten identiteettien välillä säilyttäen kuitenkin kohde-identiteetin määrittävät piirteet. Tätä arvioitiin Mahalanobis-etäisyydellä, mittarilla, jota käytetään kuvankäsittelyssä kuvioiden ja mallineiden etsimiseen.
Perusgeneratiiviselle mallille saadut matalaresoluutioiset tulokset näyttivät rajoitetun monimuotoisuuden, vaikka ne ohittivat paikallisen kasvojen tunnistuksen. StarGAN V2 osoittautui kykenevämmäksi luomaan monimuotoisia kuvia, jotka pystyivät todentamaan.

Kaikki kuvat, jotka näkyvät, ohittivat paikallisen kasvojen tunnistuksen. Ylempänä, matalaresoluutioiset StyleGAN -perusgeneroinnit, alhaalla, korkearesoluutioiset ja laadukkaammat StarGAN V2 -generoinnit.
Loput kolme kuvaa, jotka on esitetty yllä, käyttivät kirjoittajan omaa kasvotietokantaa sekä lähteenä että viitteenä, kun taas edelliset kuvat käyttivät koulutusaineistoa viitteenä ja kirjoittajan tietokantaa lähteenä.
Generoidut kuvat testattiin treffisovellusten Bumble ja Tinder kasvojen tunnistusjärjestelmiä vastaan, kirjoittajan identiteetin ollessa vertailukohtana, ja ne ohittivat tunnistuksen. Kirjoittajan “miehinen” generoitu kasvo ohitti myös Bumblen tunnistuksen, vaikka valaistusta piti säätää generoidussa kuvassa ennen hyväksymistä. Tinder ei hyväksynyt miesversiota.

Kirjoittajan (naisen) identiteetin ‘miehisiä’ versioita.
Johtopäätös
Nämä ovat merkittäviä kokeita identiteetin projektiossa GANin latenttiavaruuden manipuloinnin kontekstissa, joka on edelleen poikkeuksellinen haaste kuvien synteesissä ja deepfake-tutkimuksessa. Kuitenkin työ avaa konseptin erittäin spesifisten piirteiden upottamisesta johdonmukaisesti erilaisiin identiteetteihin ja “vaihtoehtoisten” identiteettien luomiseen, jotka “luetaan” jonkun toisen identiteettinä.
Julkaistu ensimmäisen kerran 30. maaliskuuta 2022.












