‘Luovan’ kasvojen tunnistus generatiivisilla vastakkaisilla verkostoilla

Stanfordin yliopistosta on julkaistu uusi tutkimus, jossa esitetään uusi menetelmä kasvojen tunnistusjärjestelmien petkuttamiseksi alustoilla, kuten treffisovelluksissa, käyttämällä generatiivista vastakkaisverkostoa (GAN) luomaan vaihtoehtoisia kasvokuvia, jotka sisältävät saman olennaisen tunnistetiedon kuin aito kasvo.

Menetelmä ohitti onnistuneesti kasvojen tunnistusprosessit treffisovelluksissa Tinder ja Bumble, ja yhdessä tapauksessa jopa ohjelma hyväksyi sukupuolenvaihdetun (miehen) kasvon aidon (naisen) identiteetin.

Erikoisesti luodut identiteetit, jotka sisältävät tutkimuksen kirjoittajan (ylempänä olevassa kuvassa) tietyn koodauksen. Lähde: https://arxiv.org/pdf/2203.15068.pdf

Tutkimuksen mukaan työ edustaa ensimmäistä yritystä ohittaa kasvojen tunnistusjärjestelmät käyttämällä generoituja kuvia, jotka on varustettu tiettyjen identiteettipiirteiden kanssa, mutta jotka yrittävät edustaa vaihtoehtoista tai merkittävästi muunnettua identiteettiä.

Menetelmä testattiin omalla paikallisella kasvojen tunnistusjärjestelmällä, ja se suoritti hyvin mustalaatikko-testeissä kahteen treffisovellukseen, jotka suorittavat kasvojen tunnistuksen käyttäjien lataamista kuvista.

Uusi tutkimus on nimeltään Kasvojen tunnistuksen ohittaminen, ja se on tehty Sanjana Sardan, Stanfordin yliopiston sähkötekniikan osaston tutkijan toimesta.

Kasvojen tilan hallinta

Vaikka “injektoimalla” identiteettikohtaisia piirteitä (esim. kasvoista, tienmerkeistä jne.) muokattuihin kuviin on olennainen osa vastakkaisia hyökkäyksiä, uusi tutkimus ehdottaa jotain toista: että tutkimusalan kasvava kyky ohjata GANin latentin avaruutta lopulta mahdollistaa arkkitehtuurien kehittämisen, jotka voivat luoda vakaita vaihtoehtoisia identiteettejä käyttäjän identiteetin rinnalla – ja tehokkaasti mahdollistaa identiteettipiirteiden poistamisen verkkokuvista tietämättömän käyttäjän identiteetin varjoksi.

Vakaus ja navigointi ovat olleet pääasialliset haasteet GANin latentin avaruuden suhteen sen kehittämisen alusta lähtien. GAN, joka on onnistuneesti omaksunut kokoelman koulutuskuvia latenttiavaruuteensa, ei tarjoa helppoa kartaa “työntää” piirteitä toisesta luokasta toiseen.

Vaikka tekniikat ja työkalut, kuten Gradient-painotettu luokan aktivaatiokartta (Grad-CAM), voivat auttaa latenttien suuntien määrittämisessä ja mahdollistaa muodonmuutoksia, haaste disentanglement yleensä tekee “lähellä olevasta” matkasta, jossa on rajattu hienosäätö siirtymisen aikana.

Rough matka koodatun vektorin latenttiavaruudessa, työntäen data-pohjaisen miehen identiteetin ‘naisten’ koodauksiin toisella puolella monista lineaarisista hyperplassista monimutkaisessa ja arkaaisessa latenttiavaruudessa. Kuva peräisin aineistosta https://www.youtube.com/watch?v=dCKbRCUyop8

Mahdollisuus “jäädyttää” ja suojella identiteettikohtaisia piirteitä siirtäessä niitä muunnoksellisiin koodauksiin latenttiavaruuden muissa osissa mahdollistaa yksilön luomisen, jonka identiteetti luetaan konejärjestelmillä jonkun toisen identiteettinä.

Menetelmä

Kirjoittaja käytti kahta tietokantaa kokeiden perustana: Ihmisen käyttäjätietokanta, joka koostui 310 hänen kasvonsa kuvasta neljän vuoden ajalta, vaihtelevilla valaistuksilla, iällä ja näkökulmilla), josta kasvot oli poistettu Caffen avulla; ja rodullisesti tasapuolinen 108 501 kuvan FairFace -tietokanta, josta kasvot oli poistettu ja leikattu vastaavasti.

Paikallinen kasvojen tunnistusmalli perustui FaceNetin ja DeepFacen perus toteutukseen, joka oli esikoulutettu ConvNet Inception -verkostoon, jossa jokainen kuva edustettiin 128-ulotteisella vektorilla.

Lähestymistapa käytti kasvokuvia koulutetusta alijoukosta FairFace -tietokannasta. Jotta kasvojen tunnistus voitiin suorittaa, laskettu etäisyys, jonka kuvan Frobeniuksen normi aiheutti, oli vastakkain kohteena olevan käyttäjän tietokannassa. Mikä tahansa kuva, jonka etäisyys oli alle 0,7, vastasi samaa identiteettiä; muuten tunnistus katsottiin epäonnistuneeksi.

StyleGAN-malli oli hienosäädetty kirjoittajan henkilökohtaisella tietokannalla, josta saatiin malli, joka voisi generoida tunnistettavia muunnelmia hänen identiteetistään, vaikka mikään näistä generoituista kuvista ei ollut identtinen koulutusaineistoon.

StyleGAN V2 -malli oli esikoulutettu noin 10 tunnin ajan FairFace -tietokannan validointijoukolla, eräkoolle 4 ja validointikoolle 8. Menetelmän onnistuneimmassa lähestymistavassa kirjoittajan henkilökohtainen tietokanta käytettiin lähteenä ja koulutusaineistoa viiteenä.

Tunnistus kokeet

Kasvojen tunnistusmalli rakennettiin 1000 kuvan alijoukosta, jossa tarkoituksena oli tunnistaa satunnainen kuva joukosta. Kuvat, jotka ohittivat tunnistuksen onnistuneesti, testattiin myöhemmin kirjoittajan oman identiteetin vastaisesti.

Vasemmalla, tutkimuksen kirjoittaja, aito kuva; keskellä, satunnainen kuva, joka epäonnistui tunnistuksessa; oikealla, sivullinen kuva tietokannasta, joka ohitti tunnistuksen kirjoittajan identiteetinä.

Kokeiden tavoitteena oli luoda mahdollisimman laaja kuilu havaittavien visuaalisten identiteettien välillä säilyttäen kuitenkin kohde-identiteetin määrittävät piirteet. Tätä arvioitiin Mahalanobis-etäisyydellä, mittarilla, jota käytetään kuvankäsittelyssä mallien ja temppujen etsimiseen.

Perusgeneratiiviselle mallille saadut matalaresoluutioiset tulokset näyttivät rajoitetun monimuotoisuuden, vaikka ne ohittivat paikallisen kasvojen tunnistuksen. StarGAN V2 osoittautui kykenevämmäksi luomaan monimuotoisia kuvia, jotka pystyivät todentamaan.

Kaikki kuvat, jotka näkyvät, ohittivat paikallisen kasvojen tunnistuksen. Ylempänä, matalaresoluutioiset StyleGAN -perusgeneroinnit, alhaalla, korkearesoluutioiset ja laadukkaammat StarGAN V2 -generoinnit.

Loput kolme kuvaa, jotka on esitetty yllä, käyttivät kirjoittajan omaa kasvotietokantaa sekä lähteenä että viitteenä, kun taas edelliset kuvat käyttivät koulutusaineistoa viitteenä ja kirjoittajan tietokantaa lähteenä.

Generoidut kuvat testattiin treffisovellusten Bumble ja Tinder kasvojen tunnistusjärjestelmiä vastaan, kirjoittajan identiteetin ollessa vertailukohtana, ja ne ohittivat tunnistuksen. Kirjoittajan “miehinen” generoitu kasvo ohitti myös Bumblen tunnistuksen, vaikka valaistusta piti säätää generoidussa kuvassa ennen hyväksymistä. Tinder ei hyväksynyt miesversiota.

Kirjoittajan (naisen) identiteetin ‘miehisiä’ versioita.

Johtopäätös

Nämä ovat merkittäviä kokeita identiteetin projektiossa GANin latenttiavaruuden manipuloinnin kontekstissa, joka on edelleen poikkeuksellinen haaste kuvien synteesissä ja deepfake-tutkimuksessa. Kuitenkin työ avaa konseptin erittäin spesifisten piirteiden upottamisesta johdonmukaisesti erilaisiin identiteetteihin ja “vaihtoehtoisten” identiteettien luomiseen, jotka “luetaan” jonkun toisen identiteettinä.

Julkaistu ensimmäisen kerran 30. maaliskuuta 2022.