‘Mestarikasvot’, jotka voivat ohittaa yli 40%:n kasvojentunnistusjärjestelmistä

Tutkijat Israelista ovat kehittäneet neuroverkon, joka pystyy luomaan ‘mestari’ -kasvot – kasvokuvat, jotka kullekin ovat kykeneviä matkimaan useita tunnisteita. Työ osoittaa, että on mahdollista luoda tällaisia ‘mestariavaimia’ yli 40 %:lle väestöstä käyttäen vain 9 syntetisoitua kasvoa, jotka on luotu StyleGAN Generative Adversarial Network (GAN) -menetelmällä, kolmen johtavan kasvojentunnistusjärjestelmän kautta.

Tutkimus on yhteistyö Blavatnikin tietotieteellisen koulun ja sähkötekniikan koulun välillä, molemmat Tel Avivin yliopistossa.

Järjestelmän testaamisen aikana tutkijat totesivat, että yksittäinen luotu kasvo voisi avata 20 %:n kaikista tunnisteista Massachusettsin yliopiston Labeled Faces in the Wild (LFW) -avoin lähdekooditietokanta, jota käytetään yleisesti kasvojentunnistusjärjestelmien kehittämiseen ja testaamiseen, sekä Israeli järjestelmän vertailutietokanta.

Israeli järjestelmän työkalu, joka käyttää StyleGAN -luojaa etsimään ‘mestarikasvoja’. Lähde: https://arxiv.org/pdf/2108.01077.pdf

Uusi menetelmä parantaa vastaavaa aiempaa tutkimusta Sienan yliopistosta, joka vaatii etuoikeutetun pääsyn koneoppimisalustaan. Sen sijaan uusi menetelmä päättelee yleistetyt piirteet julkisesti saatavilla olevasta aineistosta ja käyttää niitä luomaan kasvonpiirteitä, jotka kattavat laajan määrän tunnisteita.

Kehittyvät Mestarikasvot

StyleGAN käytetään aluksi tässä lähestymistavassa mustan laatikon optimointimenetelmänä, joka keskittyy (ei yllättäen) korkean dimensionaalisuuden dataan, koska on tärkeää löytää laajimmat ja yleisimmät kasvonpiirteet, jotka tyydyttävät tunnistusjärjestelmän.

Tätä prosessia toistetaan iteratiivisesti kattamaan identiteettejä, jotka eivät olleet koodattu alkuperäisessä läpiajossa. Eri testiolosuhteissa tutkijat totesivat, että he pystyivät saamaan tunnistuksen 40-60 %:lle vain yhdeksällä luodulla kuvalla.

Peräkkäiset ‘mestarikasvot’, jotka saavutettiin tutkimuksessa eri hakumenetelmien avulla, mukaan lukien LM-MA-ES. Keskimääräinen joukkojen kattavuus (MSC, tarkkuuden mittari) on mainittu kunkin kuvan alla.

Järjestelmä käyttää evoluutiomenetelmää, joka on kytketty neuroverkkoprediktoriin, joka arvioi nykyisen ‘ehdokkaan’ todennäköisyyttä yleistää paremmin kuin p-prosentti ehdokkaita, jotka on luotu aiemmissa läpiajoissa.

Luotujen ehdokkaiden suodatus Israeli järjestelmän arkkitehtuurissa.

LM-MA-ES

Projekti käyttää Limited-Memory Matrix Adaptation (LM-MA-ES) -algoritmia, joka on kehitetty vuonna 2017 aloitteelle, jota johti Machine Learning for Automated Algorithm Design -tutkimusryhmä, lähestymistapa, joka sopii hyvin korkean dimensionaalisuuden mustan laatikon optimointiin.

LM-MA-ES antaa satunnaisia ehdokkaita. Vaikka tämä sopii hyvin projektin tarkoituksiin, tarvitaan lisäkomponentti, jotta voidaan päätellä, mitkä kasvot ovat parhaat ehdokkaat ristitunnistamiseen. Sen vuoksi tutkijat loivat ‘Menestyjäennustajan’ neuroverkkoluokittelijan, joka siivilöi ehdokkaiden tulvan parhaimpiin sopiviin kasvoihin tehtävään.

Menestyjäennustajan perustelu, jota käytetään Israeli kasvojentunnistusprojektissa.

Arviointi

Järjestelmää testattiin kolmen CNN-pohjaisen kasvojentunnistimen kanssa: SphereFace, FaceNet ja Dlib, kunkin järjestelmäarkkitehtuuriin sisältyy samankaltainen mittari ja häviöfunktio, jotka ovat hyödyllisiä järjestelmän tarkkuuden validointiin.

Menestyjäennustaja on etenevä neuroverkko, joka koostuu kolmesta täysin kytketystä kerroksesta. Ensimmäisessä niistä käytetään BatchNorm-sääntöä varmistamaan aineiston johdonmukaisuus ennen aktivoimista. Verkko käyttää ADAM:ia optimoijana, jossa on rohkea oppimisnopeus 0,001 32 syötekuvan erissä.

Kolmen arkkitehtuurin tulokset.

Kaikki kolme algoritmia testattiin 26 400 soveltamiskutsun ajan samojen viiden siemenien kanssa.

Tutkijat olivat jo osoittaneet, että pitemmät koulutusprosessit eivät hyödyttäneet järjestelmää; tehokkaasti Israeli lähestymistapa pyrkii johtamaan avaindataa varhaisesta vaiheesta mallin koulutuksesta, jossa vain korkeimmat piirteet ovat vielä havaittavissa. On huomattava, että tämä on jonkinlainen lahja järjestelmän taloudellisuuden kannalta.

Tutkijat olivat jo asettaneet vertailutulokset Facebookin Python-pohjaisen NeverGrad -gradienttivapaan optimointiympäristön kanssa, järjestelmä profiloitiin useiden eri algoritmien, mukaan lukien erilaiset Differential Evolution -heuristiikan versiot.

Tutkijat totesivat, että ‘ahne’ lähestymistapa, joka perustui Dlibiin, ylitti kilpailijansa ja onnistui luomaan yhdeksän mestarikasvoa, jotka pystyivät avaamaan 42-64 %:n testidatasaati. Järjestelmän Menestyjäennustajan soveltaminen paransi näitä erittäin suotuisia tuloksia.

Tutkimus väittää, että ‘kasvojen perusteella tapahtuva todennus on erittäin haavoittuvainen, jopa silloin, kun ei ole tietoa kohdetunnisteesta’, ja tutkijat pitävät aloitteensa oikeutettuna lähestymistapana turvallisuusloukkauksen metodologiaan kasvojentunnistusjärjestelmissä.