Verifikim 'kreativ' i fytyrës me rrjetet gjeneruese kundërshtare

Një studim i ri nga Universiteti Stanford ka propozuar një metodë të sapolindur për të mashtruar sistemet e vërtetimit të fytyrës në platforma të tilla si aplikacionet e takimeve, duke përdorur një Rrjeti i kundërshtarëve gjenerues (GAN) për të krijuar imazhe alternative të fytyrës që përmbajnë të njëjtin informacion thelbësor ID si një fytyrë reale.

Metoda anashkaloi me sukses proceset e verifikimit të fytyrës në aplikacionet e takimeve Tinder dhe Bumble, në një rast madje duke kaluar një fytyrë të ndërruar gjinore (mashkull) si autentike për identitetin burimor (femër).

Identitete të ndryshme të krijuara që paraqesin kodimin specifik të autorit të punimit (të paraqitur në imazhin e parë më lart). Burimi: https://arxiv.org/pdf/2203.15068.pdf

Sipas autorit, vepra përfaqëson përpjekjen e parë për të anashkaluar verifikimin e fytyrës me përdorimin e imazheve të krijuara që janë të mbushura me tipare specifike identiteti, por që tentojnë të përfaqësojnë një identitet alternativ ose të ndryshuar në thelb.

Teknika u testua në një sistem lokal të personalizuar të verifikimit të fytyrës, dhe më pas performoi mirë në testet e kutisë së zezë kundër dy aplikacioneve për takime që kryejnë verifikimin e fytyrës në imazhet e ngarkuara nga përdoruesit.

Ri letër titullohet Anashkalimi i verifikimit të fytyrës, dhe vjen nga Sanjana Sarda, një studiuese në Departamentin e Inxhinierisë Elektrike në Universitetin Stanford.

Kontrollimi i hapësirës së fytyrës

Megjithëse 'injekton' veçori specifike të ID-së (p.sh. nga fytyrat, Shenjat rrugore, etj.) në imazhe të krijuara është një element kryesor i sulmet kundërshtare, studimi i ri sugjeron diçka ndryshe: atë të sektorit të kërkimit aftësi në rritje në kontrolluar hapësira latente e GAN-ve do të mundësojë përfundimisht zhvillimin e arkitekturave që mund të krijojnë në përputhje identitete alternative ndaj atij të një përdoruesi - dhe, në mënyrë efektive, mundësojnë nxjerrjen e veçorive të identitetit nga imazhet e disponueshme në ueb të një përdoruesi që nuk dyshon për t'u futur në një identitet të krijuar "në hije".

Konsistenca dhe lundrueshmëria kanë qenë sfidat kryesore në lidhje me hapësirën latente të GAN që nga fillimi i Rrjeteve Kundërshtare Gjenerative. Një GAN që ka asimiluar me sukses një koleksion imazhesh trajnimi në hapësirën e tij latente nuk ofron një hartë të lehtë për të 'shtyrë' tiparet nga një klasë në tjetrën.

Ndërsa teknikat dhe mjetet si Harta e Aktivizimit të Klasës me peshë gradient (Grad-CAM) mund të ndihmojë për të vendosur drejtime latente ndërmjet klasave të vendosura, dhe mundëson transformimet (shih imazhin më poshtë), sfida e mëtejshme e ngatërrim zakonisht bën një udhëtim 'të përafërt', me kontroll të imët të kufizuar të tranzicionit.

Një udhëtim i përafërt midis vektorëve të koduar në hapësirën latente të një GAN, duke shtyrë një identitet mashkullor të nxjerrë nga të dhënat në kodimet 'femërore' në anën tjetër të njërit prej shumë hiperplaneve lineare në hapësirën latente komplekse dhe misterioze. Imazhi i marrë nga materiali në https://www.youtube.com/watch?v=dCKbRCUyop8

Aftësia për të 'ngrirë' dhe për të mbrojtur veçoritë specifike të ID-së ndërsa i zhvendos ato në kodime transformuese diku tjetër në hapësirën latente potencialisht bën të mundur krijimin e një individi të qëndrueshëm (dhe madje edhe të gjallë) identiteti i të cilit lexohet nga sistemet e makinerive si dikush tjetër.

Metoda e dërgesës

Autorja përdori dy grupe të dhënash si bazë për eksperimentet: një grup të dhënash të përdoruesve njerëzorë i përbërë nga 310 imazhe të fytyrës së saj që përfshin një periudhë prej katër vjetësh, me ndriçim, moshë dhe kënde shikimi të ndryshme), me fytyra të prera të nxjerra nëpërmjet Kafe; dhe 108,501 imazhe të balancuara racore në FairFace grup i të dhënave, i nxjerrë dhe i prerë në mënyrë të ngjashme.

Modeli lokal i verifikimit të fytyrës është nxjerrë nga një zbatim bazë i FaceNet thellë, të trajnuar paraprakisht në Fillimi i ConvNet, me çdo imazh të përfaqësuar nga një vektor 128-dimensional.

Qasja përdor imazhet e fytyrave nga një nëngrup i trajnuar nga FairFace. Për të kaluar verifikimin e fytyrës, distanca e llogaritur e shkaktuar nga një imazh Norma Frobenius kompensohet me përdoruesin e synuar në bazën e të dhënave. Çdo imazh nën pragun e 0.7 barazohet me të njëjtin identitet, përndryshe verifikimi konsiderohet se ka dështuar.

Një model StyleGAN u rregullua mirë në grupin e të dhënave personale të autorit, duke prodhuar një model që do të gjeneronte variacione të dallueshme të identitetit të saj, megjithëse asnjë nga këto imazhe të krijuara nuk ishte identike me të dhënat e trajnimit. Kjo u arrit nga ngrirje katër shtresat e para në diskriminues, për të shmangur mbipërshtatjen e të dhënave dhe për të prodhuar rezultate të larmishme.

Megjithëse imazhe të ndryshme u morën me modelin bazë StyleGAN, rezolucioni i ulët dhe besnikëria nxitën një përpjekje të dytë me StarGAN V2, i cili lejon trajnimin e imazheve të farës drejt një fytyre të synuar.

Modeli StarGAN V2 u trajnua paraprakisht për afërsisht 10 orë duke përdorur grupin e vlefshmërisë FairFace, në një madhësi grupi prej katër dhe një madhësi vërtetimi prej 8. Në qasjen më të suksesshme, grupi i të dhënave personale të autorit u përdor si burim me të dhënat e trajnimit si një referencë.

Eksperimentet e verifikimit

Një model verifikimi i fytyrës u ndërtua bazuar në një nëngrup prej 1000 imazhesh, me synimin për të verifikuar një imazh arbitrar nga grupi. Imazhet që kaluan verifikimin me sukses u testuan më pas kundër ID-së së vetë autorit.

Në të majtë, autori i gazetës, një foto e vërtetë; mes, një imazh arbitrar që dështoi në verifikim; djathtas, një imazh i palidhur nga grupi i të dhënave që kaloi verifikimin si autor.

Objektivi i eksperimenteve ishte të krijonte një hendek sa më të gjerë që të ishte e mundur midis identitetit vizual të perceptuar duke ruajtur tiparet përcaktuese të identitetit të synuar. Kjo u vlerësua me Distanca e Mahalanobis, një metrikë e përdorur në përpunimin e imazhit për kërkimin e modeleve dhe shablloneve.

Për modelin gjenerues bazë, rezultatet e marra me rezolucion të ulët shfaqin diversitet të kufizuar, pavarësisht kalimit të verifikimit lokal të fytyrës. StarGAN V2 u tregua më i aftë për të krijuar imazhe të ndryshme që ishin në gjendje të vërtetoheshin.

Të gjitha imazhet e përshkruara kaluan verifikimin lokal të fytyrës. Më sipër janë gjeneratat bazë StyleGAN me rezolucion të ulët, më poshtë gjeneratat StarGAN V2 me rezolucioni më të lartë dhe me cilësi më të lartë.

Tre imazhet e fundit të ilustruara më sipër përdorën të dhënat e fytyrave të vetë autorit si burim dhe referencë, ndërsa imazhet e mëparshme përdorën të dhënat e trajnimit si referencë dhe grupin e të dhënave të autorit si burim.

Imazhet e krijuara që rezultuan u testuan kundër sistemeve të verifikimit të fytyrës të aplikacioneve të takimeve Bumble dhe Tinder, me identitetin e autorit si bazë, dhe kaluan verifikimin. Një brez 'mashkullor' i fytyrës së autorit kaloi gjithashtu procesin e verifikimit të Bumble, megjithëse ndriçimi duhej rregulluar në imazhin e krijuar përpara se të pranohej. Tinder nuk e pranoi versionin mashkullor.

Versione 'mashkullore' të identitetit të autorit (femër).

Përfundim

Këto janë eksperimente thelbësore në projeksionin e identitetit, në kontekstin e manipulimit të hapësirës latente GAN, i cili mbetet një sfidë e jashtëzakonshme në sintezën e imazheve dhe kërkimin e falsifikimit të thellë. Megjithatë, puna hap konceptin e përfshirjes së veçorive shumë specifike në mënyrë të vazhdueshme në identitete të ndryshme dhe të krijimit të identiteteve 'alternative' që 'lexohen' si dikush tjetër.

Botuar për herë të parë më 30 mars 2022.