D'fhéadfadh Aghaidheanna Sintéiseacha 'Díghrádaithe' Cuidiú le hAitheantas Íomhá Aghaidhe a Fheabhsú

Tá bealach cruthaithe ag taighdeoirí ó Ollscoil Stáit Michigan le haghaidh aghaidheanna sintéiseacha sos a ghlacadh ón deepfakes radharc agus déan roinnt mhaith ar fud an domhain – trí chabhrú le córais aitheantais íomhánna a bheith níos cruinne.

Tá an modúl nua sintéise aghaidhe inrialaithe (CFSM) atá ceaptha acu in ann aghaidheanna a athghiniúint i stíl píosaí scannáin faireachais físe den fhíorshaol, seachas a bheith ag brath ar na híomhánna aonfhoirmeacha ar chaighdeán níos airde a úsáidtear i dtacar sonraí foinse oscailte móréilimh de dhaoine cáiliúla, a dhéanann. ní léiríonn siad na lochtanna agus na heasnaimh go léir a bhaineann le fíorchórais TCI, mar doiléir aghaidhe, taifeach íseal, agus torann braiteora – fachtóirí a d’fhéadfadh cur isteach ar chruinneas aitheantais.

Ailtireacht choincheapúil don Mhodúl Sintéise Aghaidh Inrialaithe (CFSM). Foinse: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

Níl sé i gceist go sainiúil CFSM insamhladh fíordheimhnithe a dhéanamh ar staideanna cinn, ar shloinnte ná ar na gnáth-thréithe eile ar fad atá mar chuspóir ag córais deepfake, ach ina ionad sin chun raon tuairimí malartacha a ghiniúint i stíl an chórais aitheantais sprice, ag baint úsáide as aistriú stíl.

Tá an córas deartha chun aithris a dhéanamh ar réimse stíle an spriocchórais, agus chun a aschur a oiriúnú de réir an taifeach agus an raon 'éalúchais' atá ann. Áirítear sa chás úsáide córais oidhreachta nach dócha go ndéanfar iad a uasghrádú mar gheall ar chostais, ach ar féidir leo cur le glúin nua teicneolaíochtaí aitheantais aghaidhe faoi láthair, de bharr droch-chaighdeán an aschuir a d’fhéadfadh a bheith ar thús cadhnaíochta tráth.

Agus an córas á thástáil, fuair na taighdeoirí amach go ndearna sé gnóthachain shuntasacha ar an úrscothacht i gcórais aitheantais íomhánna a chaithfidh déileáil leis an gcineál seo sonraí torannacha agus ísealghrád.

Na samhlacha aitheantais aghaidhe a oiliúint chun oiriúnú do theorainneacha na spriocchóras. Foinse: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf

Ina theannta sin, fuair siad fotháirge úsáideach den phróiseas – go bhféadfaí na tacair shonraí sprice a shaintréithe anois agus a chur i gcomparáid lena chéile, rud a d’fhág go mbeadh sé níos fusa sa todhchaí comparáid a dhéanamh, tagarmharcáil agus giniúint tacair sonraí saincheaptha do chórais éagsúla TCI.

Ina theannta sin, is féidir an modh a chur i bhfeidhm ar thacair sonraí atá ann cheana féin, ag feidhmiú de facto oiriúnú fearainn agus iad a dhéanamh níos oiriúnaí do chórais aitheantais aghaidhe.

An páipéar nua dar teideal Sintéis Aghaidh Inrialaithe agus Treoraithe le haghaidh Aitheantas Aghaidh Neamhshrianta, tacaithe go páirteach ag Oifig an Stiúrthóra Faisnéise Náisiúnta de chuid SAM (ODNI, ag IARPA), agus tagann sé ó cheathrar taighdeoirí ag an roinn Ríomheolaíochta & Innealtóireachta ag MSU.

Ábhar Réadmhaoin

Tá aitheantas aghaidhe ar chaighdeán íseal (LQFR) anois ina réimse suntasach staidéir le cúpla bliain anuas. Toisc gur thóg údaráis chathartha agus chathrach córais físfhaireachais le bheith athléimneach agus fadtéarmach (gan a bheith ag iarraidh acmhainní a ath-leithdháileadh ar an bhfadhb go tréimhsiúil), tá go leor líonraí faireachais ‘oidhreachta’ tar éis éirí ina n-íospartaigh fiachais theicniúil, i dtéarmaí a n-inoiriúnaitheachta mar shonraí. foinsí le haghaidh foghlaim meaisín.

Leibhéil éagsúla taifeach aghaidhe thar raon de chórais faireachais físeáin stairiúla agus níos déanaí. Foinse: https://arxiv.org/pdf/1805.11519.pdf

Ar ámharaí an tsaoil, is tasc é seo a bhfuil samhlacha idirleata agus samhlacha eile atá bunaithe ar thorann oiriúnaithe go han-mhaith le réiteach. Feidhmíonn go leor de na córais sintéise íomhá is coitianta agus is éifeachtaí le blianta beaga anuas ecoola íomhánna ísealtaifigh mar chuid dá bpíblíne, cé go bhfuil sé seo fíor-riachtanach freisin do theicnící néar-chomhbhrúite (modhanna chun íomhánna agus scannáin a shábháil mar shonraí néaracha in ionad sonraí bitmap).

Cuid den dúshlán a bhaineann le haitheantas aghaidhe ná an cruinneas is mó is féidir a fháil ón íoslíon bailte fearainn is féidir a bhaint as na híomhánna ísealtaifigh is lú agus is lú tuar dóchais inti. Tá an srian seo ann ní hamháin toisc go bhfuil sé úsáideach a bheith in ann aghaidh a aithint (nó a chruthú) ar thaifeach íseal, ach freisin mar gheall ar theorainneacha teicniúla ar mhéid na n-íomhánna ar féidir leo dul tríd an spás folaigh atá ag teacht chun cinn de mhúnla atá á oiliúint i cibé Tá VRAM ar fáil ar GPU áitiúil.

Sa chiall seo, tá an téarma 'gnéithe' mearbhall, mar is féidir gnéithe den sórt sin a fháil freisin ó thacar sonraí binsí páirce. Sa fís ríomhaire earnála, ‘features’ refers to the tréithe idirdhealaitheacha faighte ó íomhánna - aon íomhánna, cibé acu an lineaments de séipéal, sléibhe, nó an diúscairt facial gnéithe i dtacar sonraí aghaidhe.

Ós rud é go bhfuil algartaim fís ríomhaireachta cumasach anois maidir le híomhánna agus píosaí scannáin a ardú, tá modhanna éagsúla molta chun ábhar faireachais leagáide ísealtaifigh nó díghrádaithe ar bhealach eile a ‘fheabhsú’, go dtí an pointe go bhféadfadh sé a bheith indéanta. méaduithe den sórt sin a úsáid chun críocha dlíthiúla, amhail duine ar leith a chur ar láthair, maidir le himscrúdú coireachta.

Chomh maith leis an bhféidearthacht misidentification, a bhfuil bhailítear ceannlínte ó am go chéile, go teoiriciúil níor cheart go mbeadh sé riachtanach hyper-réiteach nó athrú a dhéanamh ar phíosaí scannáin ísealtaifigh ar shlí eile chun duine aonair a shainaithint go dearfach, ós rud é nár cheart go mbeadh an leibhéal taifeach sin ag teastáil ó chóras aitheantais aghaidhe a chuireann isteach ar ghnéithe ísle agus soiléireacht. Thairis sin, tá claochluithe den sórt sin costasach i gcleachtas, agus ardaíonn siad breise, ceisteanna athfhillteacha thart ar a bhailíocht agus a ndlíthiúlacht ionchasach.

An Gá le Tuilleadh Daoine Cáiliúla 'Down-At-Heel'

Bheadh ​​sé níos úsáidí dá bhféadfadh córas aitheantais aghaidhe gnéithe a dhíorthú (.i. gnéithe meaisínfhoghlama de daonna gnéithe) ó aschur na gcóras oidhreachta mar atá siad, trí thuiscint níos fearr a fháil ar an ngaol idir féiniúlacht ‘ardtaifigh’ agus na híomhánna díghrádaithe atá ar fáil i gcreat faireachais físeáin do-lactha (nach féidir a athsholáthar go minic).

Is í an fhadhb atá anseo ná ceann de chaighdeáin: tacair sonraí coitianta a bhailítear ar an ngréasán mar MS-Celeb-1M agus Webface260M (i measc go leor eile), a bheith latched ar ag an bpobal taighde toisc go soláthraíonn siad tagarmharcanna comhsheasmhacha ar féidir le taighdeoirí a ndul chun cinn incriminteach nó mór a thomhas i gcoinne an úrscothacht faoi láthair.

Samplaí ó thacar sonraí MS-Celeb1m móréilimh Microsoft. Foinse: https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

Áitíonn na húdair, áfach, go bhfuil algartaim aitheantais aghaidhe (FR) atá oilte ar na tacair shonraí seo mí-oiriúnach le haghaidh 'réimsí' amhairc an aschuir ó go leor córas faireachais níos sine.

Deir an páipéar*:

'[Stát den scoth] ​​(SoTA) Ní oibríonn samhlacha FR go maith ar íomháineachas faireachais fíor-domhan (neamhshrianta) mar gheall ar shaincheist an athraithe fearainn, is é sin, na tacair shonraí oiliúna ar mhórscála (leathshrianta) a fhaightear. trí aghaidheanna cáiliúla gréasán-crawled easpa éagsúlachtaí in-an-fiáin, mar shampla torainn braite dúchasach, réiteach íseal, doiléir tairiscint, éifeacht suaiteachta, etc.

'Mar shampla, cruinneas fíoraithe 1:1 arna thuairisciú ag ceann de na samhlacha SoTA ar neamhshrianta IJB-S tá an tacar sonraí thart ar 30% níos ísle ná an tacar sonraí leathshrianta LFW.

‘Réitigh féideartha ar a leithéid de bhearna feidhmíochta is ea tacar sonraí aghaidhe neamhshrianta ar scála mór a chur le chéile. Tá sé ródheacair, áfach, a leithéid de thacar sonraí oiliúna a thógáil leis na mílte ábhar agus costas ard lipéadaithe láimhe.'

Déantar cur síos sa pháipéar ar mhodhanna éagsúla roimhe seo a rinne iarracht ‘comhoiriúnú’ a dhéanamh ar na cineálacha éagsúla aschuir ó chórais faireachais stairiúla nó ar chostas íseal, ach tugtar faoi deara gur dhéileáil siad seo le méaduithe ‘dall’. I gcodarsnacht leis sin, faigheann CFSM aiseolas díreach ó aschur fíordhomhanda an chórais sprice le linn oiliúna, agus cuireann sé é féin in oiriúint trí aistriú stíle chun aithris a dhéanamh ar an bhfearann ​​sin.

Tá an t-aisteoir Natalie Portman, nach bhfuil aon choimhthíoch ar bith leis an dornán tacair sonraí atá i gceannas ar an bpobal fís ríomhaire, i measc na bhféiniúlachtaí sa sampla seo de CFSM ag déanamh oiriúnú fearainn stíl-mheaitseála bunaithe ar aiseolas ó fhearann ​​na samhla sprice iarbhír.

Úsáideann an ailtireacht atá deartha ag na húdair Modh Comhartha Gasta Grádán (FGSM(e) na stíleanna agus na tréithe a fhaightear a ‘allmhairiú’ ó fhíor-aschur an spriocchórais. Feabhsófar an chuid den phíblíne a bheidh dírithe ar ghiniúint íomhá ina dhiaidh sin agus beidh sé níos dílis don spriocchóras le hoiliúint. Tá an t-aiseolas seo ó spás stíle tríthoiseach íseal an chórais sprice ar leibhéal íseal, agus comhfhreagraíonn sé do na tuairisceoirí amhairc díorthaithe is leithne.

Deir na húdair:

'Le haiseolas ón tsamhail FR, tá na híomhánna sintéiseithe níos tairbhí d'fheidhmíocht FR, rud a fhágann go bhfuil feabhas suntasach tagtha ar chumais ghinearálta na múnlaí FR atá oilte leo.'

Tástálacha

Bhain na taighdeoirí úsáid as MSU féin obair roimh ré mar theimpléad chun a gcóras a thástáil. Bunaithe ar na prótacail turgnamhacha céanna, bhain siad úsáid as MS-Celeb-1m, atá comhdhéanta go heisiach de ghrianghraif cáiliúla trálaeáilte ar an ngréasán, mar thacar sonraí oiliúna lipéadaithe. Ar mhaithe le cothroime, chuimsigh siad freisin MS1M-V2, ina bhfuil 3.9 milliún íomhá le 85,700 rang.

Ba iad na sonraí sprice an Tacar sonraí WiderFace, ó Ollscoil na Síne Hong Cong. Is sraith íomhánna an-ilghnéitheach é seo atá deartha le haghaidh tascanna braite aghaidhe i gcásanna dúshlánacha. Baineadh úsáid as 70,000 íomhá ón tacar seo.

Le haghaidh meastóireachta, tástáladh an córas i gcoinne ceithre thagarmharc aitheantais aghaidhe: : IJB-B, IJB-C, IJB-S, agus TinyFace.

Cuireadh oiliúint ar CFSM le ∼10% de shonraí oiliúna ó MS-Celeb-1m, timpeall 0.4 milliún íomhá, le haghaidh 125,000 atriall ag 32 méid baisce faoin Adam optimizer ag ráta foghlama (an-íseal) de 1e-4.

Úsáideadh an tsamhail aitheantais aghaidh sprice a mhodhnú de ResNet-50 don chnámh droma, le feidhm caillteanas ArcFace cumasaithe le linn na hoiliúna. Ina theannta sin, cuireadh oiliúint ar shamhail le CFSM mar chleachtadh ablation agus comparáideach (ar a dtugtar ‘ArcFace’ sa tábla torthaí thíos).

Torthaí ó na tástálacha bunscoile le haghaidh CFSM. Is fearr líon níos airde.

Tráchtann na húdair ar na príomhthorthaí:

'Feidhmíonn samhail ArcFace na bunlínte go léir i dtascanna aitheantais aghaidhe agus fíoraithe, agus baintear feidhmíocht SoTA nua amach.'

Cuireann an cumas fearainn a bhaint as saintréithe éagsúla córais faireachais oidhreachta nó tearcspeicis ar chumas na n-údar freisin an chosúlacht dáileacháin i measc na gcreat sin a chur i gcomparáid agus a mheas, agus gach córas a chur i láthair i dtéarmaí stíl amhairc a d’fhéadfaí a ghiaráil i saothar ina dhiaidh sin. .

Léiríonn samplaí ó thacair sonraí éagsúla difríochtaí soiléire i stíl.

Tugann na húdair faoi deara freisin go bhféadfadh a gcóras úsáid fiúntach a bhaint as roinnt teicneolaíochtaí a d’fhéach, go dtí seo, mar fhadhbanna le réiteach ag an bpobal taighde agus fís amháin:

'Léiríonn [CFSM] go bhféadfadh ionramháil sáraíochta dul níos faide ná a bheith ina ionsaitheoir, agus cur le cruinneas aitheantais i dtascanna físe. Idir an dá linn, sainímid méadrach cosúlachta tacair sonraí bunaithe ar na boinn stíleanna foghlamtha, a thugann na difríochtaí stíle ar bhealach agnostic lipéad nó tuar.

'Creidimid gur chuir ár dtaighde i láthair an chumhacht atá ag samhail sintéise aghaidhe inrialaithe agus treoraithe le haghaidh FR neamhshrianta agus soláthraíonn sé tuiscint ar dhifríochtaí tacair sonraí.'

* Mo thiontú ar luanna inlíne na n-údar go hipearnaisc.

Foilsíodh den chéad uair ar 1 Lúnasa 2022.