Brath Deepfake Bunaithe ar Thréithe Bunúla Bithmhéadracha Daonna

Molann páipéar nua ó thaighdeoirí san Iodáil agus sa Ghearmáin modh chun físeáin dhoimhne a bhrath bunaithe ar iompraíocht aghaidhe agus gutha bithmhéadrach, seachas déantúsáin a chruthaíonn córais sintéise aghaidhe, réitigh chomharthaí uisce costasacha, nó cur chuige níos dothuigthe eile.

Éilíonn an creat ionchur de 10 nó níos mó físeáin éagsúla, neamh-bhréige den ábhar. Mar sin féin, ní gá é a oiliúint go sonrach, a athoiliúint nó a mhéadú ar fhíseáin de réir an cháis, toisc go bhfuil a samhail ionchorpraithe tar éis na hachair veicteoirí dóchúla idir físeáin fhíora agus fhíseáin bhréige a asbhaint ar bhealach atá infheidhme go ginearálta.

Tá foghlaim chodarsnachta mar bhonn agus mar thaca ag cur chuige POI-Fóiréinseach. Déantar veicteoirí a dhíorthaítear ó bhunábhar ar bhonn cás in aghaidh an cháis a chur i gcomparáid leis na veicteoirí céanna i bhfíseán a d’fhéadfadh a bheith bréagach, le gnéithe agus tréithe a bhaintear as comhpháirteanna físe agus fuaime araon den phíosa scannáin a d’fhéadfadh a bheith bréige. Foinse: https://arxiv.org/pdf/2204.03083.pdf

Dar teideal POI-Fóiréinsic, braitheann an cur chuige ar ghluaiseacht agus ar leideanna fuaime atá uathúil don duine aonair atá á ndoimhneacht.

Cé go bhféadfadh a leithéid de chóras creataí fíordheimhnithe ‘réamhsholáthair’ uathoibrithe a cheadú do dhaoine cáiliúla, do pholaiteoirí, do lucht tionchair YouTube, agus do dhaoine eile a bhfuil go leor ábhar físe ar fáil go héasca dóibh, d’fhéadfaí é a oiriúnú freisin i gcreat ina mbeadh gnáth-íospartaigh ann. d’fhéadfadh ardán a bheith ag teicneolaíochtaí deepfake chun neamhdhlisteanacht na n-ionsaithe ina gcoinne a chruthú.

Amharcléiriú ar ghnéithe a bhaintear as físeáin fhíora agus bhréige thar cheithre ábhar in POI-Fóiréinsic, tríd an creat t-SNE.

Maíonn na húdair go mbaineann POI-Forensics úrscothacht nua amach maidir le braiteadh domhainfhéideartha. Thar raon tacair sonraí coitianta sa réimse seo, tuairiscítear go bhfuil feabhas 3%, 10% agus 7% ag an gcreat ar scóir AUC d’fhíseáin ar ardchaighdeán, ar chaighdeán íseal agus ar fhíseáin ‘ionsaithe’, faoi seach. Geallann na taighdeoirí scaoileadh an cód go luath.

Feidhmíocht POI-Fóiréinseach i gcoinne creataí iomaíocha SOTA pdfDC, DeepFakeTIMIT, BréigeAVCelebV2, agus KoDF. Rinneadh oiliúint i ngach cás ar FaceForensics ++ agus na húdair féin ID-Nocht ar VoxCeleb2. I measc na dtorthaí tá físeáin ar ardchaighdeán agus ar chaighdeán íseal.

Deir na húdair:

‘Déantar an oiliúint go heisiach ar fhíseáin fhíorchainteacha, dá bhrí sin ní bhraitheann an brathadóir ar aon mhodh ionramhála ar leith agus tugann sé an cumas ginearálaithe is airde. Ina theannta sin, is féidir lenár modh ionsaithe aonmhódúlachta (clos-amháin, físeáin amháin) agus il-mhódúlacht (fuaime-físeán) a bhrath, agus tá sé láidir d'fhíseáin ar chaighdeán íseal nó truaillithe trí thógáil ar ghnéithe ardleibhéil shéimeantacha amháin. .'

An nua páipéar, a ionchorpraíonn gnéithe de chuid de na húdair atá bunaithe ar fhís ID-Nocht tionscadal 2021, dar teideal Closamhairc Duine Suimiúil Braith DeepFake, agus is comhiarracht í idir Ollscoil Federico II i Napoli agus Ollscoil Theicniúil München.

Cluiche ar líne An Rás Armas Deepfake

Chun córas braite den chineál seo a shárú, bheadh ​​an cumas ag teastáil ó chórais deepfake agus sintéise daonna ar a laghad leideanna bithmhéadracha amhairc agus fuaime a insamhladh ó sprioc beartaithe na sintéise - teicneolaíocht atá blianta fada ar shiúl, agus ar dócha go bhfanfaidh sí faoi réim an tsintéise. córais dúnta chostasacha agus dhílseánaigh arna bhforbairt ag cuideachtaí VFX, a mbeidh buntáiste acu ó chomhar agus rannpháirtíocht na spriocanna atá beartaithe (nó a n-eastáit, i gcás ionsamhladh daoine éagtha).

Dhírigh cur chuige na n-údar roimhe seo, ID-Reveal, go hiomlán ar fhaisnéis amhairc. Foinse: https://arxiv.org/pdf/2012.02512.pdf

Modhanna deepfake rathúla agus tóir ar nós babhtáil aghaidh agus DeepFaceLab/Beo faoi ​​láthair tá acmhainn nialasach chun comhfhogasú gráinneach bithmhéadrach den sórt sin a chruthú, ag brath ar an duine cumasach sa chás is fearr aithriseoirí ar a gcuirtear an chéannacht bhréige i bhfeidhm, agus i bhfad níos coitianta ar phíosaí scannáin in-an-fiáin de dhaoine 'cosúla'. Ní fhágann struchtúr chroíchód 2017, nach bhfuil mórán modúlachta ann agus atá fós mar fhoinse in aghaidh an tsrutha do DFL agus FaceSwap, an cineál seo feidhmiúlachta indéanta ach an oiread.

Tá an dá phacáiste deepfake ceannasach seo bunaithe ar uath-ionchódóirí. Is féidir le modhanna malartacha sintéise daonna úsáid a bhaint as Líonra Sáraimh Ghiniteach (GAN) nó Réimse Radaíochta Néarach (NeRF(c) cur chuige maidir le céannacht an duine a athchruthú; ach tá na blianta oibre amach romhainn sa dá líne taighde seo fiú chun físeáin dhaonna fótaréalaíoch a tháirgeadh.

Cé is moite d’fhuaim (guthanna bréige), tá insamhalta bithmhéadrach i bhfad síos ar liosta na ndúshlán atá roimh shintéis íomhá an duine. Ar aon nós, ní dhéanann atáirgeadh todhmad agus cáilíochtaí eile an ghutha daonna a atáirgeadh ar a ecentricities agus ‘insíonn’, nó an bealach a úsáideann an t-ábhar fíor tógáil shéimeantach. Dá bhrí sin ní réitíonn fiú foirfeacht insamhalta gutha a ghintear le AI an balla dóiteáin féideartha a bhaineann le barántúlacht bithmhéadrach.

Ag Arxiv amháin, tá roinnt straitéisí braite deepfake agus nuálaíocht scaoileadh gach seachtain. Tá cur chuige le déanaí ag brath ar Aonchineálacht Gutha-Aghaidh, Histeagram Áitiúil Patrún Dénártha (FF-LBPH), dearcadh daonna ar dhoimhneas fuaime, anailís a dhéanamh ar aghaidh teorainneacha, cuntasaíocht do dhíghrádú físeáin, agus ‘Bailistíocht Fhóiréinseach’ – i measc go leor eile.

Tá anailís histeagraim deighilte i measc na dteicníochtaí is déanaí a thairgtear chun braiteadh domhainfhéith a fheabhsú. Foinse: https://arxiv.org/pdf/2203.09928.pdf

Cur Chuige, Sonraí agus Ailtireacht

Glacann POI-Forensics cur chuige ilmhódach maidir le fíorú aitheantais, ag baint úsáide as bithmhéadracht bhog bunaithe ar leideanna amhairc agus fuaime. Tá líonraí fuaime agus físe ar leithligh sa chreat, a fhaigheann sonraí veicteora tréithiúla ar deireadh ar féidir iad a chur i gcomparáid leis na gnéithe céanna a bhaintear as i bhfíseán domhainfhéideartha atá á staidéar.

An ailtireacht choincheapúil POI-Fóiréinsic.

Is féidir anailís ar leith (fuaime nó físeáin) agus comhleá a dhéanamh ar spriocchlipíní, ag teacht ar innéacs cosúlachta POI ar deireadh. Tá an fheidhm caillteanais chodarsnachta a úsáidtear bunaithe ar 2021 comhoibriú acadúil idir Google Research, Ollscoil Boston, Snap Inc., agus MIT.

Roinneadh an bunachar sonraí ar bhonn in aghaidh an aitheantais. Baineadh úsáid as 4608 céannacht le haghaidh oiliúna, agus fuílleach 512 le haghaidh bailíochtaithe. Eisíodh an 500 céannacht a úsáideadh in FakeAVCelebV2 (iarrthóir tástála, féach thíos) chun torthaí neamhpholacha a fháil.

Cuireadh oiliúint ar an dá líonra ar feadh 12 ré ag méid neamhghnách mór de 2304 mbaisceanna in aghaidh na tréimhse, le gach baisc comhdhéanta de mhíreanna físe 8 × 8 - 8 mír le haghaidh 8 bhféiniúlacht dhifriúla. Baineadh úsáid as an optimizer Adam le meáchain caillteanas díchúpláilte ag ráta foghlama de10^-4, agus laghdú meáchain 0.01.

Tástáil agus Torthaí

Ba iad na tacair sonraí deepfake a tástáladh don tionscadal ná an réamhamharc tacar sonraí Dúshlán Braite DeepFake, ina bhfuil babhtálacha aghaidhe thar 68 ábhar, as ar roghnaíodh 44 féiniúlacht a bhfuil níos mó ná naoi bhfíseán gaolmhara acu, arb ionann iad agus 920 físeán fíor agus 2925 físeán bréige; DeepFake-TIMIT, tacar sonraí bunaithe ar GAN ina bhfuil 320 físeán de 32 ábhar, ina bhfuil 290 físeán fíor agus 580 físeán bréige ar feadh ceithre soicind ar a laghad; BréigeAVCelebV2, comhdhéanta de 500 físeán fíor ó Voxceleb2, agus thart ar 20,000 físeán bréige ó thacair sonraí éagsúla, ar cuireadh fuaim chlónáilte falsa leo le SV2TTS le haghaidh comhoiriúnachta; agus KoDF, tacar sonraí domhainfake Cóiréach a bhfuil 403 aitheantas falsa ann trí FaceSwap, DeepFaceLab, agus FSGAN, chomh maith le trí Mhúnla Tairisceana Céad Ordú (FOMM).

Tá sintéis aghaidh fuaime-tiomáinte sa dara ceann freisin ATFHP, agus aschur ó Wav2 liopaí, agus na húdair ag baint úsáide as tacar sonraí díorthaithe ina bhfuil 276 fhíseán fíor agus 544 físeán bréige.

Áiríodh leis na méadrachtaí a úsáideadh achar faoi chuar saintréithe oibriúcháin an ghlacadóra (AUC), agus ‘ráta aláraim bhréige’ thart ar 10%, a bheadh ​​fadhbach i gcreatanna a ionchorpraíonn agus a chuireann oiliúint ar shonraí bréige, ach is ábhar imní é nach nglacann POI-Forensics ach fíorphíosaí scannáin mar ionchur.

Rinneadh tástáil ar na modhanna i gcoinne an Seferbekov brathadóir deepfake, a bhain an chéad áit amach i mBraith Kaggle Deepfake Dúshlán; FTCN (Líonra Comhtháite Iomlán Ama), comhoibriú idir Ollscoil Xiamen na Síne agus Microsoft Research Asia; LipForensics, comhobair 2021 idir Imperial College London agus Facebook; agus ID-Nocht, réamhthionscadal de chuid roinnt taighdeoirí an pháipéir nua, a fhágann gné fuaime ar lár, agus a úsáideann Múnlaí Morphable 3D i gcomhar le cás cluiche sáraíochta chun aschur falsa a bhrath.

I dtorthaí (féach an tábla níos luaithe thuas), d'éirigh le POI-Forensics an ceannaire tagartha Seferbekov 2.5% in AUC, agus 1.5% i dtéarmaí cruinnis. Bhí feidhmíocht níos iomaíche ná tacair shonraí eile sa Cheanncheathrú.

Mar sin féin, léirigh an cur chuige nua ceannasaíocht shuntasach ar gach modh tagartha iomaíoch d’fhíseáin ar chaighdeán íseal, a bhfuil an an scéal is dócha inar féidir le deepfakes amadán a dhéanamh ar lucht féachana ócáideach, bunaithe ar chomhthéacsanna an 'fhíorshaoil'.

Dearbhaíonn na húdair:

'Go deimhin, sa chás dúshlánach seo, ní leanann ach cineálacha cur chuige atá bunaithe ar fhéiniúlacht ag soláthar feidhmíochta maith, mar go mbraitheann siad ar ghnéithe ardleibhéil shéimeantacha, atá sách láidir do laguithe íomhá.'

Ag cur san áireamh nach n-úsáideann PIO-Forensics ach fíorfhíseáin mar bhunábhar, d’fhéadfaí a mhaíomh go bhfuil an méid a baineadh amach méadaithe, agus molann sé gur fiúntach an bealach chun éalú ón ‘cogadh fuar déantán’ idir bogearraí deepfake agus braiteadh domhainfake úsáid a bhaint as tréithe dúchasacha bithmhéadracha na n-íospartach domhainfake ionchasach. réitigh.

I dtástáil deiridh, chuir na taighdeoirí torann sáraíochta leis an ionchur, modh ar féidir leis na haicmitheoirí a amadán go hiontaofa. An venerable anois modh comhartha grádán tapa tá an-éifeachtach fós, maidir leis seo.

De réir dealraimh, laghdaigh straitéisí ionsaithe sáraíochta an ráta ratha thar gach modh agus tacar sonraí, agus thit AUC in incrimintí idir 10% go 38%. Mar sin féin, ní raibh ach POI-Fóiréinseach, agus modh ID-Nochtadh níos luaithe na n-údar in ann feidhmíocht réasúnta a choinneáil faoin gcás ionsaí seo, rud a thugann le tuiscint go bhfuil na gnéithe ardleibhéil a bhaineann le bithmhéadracht bhog an-resistant d'imghabháil braite domhainfake.

Tugann na húdair i gcrích:

'Ar an iomlán, creidimid gur céim chun tosaigh é ár modh; go háirithe, tá úsáid gnéithe séimeantacha ardleibhéil ina bhealach geallta don todhchaí le haghaidh taighde. Ina theannta sin, d'fhéadfaí an anailís ilmhódach a shaibhriú tuilleadh trí níos mó faisnéise ó réimsí eile amhail sonraí téacsúla a áireamh.'

Foilsíodh den chéad uair ar 8 Aibreán 2022.