RigNeRF: Modh Nua Deepfakes a Úsáideann Réimsí Radiant Néaracha

Tá taighde nua forbartha ag Adobe ag tairiscint an chéad mhodh deepfakes inmharthana agus éifeachtach bunaithe ar Réimsí Radiance Neural (NeRF) – b’fhéidir an chéad fhíor-nuálaíocht san ailtireacht nó sa chur chuige sna cúig bliana ó tháinig na fabhtanna doimhne chun cinn in 2017.

An modh, dar teideal RigNeRF, úsáidí Samhlacha 3d aghaidhe in-morphable (3DMManna) mar chiseal idirstitial ionstraimíochta idir an t-ionchur inmhianaithe (i.e. an chéannacht atá le cur isteach sa rindreáil NeRF) agus an spás néaraíoch, modh a úsáideadh glactha go forleathan le blianta beaga anuas trí chur chuige sintéise aghaidhe Generative Adversarial Network (GAN), nach bhfuil creataí feidhmithe agus úsáideacha d’athsholáthar aghaidh curtha ar fáil ag aon cheann acu fós le haghaidh físeáin.

Murab ionann agus físeáin deepfake traidisiúnta, níl aon chuid den ábhar atá ag gluaiseacht sa phictiúr anseo ‘fíor’, ach is spás néarúil é iniúchadh ar cuireadh oiliúint air ar phíosaí scannáin ghearra. Ar dheis feicimid an tsamhail aghaidh morphable 3D (3DMM) ag feidhmiú mar chomhéadan idir na manipulations atá ag teastáil ('aoibh gháire', 'féach ar chlé', 'féach suas', etc.) agus na paraiméadair de ghnáth-intractable de Réimse Radaíochta Néarach. léirshamhlú. Le haghaidh leagan ardtaifigh den ghearrthóg seo, mar aon le samplaí eile, féach an leathanach tionscadail, nó na físeáin leabaithe ag deireadh an ailt seo. Foinse: https://shahrukhathar.github.io/2022/06/06/RigNeRF.html

Is samhlacha aghaidheanna CGI iad 3DMManna go héifeachtach, agus is féidir na paraiméadair a oiriúnú do chórais sintéise íomhá níos teibí, mar shampla NeRF agus GAN, atá deacair a rialú ar shlí eile.

Níl an méid a fheiceann tú san íomhá thuas (íomhá lár, fear i léine gorm), chomh maith leis an íomhá díreach thíos (íomhá ar chlé, fear i léine gorm), ina fhíseán 'fíor' ina bhfuil paiste beag de ' forshuiteadh aghaidh bhréige, ach radharc iomlán sintéiseithe atá ann go hiomlán mar rindreáil toirtmhéadrach néarúil – lena n-áirítear an corp agus an cúlra:

Sa sampla go díreach thuas, úsáidtear an físeán fíor-saoil ar dheis (bean i gúna dearg) chun 'puipéad' a dhéanamh ar an gcéannacht a gabhadh (fear i léine gorm) ar chlé trí RigNeRF, a (maíonn na húdair) an chéad cheann. Córas bunaithe ar NeRF chun deighilt staide agus cainte a bhaint amach agus a bheith in ann sintéisí amhairc úra a dhéanamh.

Rinneadh an figiúr fireann ar an taobh clé san íomhá thuas a 'gabháil' ó fhíseán cliste 70-second, agus rinne na sonraí ionchuir (lena n-áirítear an fhaisnéis radharc iomlán) oiliúint ina dhiaidh sin thar 4 V100 GPUs chun an radharc a fháil.

Ós rud é go bhfuil rigí paraiméadracha ar stíl 3DMM ar fáil freisin mar seachvótálaithe CGI paraiméadracha uile-chomhlachta (seachas rigí aghaidhe amháin), d’fhéadfadh go n-osclódh RigNeRF an fhéidearthacht go ndéanfaí domhainfhabhálacha lánchorp nuair a chuirtear fíorghluaiseacht, uigeacht agus léiriú daonna ar aghaidh chuig an gciseal paraiméadrach atá bunaithe ar CGI, rud a d’aistrigh ansin gníomh agus léiriú go timpeallachtaí agus físeáin NeRF rindreáilte. .

Maidir le RigNeRF – an gcáilíonn sé mar mhodh domhainfake sa chiall reatha go dtuigeann na ceannlínte an téarma? Nó an bhfuil sé ach leath-hobbled eile freisin-rith go DeepFaceLab agus eile atá dian ar shaothar, 2017-ré autoioncoder córais deepfake?

Tá taighdeoirí an pháipéir nua gan athbhrí ar an bpointe seo:

'Ós rud é gur modh é atá in ann aghaidheanna a athbheochaint, tá seans ann go mbainfidh droch-aisteoirí mí-úsáid as RigNeRF chun bréige domhain a chruthú.'

An nua páipéar dar teideal RigNeRF: Portráidí Néaracha 3D atá Inrialaithe go hiomlán, agus tagann sé ó ShahRukh Atha ó Ollscoil Stonybrook, intéirneach ag Adobe le linn fhorbairt RigNeRF, agus ceathrar údar eile ó Adobe Research.

Thar Deepfakes Autoioncoder-bhunaithe

Táirgeann formhór na ndoimhneacht víreasach a bhfuil ceannlínte faighte acu le cúpla bliain anuas uathchódcórais bunaithe, díorthaithe ón gcód a foilsíodh ag an subreddit r/deepfakes a cuireadh cosc ​​go pras air in 2017 – cé nach raibh sé sin roimhe seo chóipeáil os a chionn chuig GitHub, áit a bhfuil sé forked faoi láthair breis agus míle uair, go háirithe isteach sa tóir (más conspóideach) DeepFaceLab dáileadh, agus freisin an babhtáil aghaidh tionscadal.

Seachas GAN agus NeRF, tá turgnaimh déanta ag creataí uath-ionchódóra le 3DMManna mar ‘threoirlínte’ do chreataí sintéise aghaidhe feabhsaithe. Sampla de seo is ea an Tionscadal HifiFace ó mhí Iúil 2021. Mar sin féin, is cosúil nár tháinig aon tionscnamh inúsáidte nó móréilimh chun cinn ón gcur chuige seo go dtí seo.

Faightear sonraí maidir le radhairc RigNeRF trí fhíseáin ghearra d’fhón cliste a ghabháil. Don tionscadal, d'úsáid taighdeoirí RigNeRF iPhone XR nó iPhone 12 le haghaidh gach turgnaimh. Don chéad leath den ghabháil, iarrtar ar an ábhar raon leathan gothaí gnúise agus cainte a dhéanamh agus a cheann a choinneáil fós mar a bhogtar an ceamara timpeall orthu.

Don dara leath den ghabháil, coinníonn an ceamara suíomh seasta agus caithfidh an t-ábhar a cheann a bhogadh thart agus raon leathan nathanna á léiriú aige. Léiríonn an 40-70 soicind de phíosa scannáin (thart ar 1200-2100 fráma) an tacar sonraí iomlán a úsáidfear chun an tsamhail a oiliúint.

Gearradh síos ar Bhailiú Sonraí

I gcodarsnacht leis sin, éilíonn córais uath-ionchódóra ar nós DeepFaceLab bailiú agus coimeád sách saothair na mílte grianghraf éagsúil, a thógtar go minic ó fhíseáin YouTube agus ó bhealaí meáin shóisialta eile, chomh maith le scannáin (i gcás domhainfhigiúirí cáiliúla).

Is minic a bheartaítear na samhlacha uath-ionchódóra oilte a bhíonn mar thoradh orthu a úsáid i gcásanna éagsúla. Mar sin féin, féadfaidh na domhainfhreagróirí 'cáiliúla' is gasta samhlacha iomlána a oiliúint ó thús d'fhíseán amháin, in ainneoin go dtógfaidh an oiliúint seachtain nó níos mó.

In ainneoin an nóta rabhaidh ó thaighdeoirí an pháipéir nua, ní dócha go mbeidh torthaí inghlactha agus comhsheasmhacha ag baint leis na ‘patchwork’ agus na tacair shonraí leathan-chóimeáilte a chumhachtaíonn porn AI chomh maith le ‘athmhúnlú domhain’ YouTube/TikTok a bhfuil tóir orthu i gcóras deepfake mar RigNeRF, a bhfuil modheolaíocht radharc-shonrach aige. I bhfianaise na srianta ar ghabháil sonraí a leagtar amach san obair nua, d’fhéadfadh sé sin, go pointe áirithe, cosaint bhreise a chruthú in aghaidh mídhílsiú ócáideach céannachta ag déantóirí doimhne mailíseacha.

NeRF a oiriúnú d'Fhíseán Deepfake

Is modh fótagraiméadracht-bhunaithe é NeRF ina gcuirtear líon beag pictiúr foinseach a tógadh ó dhearcthaí éagsúla le chéile i spás néareolaíoch 3D in-iniúchta. Tháinig an cur chuige seo chun suntais níos luaithe i mbliana nuair a nocht NVIDIA a NeRF Meandaracha córas, atá in ann na hamanna traenála exorbitant do NeRF a ghearradh síos go dtí nóiméid, nó fiú soicind:

NeRF Meandaracha. Foinse: https://www.youtube.com/watch?v=DJ2hcC1orc4

Go bunúsach is timpeallacht statach é radharc na Réimse Radaíochta Néaraigh dá bharr ar féidir a iniúchadh, ach atá deacair a chur in eagar. Tugann na taighdeoirí faoi deara go bhfuil dhá thionscnamh roimhe seo bunaithe ar NeRF - HyperNeRF + E/P agus NerFACE – tá stab déanta acu i sintéis fís aghaidhe, agus (ar mhaithe le hiomláine agus le dúthracht de réir dealraimh) tá RigNeRF socraithe acu i gcoinne an dá chreat seo i mbabhta tástála:

Comparáid cháilíochtúil idir RigNeRF, HyperNeRF, agus NerFACE. Féach ar na físeáin foinse nasctha agus PDF le haghaidh leaganacha ar chaighdeán níos airde. Foinse íomhá statach: https://arxiv.org/pdf/2012.03065.pdf

Sa chás seo, áfach, tá na torthaí, atá i bhfabhar RigNeRF, measartha aimhrialta, ar dhá chúis: ar an gcéad dul síos, tugann na húdair faoi deara ‘nach bhfuil aon obair ann cheana chun comparáid a dhéanamh idir úll agus úll’; ar an dara dul síos, bhí gá le cumas RigNeRF a theorannú chun feidhmiúlacht níos srianta na gcóras roimhe seo a mheaitseáil go páirteach ar a laghad.

Ós rud é nach feabhas incriminteach ar obair roimhe seo iad na torthaí, ach go léiríonn siad 'cinn chun cinn' in eagarthóireacht agus áirgiúlacht NeRF, fágfaimid an babhta tástála ar leataobh, agus ina ionad sin feicfimid cad atá á dhéanamh ag RigNeRF ar bhealach difriúil óna réamhtheachtaithe.

Láidreachtaí Comhcheangailte

Is é príomhtheorannú NerFACE, ar féidir leis rialú staide/léirithe a chruthú i dtimpeallacht NeRF, ná go nglacann sé leis go ngabhfar píosaí scannáin foinse le ceamara statach. Ciallaíonn sé seo go héifeachtach nach féidir leis tuairimí núíosacha a tháirgeadh a théann thar a theorainneacha gabhála. Táirgeann sé seo córas ar féidir 'portráidí gluaisteacha' a chruthú, ach atá mí-oiriúnach le haghaidh físeáin ar stíl deepfake.

Ar an láimh eile, cé go bhfuil HyperNeRF in ann radharcanna núíosacha agus hipearfhíoracha a ghiniúint, níl aon uirliseacht aige a ligeann dó cumaí cinn nó gothaí gnúise a athrú, rud nach n-eascraíonn aon chineál iomaitheoir arís le haghaidh deepfakes autoioncoder-bhunaithe.

Tá RigNeRF in ann an dá fheidhmiúlacht scoite seo a chomhcheangal trí 'spás canónach' a chruthú, bunlíne réamhshocraithe ónar féidir diallais agus dífhoirmíochtaí a achtú trí ionchur ón modúl 3DMM.

'spás canónach' a chruthú (gan staidiúir, gan slonn), ar ar féidir leis na dífhoirmíochtaí (ie staideanna agus slonn) a tháirgtear tríd an 3DMM gníomhú.

Ós rud é nach ndéanfar an córas 3DMM a mheaitseáil go díreach leis an ábhar a gabhadh, tá sé tábhachtach é seo a chúiteamh sa phróiseas. Déanann RigNeRF é seo le réimse dífhoirmithe roimhe sin a ríomhtar ó a Perceptron Multilayer (MLP) díorthaithe ón bhfoinse phíosa.

Faightear na paraiméadair ceamara atá riachtanach chun dífhoirmíochtaí a ríomh trí COLMAP, agus na paraiméadair slonn agus cruth do gach fráma a fhaightear ó DECA.

Déantar an suíomh a bharrfheabhsú tuilleadh tríd feisteas sainchomhartha agus paraiméadair cheamara COLMAP, agus, mar gheall ar shrianta acmhainní ríomhaireachta, déantar an t-aschur físeáin a íosshampláil go taifeach 256 × 256 le haghaidh oiliúna (próiseas crapadh atá srianta le crua-earraí a chuireann isteach ar radharc domhainfacála an uath-ionchódóra freisin).

Ina dhiaidh sin, cuirtear oiliúint ar an ngréasán dífhoirmithe ar na ceithre V100s – crua-earraí iontacha nach dócha go mbeidh siad laistigh de theacht ar dhíograiseoirí ócáideacha (áfach, i gcás oiliúint meaisínfhoghlama, is minic is féidir go leor ama a thrádáil, agus go simplí glacadh leis an múnla sin. beidh oiliúint ina ábhar laethanta nó fiú seachtainí).

Mar fhocal scoir, luann na taighdeoirí:

'I gcodarsnacht le modhanna eile, tá RigNeRF, a bhuíochas le húsáid modúl dífhoirmithe 3DMM-treoraithe, in ann seasamh ceann, gothaí gnúise agus an radharc portráid iomlán 3D a shamhaltú le dílseacht ard, rud a thugann athchruthuithe níos fearr le mionsonraí géara.'

Féach ar na físeáin leabaithe thíos le haghaidh tuilleadh sonraí agus píosaí scannáin torthaí.

Foilsíodh den chéad uair 15 Meitheamh 2022.