Artificial Intelligence
RigNeRF: Dòigh ùr Deepfakes a bhios a’ cleachdadh raointean rèididheachd neural
Tha rannsachadh ùr a chaidh a leasachadh aig Adobe a’ tabhann a’ chiad dòigh deepfakes obrachail is èifeachdach stèidhichte air Raointean Radiance Neural (NeRF) - is dòcha a’ chiad fhìor ùr-ghnàthachadh ann an ailtireachd no dòigh-obrach anns na còig bliadhna bho nochd deepfakes ann an 2017.
An dòigh-obrach, leis an tiotal RigNeRF, cleachdaidhean Modalan aghaidh morphable 3D (3DMMs) mar shreath eadar-roinneil de dh’ ionnstramaid eadar an cuir a-steach a tha thu ag iarraidh (ie an dearbh-aithne a thèid a chuir a-steach do chuibhreann NeRF) agus an àite neural, dòigh a chaidh a chleachdadh. gabhail ris gu farsaing anns na bliadhnachan mu dheireadh le modhan synthesis aghaidh Lìonra Adversarial Generative (GAN), agus chan eil gin dhiubh fhathast air frèaman aghaidh-aghaidh gnìomh agus feumail a thoirt gu buil airson bhidio.
Eu-coltach ri bhideothan domhainn domhainn traidiseanta, chan eil gin den t-susbaint gluasadach a chithear an seo ‘fìor’, ach an àite sin tha e na àite neural a ghabhas sgrùdadh a chaidh a thrèanadh air fiolm goirid. Air an taobh cheart chì sinn am modal aghaidh morphable 3D (3DMM) ag obair mar eadar-aghaidh eadar na h-atharrachaidhean a tha thu ag iarraidh (‘gàire’, ‘coimhead clì’, ‘coimhead suas’, msaa) agus na paramadairean mar as trice do-ruigsinneach de Raon Radiance Neural. fradharc. Airson dreach àrd-rèiteachaidh den chriomag seo, còmhla ri eisimpleirean eile, faic an duilleag pròiseict, no na bhideothan freumhaichte aig deireadh an artaigil seo. Stòr: https://shahrukhathar.github.io/2022/06/06/RigNeRF.html
Tha 3DMMn gu h-èifeachdach nam modalan aghaidh CGI, agus faodar na paramadairean aca atharrachadh gu siostaman synthesis ìomhaigh nas eas-chruthach, leithid NeRF agus GAN, a tha air dhòigh eile duilich smachd a chumail orra.
Chan eil na tha thu a’ faicinn san ìomhaigh gu h-àrd (dealbh sa mheadhan, fear ann an lèine ghorm), a bharrachd air an ìomhaigh gu h-ìosal (dealbh clì, fear ann an lèine ghorm), na bhidio ‘fìor’ anns a bheil pìos beag de ' chaidh aodann meallta a chuir a-steach, ach sealladh gu tur air a cho-chur a tha ann a-mhàin mar riochdachadh neòil tomhas-lìonaidh - a’ toirt a-steach a’ bhodhaig agus an cùl-raon:
Anns an eisimpleir gu dìreach gu h-àrd, tha am bhidio fìor air an taobh cheart (boireannach ann an èideadh dearg) air a chleachdadh gus ‘pupaidean’ an dearbh-aithne a chaidh a ghlacadh (fear ann an lèine ghorm) air an taobh chlì tro RigNeRF, a tha (tha na h-ùghdaran ag ràdh) a’ chiad fhear. Siostam stèidhichte air NeRF gus dealachadh a dhèanamh eadar seasamh agus faireachdainn fhad ‘s a tha e comasach dha syntheses sealladh ùr-nodha a dhèanamh.
Chaidh am figear fireann air an taobh chlì san ìomhaigh gu h-àrd ‘a ghlacadh’ bho bhidio fòn cliste 70-diog, agus chaidh an dàta cuir a-steach (a ’toirt a-steach fiosrachadh iomlan an t-seallaidh) a thrèanadh thairis air 4 V100 GPUs gus an sealladh fhaighinn.
Leis gu bheil feannagan parametric ann an stoidhle 3DMM rim faighinn cuideachd mar proxies CGI parametric làn-chorp (seach dìreach feannagan aghaidh), dh’ fhaodadh RigNeRF fosgladh a dhèanamh air comasachd domhainn-bodhaig làn-chorp far a bheil fìor ghluasad daonna, inneach agus faireachdainn air a chuir chun t-sreath parametric stèidhichte air CGI, a dhèanadh an uairsin gnìomh agus faireachdainn gu àrainneachdan agus bhideothan NeRF air an toirt seachad. .
A thaobh RigNeRF - a bheil e freagarrach mar dhòigh domhainn anns an t-seagh làithreach gu bheil na cinn-naidheachd a’ tuigsinn an teirm? No an e dìreach leth-hobbled eile a th’ ann cuideachd air a ruith gu DeepFaceLab agus siostaman deepfake autoencoder eile a tha dian-obrach, linn 2017?
Tha luchd-rannsachaidh a’ phàipear ùr gun teagamh air a’ phuing seo:
“Leis gur e dòigh a th’ ann a bhith ag ath-bheothachadh aghaidhean, tha RigNeRF buailteach a bhith air a mhì-chleachdadh le droch chleasaichean gus fakes domhainn a ghineadh.’
ùr pàipear leis an tiotal RigNeRF: Dealbhan Neural 3D a ghabhas smachd gu tur, agus a’ tighinn bho ShahRukh Atha à Oilthigh Stonybrook, inntearnas aig Adobe ri linn leasachadh RigNeRF, agus ceithir ùghdaran eile bho Adobe Research.
Seachad air Deepfakes stèidhichte air Autoencoder
Tha a’ mhòr-chuid de dh’ fhàsan domhainn viral a tha air cinn-naidheachd a ghlacadh thar nam beagan bhliadhnaichean a dh’ fhalbh air an toirt gu buil le fèin-chòdaiche- stèidhichte air siostaman, a thàinig bhon chòd a chaidh fhoillseachadh aig an subreddit r / deepfakes a chaidh a thoirmeasg gu sgiobalta ann an 2017 - ged nach robh sin roimhe lethbhreac thairis gu GitHub, far an deach a chuir air falbh an-dràsta còrr is mìle uair, gu h-àraidh a-steach don mhòr-chòrdte (ma tha connspaideach) DeepFaceLab sgaoileadh, agus cuideachd an Atharrachadh aghaidh pròiseact.
A bharrachd air GAN agus NeRF, tha frèamaichean autoencoder cuideachd air 3DMMn fheuchainn mar ‘stiùirichean’ airson frèaman synthesis aghaidh leasaichte. Is e eisimpleir de seo an Pròiseact HifiFace bhon Iuchar 2021. Ach, chan eil coltas gu bheil iomairtean sam bith a ghabhas cleachdadh no mòr-chòrdte air tighinn air adhart bhon dòigh-obrach seo gu ruige seo.
Gheibhear dàta airson seallaidhean RigNeRF le bhith a’ glacadh bhideothan goirid air fònaichean sgairteil. Airson a’ phròiseict, chleachd luchd-rannsachaidh RigNeRF iPhone XR no iPhone 12 airson a h-uile deuchainn. Airson a’ chiad leth den ghlacadh, thathar ag iarraidh air a’ chuspair raon farsaing de dh’ fhaireachdainnean aghaidh agus cainnt a dhèanamh fhad ‘s a chumas iad an ceann mar a tha an camara air a ghluasad timcheall orra.
Airson an dàrna leth den ghlacadh, bidh an camara a’ cumail suidheachadh stèidhichte fhad ‘s a dh’ fheumas an cuspair an ceann a ghluasad timcheall fhad ‘s a tha e a’ nochdadh raon farsaing de abairtean. Tha an 40-70 diogan de fhilm (timcheall air 1200-2100 frèam) a’ riochdachadh an dàta gu lèir a thèid a chleachdadh gus am modail a thrèanadh.
A 'gearradh sìos air cruinneachadh dàta
An coimeas ri sin, feumaidh siostaman autoencoder leithid DeepFaceLab cruinneachadh agus leigheas de mhìltean de dhealbhan eadar-mheasgte, gu tric air an toirt bho bhideothan YouTube agus seanalan meadhanan sòisealta eile, a bharrachd air bho fhilmichean (a thaobh deepfakes ainmeil).
Thathas gu tric an dùil na modalan autoencoder trèanaidh a thig às a sin a chleachdadh ann an grunn shuidheachaidhean. Ach, is dòcha gum bi na deepfakers ‘daoine ainmeil’ as luaithe a’ trèanadh mhodalan slàn bhon fhìor thoiseach airson aon bhidio, a dh’ aindeoin gum faod trèanadh seachdain no barrachd a thoirt.
A dh’ aindeoin an rabhadh bho luchd-rannsachaidh a’ phàipeir ùir, tha coltas ann nach toir an ‘patchwork’ agus na stòran-dàta farsaing a tha a’ toirt cumhachd do porn AI a bharrachd air ‘ath-chraoladh domhainn’ YouTube / TikTok toraidhean iomchaidh agus cunbhalach ann an siostam deepfake leithid RigNeRF, aig a bheil modh-obrach sònraichte airson sealladh. Leis na cuingeachaidhean air glacadh dàta a chaidh a mhìneachadh san obair ùr, dh’ fhaodadh seo, gu ìre, dearbhadh a bharrachd an aghaidh mì-chleachdadh cas air dearbh-aithne le luchd-domhain droch-rùnach.
Ag atharrachadh NeRF gu bhidio Deepfake
Tha NeRF na dhòigh stèidhichte air photogrammetry anns a bheil àireamh bheag de dhealbhan stòr a chaidh a thogail bho dhiofar sheallaidhean air an cruinneachadh ann an àite neural 3D a ghabhas sgrùdadh. Thàinig an dòigh-obrach seo gu follaiseachd na bu thràithe am-bliadhna nuair a nochd NVIDIA an dreach aige Ùrachadh luath air ìre NeRF siostam, comasach air na h-amannan trèanaidh neo-sheasmhach airson NeRF a ghearradh sìos gu mionaidean, no eadhon diogan:
Ùrachadh luath air ìre NeRF. Stòr: https://www.youtube.com/watch?v=DJ2hcC1orc4
Tha an sealladh Neural Radiance Field gu ìre mhòr na àrainneachd statach a dh’ fhaodar a sgrùdadh, ach a tha duilich a dheasachadh. Tha an luchd-rannsachaidh a’ toirt fa-near gu bheil dà iomairt roimhe stèidhichte air NeRF - HyperNeRF + E/P agus NerFACE - air stad a chuir air synthesis bhidio aghaidh, agus (a rèir coltais air sgàth iomlanachd agus dìcheall) air RigNeRF a shuidheachadh an aghaidh an dà fhrèam seo ann an cuairt deuchainn:
Coimeas càileachdail eadar RigNeRF, HyperNeRF, agus NerFACE. Faic na bhideothan stòr ceangailte agus PDF airson dreachan de chàileachd nas àirde. Stòr ìomhaigh statach: https://arxiv.org/pdf/2012.03065.pdf
Ach, anns a 'chùis seo tha na toraidhean, a tha fàbharach dha RigNeRF, gu math neo-riaghailteach, airson dà adhbhar: an toiseach, tha na h-ùghdaran a' cumail a-mach nach eil 'obair ann airson coimeas ubhal-gu-ubhal'; san dàrna h-àite, tha seo air feum a dhèanamh de chomasan RigNeRF a chuingealachadh gus co-dhiù gu ìre a bhith co-ionnan ri gnìomhachd nas cuingealaichte nan siostaman a bh' ann roimhe.
Leis nach e leasachadh mean air mhean a th’ anns na toraidhean air obair roimhe, ach an àite sin tha iad a’ riochdachadh ‘briseadh-dùil’ ann an comas deasachaidh agus goireasachd NeRF, fàgaidh sinn an deuchainn timcheall, agus an àite sin chì sinn na tha RigNeRF a ’dèanamh ann an dòigh eadar-dhealaichte bhon fheadhainn a thàinig roimhe.
Neartan Co-cheangailte
Is e prìomh chuingealachadh NerFACE, a dh’ fhaodadh smachd seasamh / faireachdainn a chruthachadh ann an àrainneachd NeRF, gu bheil e a ’gabhail ris gun tèid fiolm stòr a ghlacadh le camara statach. Tha seo gu h-èifeachdach a’ ciallachadh nach urrainn dha seallaidhean ùra a thoirt gu buil a tha a’ leudachadh nas fhaide na na crìochan glacaidh aige. Bidh seo a’ toirt a-mach siostam as urrainn ‘dealbhan gluasadach’ a chruthachadh, ach a tha mì-fhreagarrach airson bhidio ann an stoidhle deepfake.
Air an làimh eile, ged a tha e comasach dha HyperNeRF seallaidhean ùr-nodha agus fìor-fhìor a ghineadh, chan eil ionnsramaid sam bith aige a leigeas leis suidheachadh cinn no seallaidhean aghaidh atharrachadh, nach eil a-rithist a’ leantainn gu seòrsa sam bith de cho-fharpaiseach airson deepfakes stèidhichte air autoencoder.
Is urrainn do RigNeRF an dà ghnìomh iomallach sin a chur còmhla le bhith a’ cruthachadh ‘àite canonical’, bun-loidhne bunaiteach às an urrainnear gluasadan agus deformations a chuir an gnìomh tro chuir a-steach bhon mhodal 3DMM.
A’ cruthachadh ‘àite canonical’ (gun seasamh, gun abairt), air am faod na deformations (ie pos agus abairtean) a thig a-mach tron 3DMM a dhol an gnìomh.
Leis nach bi an siostam 3DMM air a mhaidseadh gu dìreach ris a’ chuspair a chaidh a ghlacadh, tha e cudromach dìoladh airson seo sa phròiseas. Bidh RigNeRF a’ coileanadh seo le raon deformation mus tèid sin a thomhas bho a Perceptron Multilayer (MLP) a thàinig bhon fhilm stòr.
Gheibhear na crìochan camara a tha riatanach gus deformations obrachadh a-mach tro COLMAP, fhad ‘s a gheibhear na paramadairean faireachdainn agus cumadh airson gach frèam bho DECA.
Tha an suidheachadh air a mheudachadh nas fheàrr troimhe uidheamachadh comharraichte agus paramadairean camara COLMAP, agus, mar thoradh air cuingealachaidhean ghoireasan coimpiutaireachd, tha an toradh bhidio air a lughdachadh gu rùn 256 × 256 airson trèanadh (pròiseas crìonadh le bathar-cruaidh a tha cuideachd a’ cur an aghaidh sealladh domhainn fèin-chòdaidh).
Às deidh seo, tha an lìonra deformation air a thrèanadh air na ceithir V100n - bathar-cruaidh làidir nach eil dualtach a bhith taobh a-staigh ruigsinneachd luchd-dealasach cas (ge-tà, far a bheil dragh air trèanadh ionnsachadh innealan, gu tric bidh e comasach malairt a dhèanamh airson ùine, agus dìreach gabhail ris a’ mhodail sin bidh trèanadh na chùis de làithean no eadhon seachdainean).
Ann an co-dhùnadh, tha an luchd-rannsachaidh ag ràdh:
'An coimeas ri dòighean eile, tha RigNeRF, mar thoradh air a bhith a' cleachdadh modal deformation treòraichte le 3DMM, comasach air suidheachadh cinn, seallaidhean aghaidh agus an sealladh làn deilbh 3D a mhodail le fìor dhìlseachd, mar sin a' toirt ath-thogail nas fheàrr le mion-fhiosrachadh geur.'
Faic na bhideothan freumhaichte gu h-ìosal airson tuilleadh fiosrachaidh agus dealbhan toraidh.
Air fhoillseachadh an toiseach air 15 Ògmhios 2022.
