NeRF: An Dúshlán a bhaineann le hEagar a chur ar Ábhar Réimsí Radiance Néaracha

Níos luaithe i mbliana chuir NVIDIA Réimsí Radiance Neural chun cinn (NeRF) taighde go háirithe le InstantNeRF, de réir dealraimh in ann radhairc néaracha in-iniúchta a ghiniúint i soicindí díreacha – ó theicníc a, nuair a cinn in 2020, is minic a thóg sé uaireanta nó fiú laethanta chun oiliúint a dhéanamh.

Soláthraíonn InstantNeRF NVIDIA torthaí iontacha tapa. Foinse: https://www.youtube.com/watch?v=DJ2hcC1orc4

Cé go gcruthaíonn an cineál seo idirshuíomh radharc statach, tá NeRF in ann freisin ag léiriú gluaiseachta, agus eagarthóireacht bhunúsach 'cóipeáil agus greamaigh', áit ar féidir NERFanna aonair a chomhthiomsú radhairc ilchodacha or a cuireadh isteach isteach radhairc atá ann cheana féin.

Nested NeRFs, le feiceáil i dtaighde 2021 ó Shanghai Tech University agus DGene Digital Technology. Foinse: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Mar sin féin, má tá tú ag iarraidh idirghabháil a dhéanamh i NeRF ríofa agus rud éigin atá ar siúl laistigh de a athrú i ndáiríre (ar an mbealach céanna is féidir leat gnéithe a athrú i radharc traidisiúnta CGI), tháinig luas tapa spéis na hearnála chun cinn. an- cúpla réitigh go dtí seo, agus níl aon cheann a thosaíonn fiú ag teacht le cumais sreafaí oibre CGI.

Cé go bhfuil meastachán céimseata riachtanach chun radharc NeRF a chruthú, tá an toradh deiridh comhdhéanta de luachanna atá cothrom 'glas'. Cé go bhfuil roinnt dul chun cinn á ndéanamh i dtreo luachanna uigeachta a athrú i NeRF, ní mogaill pharaiméadracha iad na réad réada i radharc NeRF ar féidir iad a chur in eagar agus a imirt faoi, ach níos cosúla le scamaill phointe brittle agus reoite.

Sa chás seo, is dealbh (nó sraith dealbh, i NeRFanna físeáin) é duine rindreáilte go bunúsach; is uigeachtaí iad na scáthanna a chaith siad orthu féin agus rudaí eile, seachas ríomhaireachtaí solúbtha bunaithe ar fhoinsí solais; agus tá ineagarthóireacht ábhar NeRF teoranta do na roghanna a dhéanann an grianghrafadóir a thógann na grianghraif ó fhoinsí tearca óna ngintear an NeRF. Fanann paraiméadair mar scáthanna agus staidiúir neamh-in eagar, in aon chiall chruthaitheach.

NeRF-Eagarthóireacht

Tugann comhoibriú taighde acadúil nua idir an tSín agus an RA aghaidh ar an dúshlán seo le NeRF-Eagarthóireacht, i gcás ina mbaintear mogaill seachfhreastalaí CGI as NeRF, dífhoirmithe de réir toil an úsáideora, agus aistrítear na dífhoirmíochtaí ar ais go dtí ríomhanna néaracha an NeRF:

Puipéadóireacht NeRF le NeRF-eagarthóireacht, mar go gcuirtear na dífhoirmíochtaí a ríomhtar ón scannán i bhfeidhm ar phointí coibhéiseacha taobh istigh d’ionadaíocht NeRF. Foinse: http://geometrylearning.com/NeRFEditing/

Déanann an modh oiriúnú an NeuS Teicníc atógálach 2021 SAM/Síne, a bhaineann a Feidhm Fad Sínithe (SDF, modh i bhfad níos sine d'athfhoirgniú toirtmhéadrach) atá in ann an chéimseata a léirítear taobh istigh den NeRF a fhoghlaim.

Éiríonn an réad SDF seo mar bhonn dealbhóireachta an úsáideora, agus cuireann an t-urramach As-Rigid-As-Féideartha (Arabach) teicníc.

Ligeann ARAP d’úsáideoirí an mogalra SDF asbhainte a dhífhoirmiú, cé go n-oibreodh modhanna eile go maith freisin, amhail cineálacha cur chuige atá bunaithe ar chnámharlach agus bunaithe ar chliabháin (ie NURBanna). Foinse: https://arxiv.org/pdf/2205.04978.pdf

Agus na dífhoirmíochtaí curtha i bhfeidhm, is gá an fhaisnéis seo a aistriú ó veicteoir go dtí an leibhéal RGB/picteilín ó dhúchas NeRF, ar aistear beagán níos faide é.

Aistrítear rinn thriantánacha an mhogalra a dhífhoirmigh an t-úsáideoir ar dtús go mogalra teitrihéadrach, a fhoirmíonn craiceann timpeall an mhogalra úsáideora. Baintear réimse dífhoirmithe scoite spásúil as an mogalra breise seo, agus ar deireadh faightear réimse dífhoirmithe leanúnach atá neamhdhíobhálach don NeRF ar féidir é a chur ar ais go dtí an timpeallacht radiance néarúil, rud a léiríonn athruithe agus athruithe an úsáideora, agus a dhéanann difear go díreach ar na gathanna léirmhínithe sa sprioc. NeRF.

Rudaí dífhoirmithe agus beoite ag an modh nua.

Deir an páipéar:

'Tar éis dúinn an dífhoirmiúchán dromchla a aistriú go dtí an mogalra teitrihéadrach, is féidir linn an réimse dífhoirmithe scoite den "spás éifeachtach" a fháil. Bainimid úsáid anois as na claochluithe scoite seo chun na gathanna réitigh a lúbadh. Chun íomhá den réimse radanta dífhoirmithe a ghiniúint, chaitheamar gathanna chuig an spás ina bhfuil an mogalra teitrihéidreach dífhoirmithe.'

An páipéar dar teideal NeRF-Eagarthóireacht: Céimseata Eagarthóireacht ar Réimsí Radiance Néaracha, agus tagann sé ó thaighdeoirí ó thrí ollscoil agus institiúid na Síne, mar aon le taighdeoir ó Scoil na hEolaíochta Ríomhaireachta & Faisnéisíochta in Ollscoil Caerdydd, agus beirt thaighdeoirí eile ó Ghrúpa Alibaba.

Teorainneacha

Mar a luadh cheana, ní ‘nuashonróidh’ céimseata chlaochlaithe aon ghnéithe gaolmhara sa NeRF nár cuireadh in eagar, ná ní léireoidh sí iarmhairtí tánaisteacha na heiliminte dífhoirmithe, amhail scáthanna. Tugann na taighdeoirí sampla, nuair nach bhfuil aon athrú ar na fo-scáthanna ar fhíor dhaonna i NeRF, cé gur cheart go n-athródh an dífhoirmiúchán an soilsiú:

Ón bpáipéar: feicimid go bhfanann an scáth cothrománach ar lámh an fhíora i bhfeidhm fiú nuair a bhogtar an lámh in airde.

Turgnaimh

Tugann na húdair faoi deara nach bhfuil aon mhodhanna inchomparáide ann faoi láthair chun idirghabháil dhíreach a dhéanamh ar chéimseata NeRF. Dá bhrí sin bhí na turgnaimh a rinneadh don taighde níos taiscéalaí ná comparáideach.

Thaispeáin na taighdeoirí NeRF-Editing ar roinnt tacar sonraí poiblí, lena n-áirítear carachtair ó Mixamo, agus ollscartaire Lego atá anois ina n-íocónach agus cathaoir ón NeRF bunaidh. cur i bhfeidhm. Rinne siad tástáil freisin ar dhealbh capall fíor a gabhadh ó na Bunachar sonraí FVS, chomh maith lena ngabhálacha bunaidh féin.

Bhí ceann capaill ag claonadh.

Maidir le hobair amach anseo, tá sé beartaithe ag na húdair a gcóras a fhorbairt sa chreat foghlama meaisín tiomsaithe Jittor díreach in am (JIT).

Foilsíodh den chéad uair ar 16 Bealtaine 2022.