NeRF- Neural Radiance Fields ၏ အကြောင်းအရာကို တည်းဖြတ်ခြင်း၏ စိန်ခေါ်မှု

ယခုနှစ်အစောပိုင်းတွင် NVIDIA အဆင့်မြင့် Neural Radiance Fields (NeRF) နှင့် သုတေသနပြုခြင်းတို့ကို အထူးပြုပါသည်။ InstantNeRFစက္ကန့်ပိုင်းမျှသာ စူးစမ်းနိုင်သော အာရုံကြောမြင်ကွင်းများကို ဖန်တီးနိုင်စွမ်းရှိကြောင်း ထင်ရှားသည် - နည်းစနစ်တစ်ခုမှ၊ ပေါ်ထွက်လာ 2020 တွင် လေ့ကျင့်ရန် နာရီ သို့မဟုတ် ရက်များပင် ကြာတတ်သည်။

NVIDIA ၏ InstantNeRF သည် အထင်ကြီးလောက်ပြီး လျင်မြန်သောရလဒ်များကို ပေးသည်။ အရင်းအမြစ်- https://www.youtube.com/watch?v=DJ2hcC1orc4

ဤကဲ့သို့ ပေါင်းစပ်ခြင်းမျိုးသည် တည်ငြိမ်သောမြင်ကွင်းကို ဖြစ်ပေါ်စေသော်လည်း NeRF သည်လည်း လုပ်ဆောင်နိုင်စွမ်းရှိသည်။ လှုပ်ရှားမှုကို သရုပ်ဖော်သည်။NeRFs တစ်ခုချင်းစီကို ပေါင်းစပ်ထည့်သွင်းနိုင်သည့် အခြေခံ 'မိတ္တူကူးထည့်ခြင်း' တည်းဖြတ်ခြင်း ပေါင်းစပ်မြင်ကွင်းများ or ဖြည့်စွက်ထားသည် ရှိပြီးသားမြင်ကွင်းများထဲသို့။

Shanghai Tech University နှင့် DGene Digital Technology တို့မှ 2021 သုတေသနတွင် ဖော်ပြထားသော Nested NeRFs။ အရင်းအမြစ်- https://www.youtube.com/watch?v=Wp4HfOwFGP4

သို့သော်၊ အကယ်၍ သင်သည် တွက်ချက်ထားသော NeRF တွင် ဝင်ရောက်စွက်ဖက်ရန် ရှာဖွေနေပြီး ၎င်းအတွင်း၌ ဖြစ်ပေါ်နေသည့် တစ်စုံတစ်ရာကို အမှန်တကယ် ပြောင်းလဲလိုပါက (ထိုနည်းအတိုင်း သင်သည် ရိုးရာ CGI မြင်ကွင်းတွင် အစိတ်အပိုင်းများကို ပြောင်းလဲနိုင်သည်)၊ အလွန် နည်းသော ဖြေရှင်းချက် ယနေ့အထိ၊ CGI အလုပ်အသွားအလာများ၏ လုပ်ဆောင်နိုင်စွမ်းများနှင့် ကိုက်ညီသည့်တိုင် မည်သည့်အရာမှ စတင်ခြင်းမရှိပါ။

ဂျီသြမေတြီခန့်မှန်းချက်သည် NeRF မြင်ကွင်းတစ်ခုဖန်တီးရန်အတွက် မရှိမဖြစ်လိုအပ်သော်လည်း၊ နောက်ဆုံးရလဒ်သည် မျှတသော 'သော့ခတ်ထားသော' တန်ဖိုးများဖြင့် ဖွဲ့စည်းထားသည်။ ရှိနေစဉ် တိုးတက်မှုအချို့ NeRF တွင် texture တန်ဖိုးများကို ပြောင်းလဲရန်အတွက် ဖန်တီးထားခြင်းဖြစ်ပြီး၊ NeRF မြင်ကွင်းရှိ တကယ့်အရာဝတ္ထုများသည် တည်းဖြတ်ပြီး ကစားနိုင်သည့် parametric meshes များမဟုတ်သော်လည်း ကြွပ်ဆတ်ပြီး အေးခဲနေသော တိမ်တိုက်များနှင့် ပိုတူပါသည်။

ဤအခြေအနေတွင်၊ NeRF တွင် ပြန်ဆိုထားသည့် ပုဂ္ဂိုလ်သည် အခြေခံအားဖြင့် ရုပ်တု (သို့မဟုတ် ရုပ်တုများ အတွဲလိုက်၊ ဗီဒီယို NeRFs တွင်)။ အလင်းရင်းမြစ်များကို အခြေခံ၍ လိုက်လျောညီထွေရှိသော တွက်ချက်မှုများထက် ၎င်းတို့ကိုယ်တိုင်နှင့် အခြားအရာဝတ္ထုများပေါ်တွင် သက်ရောက်နေသော အရိပ်များ၊ နှင့် NeRF အကြောင်းအရာ၏ တည်းဖြတ်နိုင်မှုသည် NeRF မှထုတ်လုပ်သည့် သေးငယ်သော အရင်းအမြစ်ဓာတ်ပုံများကို ဓာတ်ပုံဆရာမှ ပြုလုပ်သော ရွေးချယ်မှုများတွင် ကန့်သတ်ထားသည်။ ဖန်တီးမှုသဘောအရ အရိပ်များနှင့် ပုံသဏ္ဍာန်ကဲ့သို့သော ကန့်သတ်ချက်များသည် ပြုပြင်၍မရပါ။

NeRF-တည်းဖြတ်ခြင်း။

တရုတ်နှင့် ယူကေတို့ကြား ပညာရပ်ဆိုင်ရာ သုတေသန ပူးပေါင်းဆောင်ရွက်မှုအသစ်က ဤစိန်ခေါ်မှုကို ဖြေရှင်းပေးသည်။ NeRF-တည်းဖြတ်ခြင်း။ပရောက်စီ CGI စတိုင် meshes များကို NeRF မှ ထုတ်ယူထားရာ၊ အသုံးပြုသူမှ အလိုအလျောက် ပုံပျက်နေပြီး NeRF ၏ အာရုံကြော တွက်ချက်မှုများသို့ ပြန်လည်ရောက်ရှိသွားသော ပုံသဏ္ဍာန်များ-

ရိုက်ကူးမှုမှတွက်ချက်ထားသော ပုံသဏ္ဍာန်များကို NeRF ကိုယ်စားပြုမှုအတွင်း တူညီသောအချက်များပေါ်တွင် သက်ရောက်သောကြောင့် NeRF-တည်းဖြတ်ခြင်းဖြင့် NeRF ရုပ်သေးရုပ်။ အရင်းအမြစ်- http://geometrylearning.com/NeRFEditing/

နည်းလမ်းသည် ၎င်းကို လိုက်လျောညီထွေဖြစ်စေသည်။ NeuS 2021 US/China ပြန်လည်တည်ဆောက်ရေးနည်းပညာ၊ လက်မှတ်ရေးထိုးထားသော အကွာအဝေးလုပ်ဆောင်ချက် (SDF၊ အလွန်ဟောင်းသော volumetric ပြန်လည်တည်ဆောက်ရေးနည်းလမ်း) NeRF အတွင်းရှိ ကိုယ်စားပြု ဂျီသြမေတြီကို လေ့လာနိုင်သည်။

ဤ SDF အရာဝတ္ထုသည် အသျှင် As-Rigid-As-As-Possible မှ ပံ့ပိုးပေးသော warping နှင့် molding စွမ်းရည်များဖြင့် အသုံးပြုသူ၏ ပုံသွင်းအခြေခံဖြစ်လာပါသည်။အာရပ်) technique ကို။

ARAP သည် အသုံးပြုသူများအား ထုတ်ယူထားသော SDF ကွက်ကို ပုံပျက်စေရန် ခွင့်ပြုသော်လည်း အရိုးအခြေခံနှင့် လှောင်အိမ်အခြေခံနည်းလမ်းများ (ဆိုလိုသည်မှာ NURBs) ကဲ့သို့သော အခြားနည်းလမ်းများလည်း ကောင်းစွာအလုပ်လုပ်နိုင်မည်ဖြစ်သည်။ အရင်းအမြစ်- https://arxiv.org/pdf/2205.04978.pdf

ပုံပျက်ခြင်းများကို အသုံးချခြင်းဖြင့်၊ ဤအချက်အလက်ကို vector မှ RGB/pixel အဆင့်မှ မူရင်း NeRF သို့ ဘာသာပြန်ဆိုရန် လိုအပ်ပြီး အနည်းငယ်ရှည်သော ခရီးတစ်ခုဖြစ်သည်။

အသုံးပြုသူ ပုံပျက်သွားသော ကန့်လန့်ကာ၏ တြိဂံပုံသဏ္ဍာန်ကို အသုံးပြုသူ-ကွက်တဝိုက်ရှိ အရေပြားတစ်ခုဖြစ်သည့် tetrahedral mesh အဖြစ် ပထမဆုံး ဘာသာပြန်ဆိုထားပါသည်။ spatial discrete deformation အကွက်ကို ဤအပိုကွက်ကွက်မှ ထုတ်နုတ်ပြီး နောက်ဆုံးတွင် NeRF-ဖော်ရွေသော စဉ်ဆက်မပြတ် ပုံပျက်စေသည့် အကွက်ကို ရရှိသည်၊ အသုံးပြုသူ၏ ပြောင်းလဲမှုများနှင့် တည်းဖြတ်မှုများကို ထင်ဟပ်စေကာ အသုံးပြုသူ၏ ပြောင်းလဲမှုများနှင့် တည်းဖြတ်မှုများကို ထင်ဟပ်စေကာ ပစ်မှတ်ရှိ အဓိပ္ပာယ်ဖွင့်ဆိုထားသော ရောင်ခြည်များကို တိုက်ရိုက်အကျိုးသက်ရောက်စေသည့် NeRF-friendly စဉ်ဆက်မပြတ်ပုံစံပြောင်းလဲခြင်းအကွက်ကို ရရှိပါသည်။ NeRF

နည်းလမ်းအသစ်ဖြင့် ပုံပျက်နေပြီး သက်ဝင်လှုပ်ရှားနေသော အရာများ။

စာတမ်းတွင် -

'မျက်နှာပြင်ပုံသဏ္ဍာန်ကို tetrahedral mesh သို့လွှဲပြောင်းပြီးနောက်၊ "ထိရောက်သောအာကာသ" ၏ သီးခြားပုံသဏ္ဍာန်အကွက်ကို ကျွန်ုပ်တို့ ရရှိနိုင်ပါသည်။ ယခု ကျွန်ုပ်တို့သည် ကာ့စ်ရောင်ခြည်များကို ကွေးရန် အဆိုပါ သီးခြားအသွင်ပြောင်းမှုများကို အသုံးချနေပါသည်။ ပုံပျက်နေသော အလင်းတန်းအကွက်၏ ပုံရိပ်ကို ဖန်တီးရန်၊ ပုံပျက်နေသော tetrahedral mesh ပါရှိသော အာကာသထဲသို့ ရောင်ခြည်များကို လွှတ်တင်သည်။'

အဆိုပါ စက္ကူ ခေါင်းစဉ်ဖြစ်ပါတယ် NeRF-Editing- Neural Radiance Fields ၏ Geometry တည်းဖြတ်ခြင်း။Cardiff University မှ Computer Science & Informatics ကျောင်းမှ သုတေသီတစ်ဦးနှင့် Alibaba Group မှ သုတေသီနှစ်ဦးတို့နှင့်အတူ တရုတ်တက္ကသိုလ်နှင့် အဖွဲ့အစည်း သုံးခုမှ သုတေသီများထံမှ လာခြင်းဖြစ်သည်။

ကန့်သတ်

အစောပိုင်းတွင် ဖော်ပြခဲ့သည့်အတိုင်း အသွင်ပြောင်းထားသော ဂျီသြမေတြီသည် တည်းဖြတ်မထားသော NeRF ရှိ ဆက်စပ်ရှုထောင့်များကို 'မွမ်းမံခြင်း' မပြုဘဲ၊ အရိပ်များကဲ့သို့သော ပုံပျက်နေသော ဒြပ်စင်များ၏ နောက်ဆက်တွဲအကျိုးဆက်များကို ထင်ဟပ်စေမည်မဟုတ်ပါ။ သုတေသီများသည် NeRF ရှိ လူပုံသဏ္ဍာန်တွင် အရိပ်အောက်တွင် အရိပ်များ မပြောင်းလဲဘဲ ပုံပျက်နေသော အလင်းရောင်ကို ပြောင်းလဲသင့်သော်လည်း၊

စာရွက်မှ- ပုံ၏လက်မောင်းပေါ်ရှိ အလျားလိုက် အရိပ်သည် လက်မောင်းကို အပေါ်သို့ ရွှေ့ထားသော်လည်း ထိုနေရာတွင် ရှိနေသည်ကို ကျွန်ုပ်တို့တွေ့မြင်ရသည်။

စမ်းသပ်မှု

NeRF ဂျီသြမေတြီကို တိုက်ရိုက်ဝင်ရောက်စွက်ဖက်ရန် လောလောဆယ်တွင် နှိုင်းယှဉ်နိုင်သော နည်းလမ်းများ မရှိဟု စာရေးသူ သတိပြုမိသည်။ ထို့ကြောင့် သုတေသနအတွက် ပြုလုပ်ခဲ့သော စမ်းသပ်မှုများသည် နှိုင်းယှဉ်မှုထက် စူးစမ်းမှု ပိုမိုများပြားသည်။

သုတေသီများသည် Mixamo မှ ဇာတ်ကောင်များ အပါအဝင် အများသူငှာ ဒေတာအတွဲများစွာတွင် NeRF-Editing ကို သရုပ်ပြခဲ့ပြီး မူလ NeRF မှ အထင်ကရ Lego ဘူဒိုဇာနှင့် ကုလားထိုင်၊ အကောင်အထည်ဖော်မှု. ၎င်းတို့သည် အစစ်အမှန် ဖမ်းယူထားသော မြင်းရုပ်တုကိုလည်း စမ်းသပ်ခဲ့သည်။ FVS ဒေတာအတွဲသူတို့ရဲ့ မူရင်း ဖမ်းယူမှုတွေ၊

မြင်းခေါင်းတစောင်း။

အနာဂတ်လုပ်ငန်းအတွက်၊ စာရေးသူများသည် အချိန်မှန် (JIT) ပြုစုထားသော စက်သင်ယူမှုဘောင် Jittor တွင် ၎င်းတို့၏စနစ်အား ဖွံ့ဖြိုးတိုးတက်စေရန် ရည်ရွယ်ပါသည်။

16 ခုနှစ် မေလ 2022 ရက်နေ့တွင် ပထမဆုံးထုတ်ဝေခဲ့သည်။