ဉာဏ်ရည်တု
CGI အသစ်- Block-NeRF ဖြင့် Neural Neighborhoods ဖန်တီးခြင်း။
Neural Radiance Fields (NeRF) သမားရိုးကျ CGI နည်းလမ်းများ၏ ရှုပ်ထွေးမှုနှင့် ကုန်ကျစရိတ်များမပါဘဲ ရှုထောင့်ဓာတ်ပုံများစွာကို ထည့်သွင်းမှုအဖြစ် ရှုထောင့်ဓာတ်ပုံများကိုသာ အသုံးပြု၍ အာရုံကြောကွန်ရက်များအတွင်း အရာဝတ္ထုများကို ပြန်လည်ဖန်တီးပြီး စူးစမ်းလေ့လာခွင့်ပြုပါ။
သို့သော်လည်း၊ လုပ်ငန်းစဉ်သည် တွက်ချက်မှုအရ စျေးကြီးပြီး NeRF ပတ်ဝန်းကျင်များကို အစပိုင်းတွင် ကန့်သတ်ထားသည်။ tabletop မော်ဒယ် ဇာတ်လမ်းများ။ မည်သို့ပင်ဆိုစေကာမူ၊ NeRF ကို လွန်ခဲ့သည့်နှစ်တွင် တည်ရှိခဲ့သော သီးသန့်၊ စိတ်လှုပ်ရှားဖွယ်ရာ သုတေသနအသိုက်အဝန်းတစ်ခုမှ လက်ခံကျင့်သုံးခဲ့သည်။ အပြင်ပိုင်း ပြန်လည်တည်ဆောက်မှုများကို ဖွင့်ထားသည်။ လည်းပဲ ပြုပြင်နိုင်သော အာရုံကြောလူသားများအခြားတီထွင်ဆန်းသစ်မှုများမှတပါး၊
ယခု Google Research ၏ ပါဝင်မှု ပါ၀င်သည့် သုတေသနပြုမှုအသစ်တစ်ခုသည် NeRF ကို ကောင်းမွန်အောင်ပြုလုပ်ခြင်းအတွက် ဖြစ်နိုင်ခြေရှိသော ခက်ခဲသောကန့်သတ်ချက်များကို အသိအမှတ်ပြုပြီး NeRF ပတ်ဝန်းကျင်များကို ပေါင်းစပ်ညှိနှိုင်းထားသည့် NeRF သာဓကများစွာပါ၀င်သည့် လိုအပ်ချက်အရ ရပ်ကွက်များကို ဖန်တီးရန်အတွက် NeRF ပတ်ဝန်းကျင်များကို ပေါင်းစပ်ထည့်သွင်းခြင်းအစား အာရုံစိုက်လုပ်ဆောင်ပါသည်။
ချိတ်ဆက်ထားသော NeRFs များ၏ ကွန်ရက်ကို လမ်းညွှန်ခြင်းဖြင့် NeRF သည် အတိုင်းအတာနှင့် မော်ဂျူလာကို ထိရောက်စွာ လုပ်ဆောင်နိုင်စေပြီး၊ ၎င်းတို့ လိုအပ်သလို အနီးနားရှိ အပိုအစိတ်အပိုင်းများကို တင်ဆောင်နိုင်သည့် သွားလာနိုင်သော ပတ်ဝန်းကျင်များကို ပံ့ပိုးပေးကာ၊ ထောင့်တစ်ဝိုက်ရှိ အရာများကို မတင်မချင်း နည်းပါးသော ဗီဒီယိုဂိမ်းများ၏ အရင်းအမြစ် ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းနည်းလမ်းများနှင့် ဆင်တူသည်။ ပတ်ဝန်းကျင်က လိုအပ်လာမယ်ဆိုတာ သိသာပါတယ်။
အဓိက မောင်းနှင်ရန် distangle ရာသီဥတုနှင့် နာရီကဲ့သို့သော သီးခြားအသွင်အပြင်များ၊ Block-NeRF သည် 'အသွင်အပြင်ကုဒ်များ' ကိုလည်း မိတ်ဆက်ပေးထားပြီး၊ နေ့၏အချိန်ကို ဒိုင်းနမစ်ကျကျ ပြောင်းလဲနိုင်စေသည်-
စာတမ်းအသစ်တွင် NeRF ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းသည် ၎င်း၏ကိုယ်ပိုင်အပူကန့်သတ်ချက်နီးကပ်လာပြီဖြစ်ကြောင်း အကြံပြုထားပြီး၊ အနာဂတ်တွင် အာရုံကြောရောင်ခြည်ပတ်ဝန်းကျင်များကို virtual reality၊ အခြားအပြန်အလှန်တုံ့ပြန်သောစက်လုံးအမျိုးအစားများနှင့် VFX လုပ်ဆောင်မှုများသည် Moore ၏အပြိုင်လုပ်ဆောင်မှုများပေါ်တွင်မူတည်သည်ဟု အကြံပြုထားသည်။ နောက်ဆုံးတွင် Law သည် multi-core ဗိသုကာများ၊ အပြိုင် optimizations နှင့် caching အတွက် ချဉ်းကပ်မှုအသစ်များကို ပေးစွမ်းခဲ့သည်။
၏စာရေးဆရာများ စက္ကူ (ခံစားခွင့်ရှိသည်။ Block-NeRF- Scalable Large Scene Neural View Synthesis) ဆန်ဖရန်စစ္စကိုရှိ ရပ်ကွက်များ ဆက်တိုက် ကြိုးပမ်းဖူးသမျှ အကြီးဆုံး အာရုံကြောမြင်ကွင်းကို ဖန်တီးရန် ပုံ ၂.၈ သန်းကို အသုံးပြုခဲ့သည်။
UC Berkley ကိုကိုယ်စားပြုသော စာတမ်းတွင် ဦးဆောင်ရေးသားသူမှာ Matthew Tancik ဖြစ်သည်။ Neural Radiance Fields ကို ပူးတွဲတီထွင်သူအလိုအလျောက်မောင်းနှင်မှုနည်းပညာဖွံ့ဖြိုးတိုးတက်ရေးကုမ္ပဏီ Waymo တွင် အလုပ်သင်အဖြစ် တာဝန်ယူဆောင်ရွက်ခဲ့သူဖြစ်သည်။ စီမံကိန်းစာမျက်နှာ. ပရောဂျက်စာမျက်နှာရှိ ပံ့ပိုးကူညီမှုနှင့် ထပ်လောင်းဗီဒီယိုနမူနာများစွာအပြင် ဤဆောင်းပါး၏အဆုံးတွင် ထည့်သွင်းထားသော YouTube တွင် ဗီဒီယိုအကျဉ်းချုပ်ကိုလည်း ပံ့ပိုးပေးပါသည်။
Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) နှင့် Jonathan T. Barron (Google Research) အပါအဝင် အခြားသော NeRF မူရင်းရေးသားသူ အများအပြားက ပူးတွဲရေးသားပါသည်။ အခြားပံ့ပိုးသူများမှာ Waymo မှ Vincent Casser၊ Xinchen Yan၊ Sabeek Pradhan၊ Henrik Kretzschmar နှင့် Vincent Casser တို့ဖြစ်သည်။
Block-NeRF ကို မောင်းသူမဲ့ကားများနှင့် ဒရုန်းများ အပါအဝင် အလိုအလျောက်မောင်းနှင်သည့် ကားများနှင့် ဒရုန်းများအပါအဝင် ကိုယ်ပိုင်အုပ်ချုပ်ခွင့်ရယာဉ်စနစ်များအတွက် အတုအယောင်ပတ်ဝန်းကျင်များကို သုတေသနပြုကာ တီထွင်ခဲ့ခြင်းဖြစ်သည်။
Block-NeRF တွင် ဒိုင်းနမစ်ဖြင့် ပြောင်းလဲနိုင်သော အခြားအချက်များမှာ မှန်ဘီလူး အလင်းဝင်ပေါက် (အထက်ပုံတွင်ကြည့်ပါ)၊ ရာသီဥတုနှင့် ရာသီများ ဖြစ်သည်။
သို့သော်လည်း၊ ရာသီပြောင်းခြင်းသည် Block-NeRF အတွက် တည်ဆောက်ထားသည်ထက် ပိုမိုကျယ်ပြန့်သော ထည့်သွင်းဒေတာအတွဲတစ်ခု လိုအပ်သည့် အရွက်မရှိသစ်ပင်များကဲ့သို့သော ပတ်ဝန်းကျင်တွင် ဆက်စပ်ပြောင်းလဲမှုများကို ဖြစ်စေနိုင်သည်။ အဆိုပါစာတမ်းတွင်ဖော်ပြထားသည်:
'[သစ်ရွက်] သည် ရာသီအလိုက် ပြောင်းလဲပြီး လေထဲတွင် ရွေ့လျားသည်။ ဤအရာက သစ်ပင်များနှင့် အပင်များ၏ ကိုယ်စားပြုမှု မှုန်ဝါးဝါးဖြစ်စေသည်။ အလားတူ၊ ဆောက်လုပ်ရေးလုပ်ငန်းကဲ့သို့သော လေ့ကျင့်ရေးဒေတာတွင် ယာယီမညီမညွတ်ဖြစ်နေမှုများကို အလိုအလျောက်ကိုင်တွယ်ဖြေရှင်းမည်မဟုတ်သည့်အပြင် ထိခိုက်နေသောလုပ်ကွက်များကို လက်ဖြင့်ပြန်လည်လေ့ကျင့်ရန် လိုအပ်ပါသည်။'
Apocalyptic Rendering
အဆုံးမှာ ထည့်သွင်းထားတဲ့ ဗီဒီယိုကို ကြည့်လိုက်ရင် တစ်ခု သတိထားမိမှာပါ။ လမ်းလျှောက်နေသောသေလွန်သူများ- ကွန်ရက်ချိတ်ဆက်ထားသော Block-NeRF ပတ်ဝန်းကျင်တွင် ပုံစံကျဲပါးခြင်း။ အကြောင်းအမျိုးမျိုးကြောင့် စက်ရုပ်စနစ်များ၊ ကားများ၊ လမ်းသွားလမ်းလာများနှင့် အခြားသော ယာယီအရာဝတ္ထုများအတွက် အတုယူလုပ်ဆောင်သည့် အစပြုပတ်ဝန်းကျင်ကို ပံ့ပိုးပေးရန် အနည်းဆုံးအားဖြင့် အရင်းအမြစ်ပစ္စည်းမှ တမင်တကာ ရောနှောထားသော်လည်း၊ ဤအရာသည် 'ဖျက်ထားသော' ရပ်ထားသော ယာဉ်များ၏ အရိပ်များကဲ့သို့သော ရှေးဟောင်းပစ္စည်းအချို့ကို ချန်ထားခဲ့သည်။ :
နေ့ သို့မဟုတ် ညကဲ့သို့ အလင်းရောင်ရှိသော ပတ်ဝန်းကျင်အကွာအဝေးကို လိုက်လျောညီထွေဖြစ်စေရန်အတွက် ကွန်ရက်များသည် အလိုရှိသော အခြေအနေတစ်ခုစီနှင့် သက်ဆိုင်သည့် ဒေတာများကို ခွဲထုတ်ထားသော လမ်းကြောင်းများကို ပေါင်းစပ်ရန် လေ့ကျင့်ထားသည်။ အောက်ဖော်ပြပါပုံတွင်၊ နေ့နှင့်ညတွင် အဝေးပြေးလမ်းမကြီးတစ်ခု၏ Block-NeRF ဗီဒီယိုရိုက်ကူးမှုအတွက် ပံ့ပိုးပေးသောလမ်းကြောင်းများကို ကျွန်ုပ်တို့တွေ့မြင်ရသည်-
သဘာဝပတ်ဝန်းကျင်နှင့် ကျင့်ဝတ်ဆိုင်ရာ ထည့်သွင်းစဉ်းစားမှုများ
ပြီးခဲ့သည့်နှစ်အနည်းငယ်အတွင်း၊ သုတေသနတင်ပြချက်များသည် အဆိုပြုထားသောအလုပ်၏ ဖြစ်နိုင်ခြေရှိသော ကျင့်ဝတ်နှင့် သဘာဝပတ်ဝန်းကျင်ဆိုင်ရာ အကျိုးသက်ရောက်မှုများနှင့်ပတ်သက်၍ သတိပေးချက်များနှင့် ငြင်းဆိုချက်များပါ၀င်လာသည်။ Block-NeRF ၏ဖြစ်ရပ်တွင်၊ စွမ်းအင်လိုအပ်ချက်များမြင့်မားကြောင်းနှင့်ရေတိုနှင့်ရေရှည်အကူးအပြောင်းအရာဝတ္ထုများအတွက်စာရင်းအင်း (သစ်ပင်များနှင့်ဆောက်လုပ်ရေးအလုပ်များကဲ့သို့) ကိုပုံမှန်ပြန်လည်စကင်ဖတ်စစ်ဆေးရန်လိုအပ်သည် အရင်းအမြစ်ဒေတာသည် မြို့ပြများတွင် 'စောင့်ကြည့်ခြင်း' ကို တိုးမြှင့်စေပြီး အာရုံကြောပုံစံများကို မွမ်းမံပြင်ဆင်ထားရန် လိုအပ်သည်။
စာရေးသူက ဤသို့ဆိုသည်-
'ဤလုပ်ငန်းကို အသုံးချသည့်အတိုင်းအတာပေါ်မူတည်၍ ၎င်း၏တွက်ချက်မှုတောင်းဆိုချက်များသည် ကွန်ပျူတာအတွက်အသုံးပြုသည့်စွမ်းအင်သည် ကာဗွန်ထုတ်လွှတ်မှု တိုးလာပါက သဘာဝပတ်ဝန်းကျင်ပျက်စီးမှုကို ဖြစ်ပေါ်စေနိုင်သည် သို့မဟုတ် ပိုမိုဆိုးရွားလာနိုင်သည်။ စာတမ်းတွင်ဖော်ပြထားသည့်အတိုင်း၊ တွက်ချက်မှုတောင်းဆိုမှုများကို လျှော့ချနိုင်ပြီး သဘာဝပတ်ဝန်းကျင်ပျက်စီးမှုကို လျော့ပါးသက်သာစေမည့် ကက်ချနည်းများကဲ့သို့သော နောက်ထပ်လုပ်ဆောင်မှုများကို ကျွန်ုပ်တို့ ကြိုမြင်ပါသည်။'
စောင့်ကြည့်မှုနှင့်ပတ်သက်၍ ၎င်းတို့က ဆက်လက်ဖော်ပြသည်။
'ဤအလုပ်၏ အနာဂတ်အသုံးချပရိုဂရမ်များသည် ဒေတာစုဆောင်းမှု ပိုမိုကြီးမားသော ကြိုးပမ်းအားထုတ်မှုများကိုပင် သက်ရောက်နိုင်သည်၊ ယင်းသည် နောက်ထပ်ကိုယ်ရေးကိုယ်တာဆိုင်ရာ စိုးရိမ်ပူပန်မှုများကို ဖြစ်ပေါ်စေပါသည်။ Google Street View ကဲ့သို့သော ဝန်ဆောင်မှုများတွင် အများသူငှာ လမ်းများ၏ အသေးစိတ်ပုံများကို တွေ့နိုင်သော်လည်း၊ ကျွန်ုပ်တို့၏ နည်းစနစ်သည် ပတ်ဝန်းကျင်၏ ထပ်ခါတလဲလဲနှင့် ပုံမှန်စကင်န်ဖတ်မှုများကို မြှင့်တင်ပေးနိုင်ပါသည်။ ကိုယ်ပိုင်အုပ်ချုပ်ခွင့်ရယာဉ်နေရာရှိ ကုမ္ပဏီအများအပြားသည် ၎င်းတို့၏ယာဉ်များကို အသုံးပြု၍ ပုံမှန်ဧရိယာစကင်န်များကို လုပ်ဆောင်ရန် လူသိများသည်။ သို့သော် အချို့က ကင်မရာပုံများကို စုဆောင်းခြင်းထက် အထိခိုက်မခံနိုင်သည့် LiDAR စကင်န်များကိုသာ အသုံးပြုနိုင်သည်။'
နည်းလမ်းများနှင့် ဖြေရှင်းချက်များ
တစ်ဉီးချင်းစီ NeRF ပတ်ဝန်းကျင်များကို Block-NeRF အခင်းအကျင်းတွင် မစုစည်းမီ သီအိုရီအရ မည်သည့်အရွယ်အစားအထိ အတိုင်းအတာအထိ အတိုင်းအတာအထိ လျှော့ချနိုင်သည်။ ၎င်းသည် သစ်ပင်များကဲ့သို့ ပြောင်းလဲနိုင်သော အကြောင်းအရာများ၏ အသေးစိပ်ပါဝင်မှုဆီသို့ လမ်းဖွင့်ပေးကာ ပြန်လည်ရိုက်ကူးပြီး နှစ်များပင်ကြာလာသည်နှင့်အမျှ အချိန်နှင့်အမျှ ဆက်လက်တည်ရှိနေနိုင်သည့် သစ်ပင်များကဲ့သို့သော ဆောက်လုပ်ရေးလုပ်ငန်းများကို ခွဲခြားသတ်မှတ်ခြင်းနှင့် စီမံခန့်ခွဲခြင်းဆီသို့ လမ်းကြောင်းဖွင့်ပေးကာ ဖွံ့ဖြိုးတိုးတက်လာဖွယ်ရှိကြောင်း၊ နောက်ဆုံးတွင် တသမတ်တည်းဖြစ်လာသည်။
သို့သော်လည်း ဤကနဦး သုတေသနပြုမှုတွင်၊ သီးခြား NeRF ဘလောက်များကို အသုံးပြုသူသည် ကွန်ရက်ကို သွားလာရာတွင် တစ်သမတ်တည်း သွားလာနေသဖြင့် 50% ထပ်နေခြင်းဖြင့် ပုံဖော်ထားသော ပတ်ဝန်းကျင်တစ်ခုစီ၏ တကယ့်မြို့ကွက်များကို ကန့်သတ်ထားပါသည်။
ဘလောက်တစ်ခုစီကို ပထဝီဝင်ဆိုင်ရာ စစ်ထုတ်မှုဖြင့် ကန့်သတ်ထားသည်။ မူဘောင်၏ ဤအပိုင်းသည် အလိုအလျောက်စနစ်အတွက် ဖွင့်ထားသည်ဟု စာရေးသူများက သတိပြုမိကြပြီး၊ ၎င်းတို့၏ အကောင်အထည်ဖော်မှုသည် Google Maps ထက် OpenStreetMap ပေါ်တွင်သာ မှီခိုနေရကြောင်း သတိပြုမိပါသည်။
Block များကို လိုအပ်သလို ပြန်ဆိုခြင်းဖြင့် အပြိုင်လေ့ကျင့်ပေးပါသည်။ ဆန်းသစ်သောအသွင်အပြင်ကုဒ်များကို ဘလောက်-အစုံတို့တွင်လည်း ကြိုးကိုင်ထားပြီး မတူညီသောရာသီဥတု၊ နေ့၏အချိန် သို့မဟုတ် မတူညီသောရာသီတစ်ခုသို့ မမျှော်လင့်ဘဲ ခရီးမသွားစေရန် သေချာစေသည်။
အလင်းရောင်နှင့် အခြားသော ပတ်ဝန်းကျင်ဆိုင်ရာ ပြောင်းလဲနိုင်သော ပြောင်းလဲနိုင်စွမ်းကို မိတ်ဆက်ပေးခဲ့သည့် Generative Latent Optimizations မှ ဆင်းသက်လာသည်။ တောရိုင်းရှိ NeRF (NeRF-W) သည် 2019 Facebook AI မှ ဆင်းသက်လာသော နည်းလမ်းဖြစ်သည်။ သုတေသနစာတမ်း Generative Networks များ၏ Latent Space ကို အကောင်းဆုံးဖြစ်အောင်လုပ်ခြင်း။.
semantic segmentation model သည် မူလအစဖြစ်သည်။ Panoptic-DeepLab 2020 တွင် မလိုလားအပ်သော အစိတ်အပိုင်းများ (ဥပမာ လူနှင့် ယာဉ်များ) ကို ပိတ်ဆို့ရန် အသုံးပြုသည်
ဒေတာများ
ထိုကဲ့သို့သော အဖြစ်များသော မြို့ပြဒေတာအတွဲများကို ရှာဖွေခြင်း။ CityScapes Block-NeRF ကဲ့သို့သော ပြင်းထန်သောအသေးစိတ်လုပ်ဆောင်မှုများအတွက် မသင့်လျော်ပါ၊ သုတေသီများသည် ၎င်းတို့၏ကိုယ်ပိုင်ဒေတာအတွဲကို စတင်ခဲ့သည်။ 12-degree မြင်ကွင်းကို လွှမ်းခြုံထားသည့် ကင်မရာ ၁၂ လုံးမှ ပုံရိပ်ဒေတာကို 360 Hz တွင် ရိုက်ယူထားသော ဗီဒီယိုဖိုင်ကို စကလာအလင်းဝင်ပေါက်တန်ဖိုးဖြင့် ဖမ်းယူထားသည်။
ဆန်ဖရန်စစ္စကိုတွင် လွှမ်းခြုံထားသော ရပ်ကွက်များမှာ Alamo Square နှင့် Mission Bay ဖြစ်သည်။ Alamo Square ဖမ်းယူမှုများအတွက်၊ ခန့်မှန်းခြေ 960m x 570m ရှိသော ဧရိယာကို Block-NeRF ဖြစ်ရပ် 35 ခုအဖြစ် ပိုင်းခြားထားပြီး တစ်ခုစီသည် ဒေတာစုဆောင်းမှု 38 မှ 48 အထိ ဒေတာစုဆောင်းမှုအစီအစဥ်များကို လေ့ကျင့်ပေးထားပြီး စုစုပေါင်းမောင်းနှင်ချိန် 18-28 မိနစ်ဖြစ်သည်။
Block-NeRF တစ်ခုစီအတွက် ပံ့ပိုးပေးသည့် ပုံအရေအတွက်သည် 64,575 မှ 108,216 အကြား လည်ပတ်နေပြီး ဤဧရိယာအတွက် ကိုယ်စားပြုသည့် စုစုပေါင်းမောင်းနှင်ချိန်သည် 13.4 နာရီဖြစ်ပြီး မတူညီသောဒေတာစုဆောင်းမှု 1,330 တွင် လုပ်ဆောင်သည်။ ၎င်းသည် Alamo Square အတွက်သာ လေ့ကျင့်ရေးပုံရိပ် 2,818,745 ပုံ ရရှိခဲ့သည်။ Mission Bay အတွက် ဒေတာစုဆောင်းခြင်းဆိုင်ရာ နောက်ထပ်အသေးစိတ်အချက်အလက်များအတွက် စာရွက်ကို ကြည့်ပါ။
၂၀၂၂ ခုနှစ် ဖေဖော်ဝါရီလ ၁၈ ရက်နေ့တွင် ပထမဆုံး ထုတ်ဝေခဲ့သည်။