အထူးသဖြင့် နက်ရှိုင်းသော မျိုးဆက်သစ် AI မော်ဒယ်လ်များ အထူးသဖြင့် AI မျိုးဆက်သစ် မော်ဒယ်များ၏ လျင်မြန်စွာ ဖွံ့ဖြိုးတိုးတက်မှုတွင် သဘာဝဘာသာစကား မျိုးဆက်၊ 3D မျိုးဆက်၊ ရုပ်ပုံထုတ်လုပ်ခြင်းနှင့် စကားပြောပေါင်းစပ်မှုတို့တွင် သိသိသာသာ တိုးတက်လာသော စွမ်းရည်များရှိသည်။ ဤမော်ဒယ်များသည် လုပ်ငန်းအမျိုးမျိုးတွင် 3D ထုတ်လုပ်မှုကို တော်လှန်ခဲ့ကြသည်။ သို့သော်၊ အများအပြားသည် စိန်ခေါ်မှုတစ်ခုနှင့် ရင်ဆိုင်နေရသည်- ၎င်းတို့၏ ရှုပ်ထွေးသော ဝါယာကြိုးများနှင့် ထုတ်လုပ်ထားသော ကွက်လပ်များသည် ရုပ်ပိုင်းဆိုင်ရာအခြေခံ Rendering (PBR) ကဲ့သို့သော ရိုးရာပုံဖေါ်ပိုက်လိုင်းများနှင့် မကြာခဏ သဟဇာတမဖြစ်ပါ။ အလင်းအမှောင်ဖွဲ့စည်းပုံများမပါဘဲ ပျံ့နှံ့မှုအခြေခံမော်ဒယ်များသည် အထင်ကြီးလောက်စရာ ကွဲပြားသော 3D ပိုင်ဆိုင်မှုမျိုးဆက်ကို သရုပ်ပြကာ ရုပ်ရှင်ရိုက်ကူးခြင်း၊ ဂိမ်းဆော့ခြင်းနှင့် AR/VR တို့တွင် 3D မူဘောင်များကို မြှင့်တင်ပေးသည်။

ဤဆောင်းပါးသည် ပုံသဏ္ဍာန် သို့မဟုတ် စာသားထည့်သွင်းမှုများတွင် တပ်ထားသည့် မတူကွဲပြားသော၊ ရုပ်ထွက်မြင့် 3K UV အသွင်အပြင်မြေပုံများကို ထုတ်လုပ်ရန်အတွက် Paint2D ကို မိတ်ဆက်ပေးထားသည်။ Paint3D ၏ အဓိကစိန်ခေါ်မှုမှာ ထည့်သွင်းထားသော အလင်းရောင်မပါဘဲ အရည်အသွေးမြင့် အသွင်အပြင်များကို ဖန်တီးခြင်း၊ အသုံးပြုသူအား ပြန်လည်တည်းဖြတ်ခြင်း သို့မဟုတ် ခေတ်မီဂရပ်ဖစ်ပိုက်လိုင်းများအတွင်း ပြန်လည်အလင်းရောင်ရရှိစေခြင်းတို့ဖြစ်သည်။ ၎င်းသည် multi-view texture fusion အတွက်ကြိုတင်လေ့ကျင့်ထားသော 3D diffusion model ကိုအသုံးပြုထားပြီး ကနဦးအကြမ်းထည်ပုံစံမြေပုံများကိုထုတ်ပေးပါသည်။ သို့ရာတွင်၊ ဤမြေပုံများသည် 2D မော်ဒယ်၏ ကန့်သတ်ချက်များကြောင့် အလင်းရောင် သက်ရောက်မှုများနှင့် 2D ပုံသဏ္ဍာန်များကို အပြည့်အဝ ကိုယ်စားပြုခြင်း တို့ကြောင့် ဤမြေပုံများသည် အလင်းရောင်ကို အပြည့်အဝ ကိုယ်စားပြုပါသည်။ Paint3D ၏ လုပ်ငန်းဆောင်တာများ၊ ဗိသုကာပညာများနှင့် အခြားသော နက်နဲသော မျိုးဆက်သစ်ဘောင်များနှင့် နှိုင်းယှဉ်မှုများကို စူးစမ်းလေ့လာပါမည်။ စလိုက်ရအောင်။

Paint3D- နိဒါန်း

သဘာဝဘာသာစကားမျိုးဆက်၊ 3D မျိုးဆက်နှင့် ရုပ်ပုံပေါင်းစပ်ခြင်းလုပ်ငန်းများတွင် နက်ရှိုင်းသော Generative AI မော်ဒယ်များ၏ စွမ်းဆောင်ရည်များသည် 3D မျိုးဆက်စက်မှုလုပ်ငန်းကို တော်လှန်ပြောင်းလဲကာ လက်တွေ့ဘဝအသုံးချပရိုဂရမ်များတွင် လူသိများပြီး အကောင်အထည်ဖော်လျက်ရှိသည်။ ၎င်းတို့၏ ထူးထူးခြားခြား စွမ်းဆောင်ရည်များ ရှိနေသော်လည်း ခေတ်မီနက်နဲသည်။ မျိုးဆက်သစ် AI ဘောင်များသည် ရှုပ်ထွေးသော ဝါယာကြိုးများနှင့် ဖရိုဖရဲ အလင်းရောင် အသွင်အပြင်များဖြင့် PBR သို့မဟုတ် ရုပ်ပိုင်းဆိုင်ရာ အခြေပြု Rendering အပါအဝင် သမားရိုးကျ ပုံဖော်ခြင်း ပိုက်လိုင်းများနှင့် မကြာခဏ သဟဇာတမဖြစ်သော ကွက်လပ်များကို ထုတ်ပေးပါသည်။ နက်ရှိုင်းသော မျိုးဆက်သစ် AI မော်ဒယ်များကဲ့သို့ပင်၊ texture ပေါင်းစပ်မှုသည် အထူးသဖြင့် 2D ပျံ့နှံ့မှုပုံစံများကို အသုံးပြုရာတွင် လျင်မြန်စွာ တိုးတက်လာသည်။ အသွေးအသားပေါင်းစပ်မှုပုံစံများသည် ကြိုတင်လေ့ကျင့်ထားသည့် အနက်မှပုံတစ်ပုံကို အသုံးပြုသည်။ ပျံ့နှံ့မှုမော်ဒယ်များ အရည်အသွေးမြင့် အသွင်အပြင်များ ဖန်တီးရန် စာသားအခြေအနေများကို ထိထိရောက်ရောက် အသုံးပြုရန်။ သို့သော်၊ ဤချဉ်းကပ်မှုများသည် နောက်ဆုံး 3D ပတ်၀န်းကျင်ကို သက်ရောက်မှုရှိပြီး အောက်ဖော်ပြပါပုံတွင် ပြသထားသည့်အတိုင်း သာမန်အလုပ်အသွားအလာများအတွင်း မီးများကို ပြောင်းလဲသောအခါတွင် အဆိုပါချဉ်းကပ်မှုများသည် XNUMXD ပတ်ဝန်းကျင်ကို သိသိသာသာသက်ရောက်မှုရှိစေမည့် အလင်းရောင်ဆိုင်ရာ အမှားအယွင်းများကို ကြုံတွေ့ရသည်။ 

၎င်းကို သတိပြုနိုင်သကဲ့သို့၊ အလင်းရောင်ကင်းစင်သည့် အသွင်အပြင်မြေပုံသည် တိကျသောရလဒ်များကို ပေးဆောင်သည့် ရိုးရာပုံဖေါ်သည့်ပိုက်လိုင်းများနှင့် ထပ်တူပြု၍ အလင်းမပြမီ အလင်းပေးထားသော အသွင်အပြင်မြေပုံတွင် အလင်းရောင်ကို အသုံးချသည့်အခါ မသင့်လျော်သော အရိပ်များပါရှိသည်။ အခြားတစ်ဖက်တွင်၊ 3D ဒေတာတွင် လေ့ကျင့်ထားသော texture generation framework များသည် တိကျသော 3D object ၏ geometry တစ်ခုလုံးကို နားလည်သဘောပေါက်ခြင်းဖြင့် framework သည် textures များကို ထုတ်လုပ်ပေးသည့် အစားထိုးချဉ်းကပ်မှုကို ပေးပါသည်။ ၎င်းတို့သည် ပိုမိုကောင်းမွန်သောရလဒ်များကို ပေးစွမ်းနိုင်သော်လည်း၊ 3D ဒေတာတွင် လေ့ကျင့်ထားသော အသွင်အပြင်ဖန်တီးမှုမူဘောင်များသည် မော်ဒယ်ကို ၎င်းတို့၏ လေ့ကျင့်ရေးဒေတာအပြင်ဘက်ရှိ 3D အရာဝတ္ထုများတွင် အသုံးပြုရန် ၎င်းတို့၏စွမ်းရည်ကို အဟန့်အတားဖြစ်စေသော ယေဘူယျပြုလုပ်နိုင်စွမ်းမရှိပေ။ 

လက်ရှိ texture မျိုးဆက်မော်ဒယ်များသည် အရေးကြီးသော စိန်ခေါ်မှုနှစ်ခုကို ရင်ဆိုင်ရပါသည်- မတူညီသော အရာဝတ္ထုများတစ်လျှောက် ကျယ်ပြန့်သော ယေဘူယျ အတိုင်းအတာတစ်ခုရရှိရန် ရုပ်ပုံလမ်းညွှန်မှု သို့မဟုတ် ကွဲပြားသော အချက်ပြမှုများကို အသုံးပြုကာ၊ ဒုတိယစိန်ခေါ်မှုမှာ ကြိုတင်လေ့ကျင့်မှုမှရရှိသော ရလဒ်များအပေါ် ပေါင်းစပ်ထားသော အလင်းရောင်ကို ဖယ်ရှားခြင်းပင်ဖြစ်သည်။ အလင်းမမီသော အသွင်အပြင်များသည် တင်ဆက်အင်ဂျင်များအတွင်း ပုံဖော်ထားသော အရာဝတ္ထုများ၏ နောက်ဆုံးရလဒ်များကို အနှောင့်အယှက်ပေးနိုင်ပြီး ကြိုတင်လေ့ကျင့်ထားသော 2D ပျံ့နှံ့မှုပုံစံများသည် မြင်ကွင်းနယ်ပယ်တွင်သာ 2D ရလဒ်များကို ပေးသည့်အတွက်ကြောင့် ၎င်းတို့သည် ၎င်းတို့ကို မစွမ်းဆောင်နိုင်သော ပုံသဏ္ဍာန်များကို ကျယ်ကျယ်ပြန့်ပြန့်နားလည်မှု ကင်းမဲ့သွားပါသည်။ 3D အရာဝတ္ထုများအတွက် အမြင်ညီညွတ်မှုကို ထိန်းသိမ်းရန်။ 

အထက်ဖော်ပြပါ စိန်ခေါ်မှုများကြောင့် Paint3D မူဘောင်သည် မတူညီသော ကြိုတင်လေ့ကျင့်ထားသော မျိုးဆက်သစ်မော်ဒယ်များဆီသို့ ယေဘူယျပြောင်းလဲပေးသည့် 3D အရာဝတ္ထုများအတွက် dual-stage texture diffusion model ကို တီထွင်ရန် ကြိုးပမ်းနေပြီး အလင်းနည်းသော texture မျိုးဆက်ကို လေ့လာနေစဉ် မြင်ကွင်းတစ်သမတ်တည်းကို ထိန်းသိမ်းထားသည်။ 

Paint3D သည် လေ့ကျင့်သင်ကြားထားပြီးသား၏ ခိုင်မာသော အချက်ပြလမ်းညွှန်မှုနှင့် ရုပ်ပုံထုတ်လုပ်နိုင်မှုစွမ်းရည်ကို မြှင့်တင်ရန် ရည်ရွယ်သည့် ကြမ်းပြင်မှ ချောမွတ်သော အသွင်အပြင်ဖန်တီးမှုပုံစံနှစ်ခုအဆင့် ကြမ်းသည်။ မျိုးဆက်သစ် AI 3D အရာဝတ္ထုများကို ပုံဖော်ရန်အတွက် မော်ဒယ်များ။ ပထမအဆင့်တွင်၊ Paint3D framework သည် မတူကွဲပြားသော အကြံပြုချက်များမှ အရည်အသွေးမြင့်မားပြီး ကြွယ်ဝသော texture ရလဒ်များကို ယေဘုယျလုပ်ဆောင်နိုင်စေရန်အတွက် ကြိုတင်လေ့ကျင့်ထားသည့် အနက်ရောင်သတိထားရှိသော 2D ရုပ်ပုံပျံ့နှံ့မှုပုံစံမှ မြင်ကွင်းပေါင်းစုံကို နမူနာယူသည်။ ထို့နောက် မော်ဒယ်သည် ဤပုံများကို 3D mesh မျက်နှာပြင်ပေါ်သို့ နောက်ပြန်ဆွဲတင်ခြင်းဖြင့် ကနဦး texture map ကို ထုတ်ပေးပါသည်။ ဒုတိယအဆင့်တွင်၊ မော်ဒယ်သည် အလင်းရောင်လွှမ်းမိုးမှုကို ဖယ်ရှားခြင်းနှင့် မပြည့်စုံသောဒေသများ၏ ပုံသဏ္ဍာန်သတိထား၍ သန့်စင်ခြင်းအတွက် အထူးပြုထားသော ပျံ့နှံ့မှုပုံစံများမှ အသုံးပြုသော ချဉ်းကပ်မှုများကို အကောင်အထည်ဖော်ခြင်းဖြင့် အလင်းရောင်နည်းသော အသွင်အပြင်များကို ထုတ်ပေးခြင်းအပေါ် အာရုံစိုက်သည်။ လုပ်ငန်းစဉ်တစ်လျှောက်လုံး၊ Paint3D framework သည် အရည်အသွေးမြင့် 2K textures များကို အဓိပ္ပါယ်ရှိစွာ ထုတ်လုပ်နိုင်ပြီး ပင်ကိုယ်အလင်းရောင်သက်ရောက်မှုများကို ဖယ်ရှားပေးနိုင်သည်။ 

နိဂုံးချုပ်ရလျှင် Paint3D သည် ကွဲပြားသော၊ အလင်းရောင်နည်းသော နှင့် မြင့်မားသော resolution ရှိသော 2D ကွက်ကွက်များအတွက် ကွဲပြားသော၊ အလင်းရောင်နည်းပါးသော နှင့် မြင့်မားသော 3D ကွက်လပ်များကို ထုတ်လုပ်ရန် ရည်ရွယ်ထားသော ဆန်းသစ်တီထွင်ထားသော အကြမ်းဖျင်းသော ဆန်းသစ်တီထွင်ထားသော AI မော်ဒယ်တစ်ခုဖြစ်သည်။ စာသားနှင့် ရုပ်ပုံများ အပါအဝင် ထည့်သွင်းမှုများသည် ပေါင်းစပ်ခြင်းနှင့် ဂရပ်ဖစ်တည်းဖြတ်ခြင်းလုပ်ငန်းများအတွက် သိသာထင်ရှားသော အားသာချက်များကို ပေးဆောင်သည်။ 

နည်းစနစ်နှင့် ဗိသုကာပညာ

Paint3D မူဘောင်သည် အောက်ဖော်ပြပါပုံတွင် သရုပ်ပြထားသည့်အတိုင်း ပုံများနှင့် အချက်ပြမှုများ အပါအဝင် 3D မော်ဒယ်များအတွက် ကွဲပြားပြီး အရည်အသွေးမြင့်သော အသွင်အပြင်မြေပုံများကို ထုတ်လုပ်ရန်အတွက် PaintXNUMXD framework သည် အသွင်အပြင်မြေပုံများကို အဆင့်ဆင့်ထုတ်လုပ်ပြီး သန့်စင်ပေးပါသည်။ 

အကြမ်းဖျဉ်းအဆင့်တွင်၊ Paint3D မော်ဒယ်သည် မြင်ကွင်းပေါင်းစုံမှ ပုံများကို နမူနာယူရန် ကြိုတင်လေ့ကျင့်ထားသော 2D ရုပ်ပုံပျံ့နှံ့မှုပုံစံများကို အသုံးပြုကာ၊ ထို့နောက် ဤပုံများကို ကွက်မျက်နှာပြင်ပေါ်သို့ ပြန်လည်ပြသသည့် ကနဦး texture မြေပုံများကို ဖန်တီးပေးပါသည်။ ဒုတိယအဆင့်ဖြစ်သော သန့်စင်ခြင်းအဆင့်တွင်၊ Paint3D မော်ဒယ်သည် ကြမ်းတမ်းသော texture မြေပုံများကို ပိုမိုကောင်းမွန်စေရန်အတွက် UV အာကာသအတွင်း ပျံ့နှံ့မှုဖြစ်စဉ်ကို အသုံးပြုကာ အရည်အသွေးမြင့်၊ ခြယ်မှုန်းခြင်းနှင့် အလင်းရောင်နည်းပါးသော လုပ်ဆောင်ချက်ကို ရရှိစေပြီး နောက်ဆုံး texture ၏ အမြင်အာရုံနှင့် ပြီးပြည့်စုံမှုကို သေချာစေသည်။ . 

အဆင့် 1- တိုးတက်သော ကြမ်းတမ်းသော အသွေးအရောင် မျိုးဆက်

တိုးတက်သော အကြမ်းထည် အသွင်အပြင် မျိုးဆက်အဆင့်တွင်၊ Paint3D မော်ဒယ်သည် ကြိုတင်လေ့ကျင့်ထားသည့် အနက်ရောင် ပျံ့နှံ့မှုပုံစံကို အသုံးပြုသည့် 3D အကွက်များအတွက် အကြမ်းထည် UV အသွင်အပြင်မြေပုံကို ထုတ်ပေးပါသည်။ ပိုမိုတိကျစေရန်အတွက်၊ မော်ဒယ်သည် အတိမ်အနက်မြေပုံကိုပြသရန် မတူညီသောကင်မရာမြင်ကွင်းများကိုအသုံးပြုကာ၊ ထို့နောက် ရုပ်ပုံပျံ့နှံ့မှုပုံစံမှပုံများကို နမူနာယူရန်အတွက် အနက်ရှိုင်းဆုံးအခြေအနေများကိုအသုံးပြုကာ ဤပုံများကို mesh မျက်နှာပြင်ပေါ်သို့ ပြန်လည်ပရောဂျက်ပြုလုပ်သည်။ မူဘောင်သည် ပုံဖေါ်ခြင်း၊ နမူနာယူခြင်း နှင့် နောက်ကြောင်းပြန်ဆွဲခြင်း ချဉ်းကပ်မှုများကို တလှည့်စီလုပ်ဆောင်ပြီး texture meshes များ၏ တသမတ်တည်းဖြစ်မှုကို မြှင့်တင်ပေးသည်၊ ၎င်းသည် နောက်ဆုံးတွင် texture map ၏ တိုးတက်သောမျိုးဆက်အတွက် ကူညီပေးသည်။ 

မော်ဒယ်သည် 3D mesh ကို အာရုံစိုက်သည့် ကင်မရာမြင်ကွင်းများဖြင့် မြင်နိုင်သော ဧရိယာ၏ အသွင်အပြင်ကို စတင်ထုတ်လုပ်ပြီး 3D mesh ကို ပထမမြင်ကွင်းမှ နက်ရှိုင်းသောမြေပုံအဖြစ် ပြန်ပေးသည်။ ထို့နောက် မော်ဒယ်သည် ပုံပန်းသဏ္ဍာန်အခြေအနေနှင့် အနက်ပိုင်းအခြေအနေအတွက် ထုထည်ပုံတစ်ပုံကို နမူနာယူသည်။ ထို့နောက် မော်ဒယ်သည် ပုံကို 3D mesh တွင် ပြန်၍ ပရောဂျက်လုပ်သည်။ ရှုထောင့်များအတွက်၊ Paint3D မော်ဒယ်သည် အလားတူချဉ်းကပ်နည်းကို လုပ်ဆောင်သော်လည်း ရုပ်ပုံပန်းချီချဉ်းကပ်မှုနည်းလမ်းကို အသုံးပြု၍ အသွင်အပြင်နမူနာပုံစံကို လုပ်ဆောင်ခြင်းဖြင့် အနည်းငယ်ပြောင်းလဲမှုရှိသည်။ ထို့အပြင်၊ မော်ဒယ်သည် ယခင်ရှုထောင့်များမှ ပုံဖော်ထားသော ဒေသများကို ထည့်သွင်းစဉ်းစားကာ rendering process ကို အတိမ်အနက်ဖြင့် ရုပ်ပုံထွက်ရုံသာမက လက်ရှိမြင်ကွင်းတွင် အရောင်မပါတဲ့ မျက်နှာဖုံးပါသည့် တစ်စိတ်တစ်ပိုင်း ရောင်စုံ RGB ရုပ်ပုံကိုလည်း ထည့်သွင်းပေးပါသည်။ 

ထို့နောက် မော်ဒယ်သည် RGB ရုပ်ပုံအတွင်း အရောင်မစုံသော ဧရိယာကို ဖြည့်ရန် ရောင်စုံ ကုဒ်ဒါဖြင့် အနက်ရောင်-သတိပြုမိသော ရုပ်ပုံပန်းချီပုံစံကို အသုံးပြုသည်။ ထို့နောက် မော်ဒယ်သည် ပန်းချီရေးဆွဲထားသော ပုံကို လက်ရှိမြင်ကွင်းအောက်ရှိ 3D mesh သို့ နောက်ကြောင်းပြန်ပြခြင်းဖြင့် မြင်ကွင်းမှ အသွင်အပြင်မြေပုံကို ထုတ်လုပ်ပေးကာ မော်ဒယ်အား အသွင်အပြင်မြေပုံကို အဆင့်ဆင့်ထုတ်လုပ်နိုင်ကာ ကြမ်းပြင်ဖွဲ့စည်းပုံမြေပုံတစ်ခုလုံးသို့ ရောက်ရှိသွားမည်ဖြစ်သည်။ နောက်ဆုံးတွင်၊ မော်ဒယ်သည် အသွင်အပြင်နမူနာထုတ်ခြင်းလုပ်ငန်းစဉ်ကို မြင်ကွင်းများစွာ သို့မဟုတ် အရာဝတ္ထုတစ်ခုသို့ တိုးချဲ့သည်။ ပိုမိုတိကျစေရန်အတွက်၊ မော်ဒယ်သည် အချိုးကျသောရှုထောင့်များမှ ကနဦး texture နမူနာနမူနာပြုလုပ်စဉ်အတွင်း အတိမ်အနက်မြေပုံနှစ်ခုကို ဖမ်းယူရန် ကင်မရာတစ်စုံကို အသုံးပြုသည်။ ထို့နောက် မော်ဒယ်သည် အတိမ်အနက်မြေပုံ နှစ်ခုကို ပေါင်းစပ်ကာ အတိမ်အနက် ဇယားကွက်ကို ရေးဖွဲ့သည်။ မော်ဒယ်သည် multi-view depth-aware texture sampling လုပ်ဆောင်ရန်အတွက် အနက်ရောင်ပုံတစ်ပုံကို အတိမ်အနက်ဇယားဖြင့် အစားထိုးသည်။ 

အဆင့် 2- UV Space တွင် အသွေးအရောင် သန့်စင်ခြင်း။

အကြမ်းထည်မြေပုံများ၏ အသွင်အပြင်သည် ယုတ္တိရှိသော်လည်း၊ ၎င်းသည် 2D ရုပ်ပုံပျံ့နှံ့မှုမော်ဒယ်များပါဝင်မှုကြောင့် သရုပ်ဖော်ခြင်းလုပ်ငန်းစဉ်အတွင်း ဖြစ်ပေါ်လာသော မျက်နှာပြင်အပေါက်များကဲ့သို့ စိန်ခေါ်မှုအချို့ကို ရင်ဆိုင်ရသည်။ Paint3D မော်ဒယ်သည် ကြမ်းတမ်းသော အသွင်အပြင်မြေပုံကို အခြေခံ၍ UV အာကာသအတွင်း ပျံ့နှံ့မှုဖြစ်စဉ်ကို လုပ်ဆောင်ရန် ရည်မှန်းထားပြီး၊ ပြဿနာများကို လျော့ပါးစေရန်နှင့် texture မြေပုံ၏ အမြင်အာရုံကို ပိုမိုကောင်းမွန်အောင် လုပ်ဆောင်ရန် ရည်ရွယ်ပါသည်။ သို့ရာတွင်၊ UV အာကာသရှိ texture မြေပုံများဖြင့် ပင်မရုပ်ပုံပျံ့ပွားမှုပုံစံကို ပြန်လည်သန့်စင်ခြင်းသည် 3D မျက်နှာပြင်၏ မျက်နှာပြင်၏ UV ပုံဖော်မှုမှ ထုတ်လုပ်လိုက်သော ပေါင်းစပ်ဖွဲ့စည်းမှုမြေပုံကို UV တွင် အပိုင်းအစတစ်ခုစီအဖြစ်သို့ ဖြတ်တောက်ပေးသောကြောင့် အသွင်အပြင်အဆက်ပြတ်မှုကို မိတ်ဆက်ပေးသည်။ အာကာသ။ အကွဲကွဲအပြားပြားဖြစ်ခြင်း၏ရလဒ်အနေဖြင့်၊ မော်ဒယ်သည် အဆက်ပြတ်ခြင်းပြဿနာများကိုဖြစ်ပေါ်စေသည့် အပိုင်းအစများကြားတွင် 3D ကပ်လျက်ဆက်နွယ်မှုကို လေ့လာရန်ခက်ခဲသည်။ 

မော်ဒယ်သည် အသွင်အပြင်အပိုင်းအစများ၏ ကပ်လျက်ပါ အချက်အလက်များ၏ လမ်းညွှန်မှုအောက်တွင် ပျံ့နှံ့မှုဖြစ်စဉ်ကို လုပ်ဆောင်ခြင်းဖြင့် UV အာကာသအတွင်း အသွင်အပြင်မြေပုံကို သန့်စင်စေသည်။ UV အာကာသအတွင်း၊ ၎င်းသည် နောက်ခံမဟုတ်သောဒြပ်စင်တစ်ခုစီကို 3D အမှတ် သြဒိနိတ်အဖြစ် ဖော်ညွှန်းထားသည့် မော်ဒယ်သည် နောက်ခံမဟုတ်သောဒြပ်စင်တစ်ခုစီကို 3D အချက်ပြသြဒိနိတ်တစ်ခုအဖြစ် ကုသပေးသည့် 3D ကပ်လျက်ရှိသည့် တည်နေရာပြမြေပုံဖြစ်သည်။ ပျံ့နှံ့မှုလုပ်ငန်းစဉ်အတွင်း၊ မော်ဒယ်သည် ကြိုတင်လေ့ကျင့်ထားသော ရုပ်ပုံပျံ့နှံ့မှုမော်ဒယ်သို့ တစ်ဦးချင်းတည်နေရာမြေပုံကုဒ်နံပါတ်ကို ပေါင်းထည့်ခြင်းဖြင့် XNUMXD ကပ်လျက်အချက်အလက်ကို ပေါင်းစပ်သည်။ ကုဒ်ပြောင်းကိရိယာအသစ်သည် ControlNet မူဘောင်၏ ဒီဇိုင်းနှင့် ဆင်တူပြီး ၎င်းတို့နှစ်ခုကို ချိတ်ဆက်ထားသည့် သုည-ကွန်ဗလာအလွှာဖြင့် ရုပ်ပုံပျံ့နှံ့မှုပုံစံတွင် အကောင်အထည်ဖော်ထားသည့် ကုဒ်ဒါပုံစံအတိုင်း တူညီသောဗိသုကာတစ်ခု ပါရှိသည်။ ထို့အပြင်၊ texture diffusion model ကို texture နှင့် position maps များပါ၀င်သော dataset တစ်ခုပေါ်တွင်လေ့ကျင့်ထားပြီး model သည် noisy latent တွင်ထည့်သွင်းထားသော ဆူညံသံကို ခန့်မှန်းရန်သင်ယူသည်။ ထို့နောက် မော်ဒယ်သည် အနေအထား ကုဒ်ဒါကို အကောင်းဆုံးဖြစ်အောင် လုပ်ဆောင်ပြီး ၎င်း၏ ရုပ်ပုံပျံ့နှံ့မှု လုပ်ဆောင်မှုအတွက် လေ့ကျင့်ထားသော သရုပ်ခွဲကိရိယာကို အေးခဲစေသည်။ 

ထို့နောက် မော်ဒယ်သည် UV အာကာသအတွင်း ပြုပြင်မွမ်းမံခြင်း လုပ်ငန်းများကို လုပ်ဆောင်ရန် အခြေအနေအလိုက် ကုဒ်ဒါနှင့် အခြားကုဒ်ပြောင်းကိရိယာများ၏ အနေအထားကို တစ်ပြိုင်နက် အသုံးပြုသည်။ ယင်းနှင့်စပ်လျဉ်း၍ မော်ဒယ်တွင် သန့်စင်မှုစွမ်းရည် နှစ်ခုပါရှိသည်- UVHD သို့မဟုတ် UV High Definition နှင့် UV ခြယ်မှုန်းခြင်း။ UVHD နည်းလမ်းသည် ပုံသဏ္ဍာန်မြေပုံ၏ အမြင်အာရုံနှင့် လှပမှုကို မြှင့်တင်ရန် ဖွဲ့စည်းတည်ဆောက်ထားသည်။ UVHD ရရှိရန်၊ မော်ဒယ်သည် ရုပ်ပုံမြှင့်တင်ကုဒ်ဒါနှင့် ပျံ့နှံ့မှုမော်ဒယ်နှင့်အတူ အနေအထားကုဒ်ဒါကို အသုံးပြုသည်။ မော်ဒယ်သည် သရုပ်ဖော်နေစဉ်အတွင်း ဖြစ်ပေါ်လာသော ကိုယ်တိုင် ပိတ်ဆို့ခြင်းပြဿနာများကို ရှောင်ရှားနိုင်သည့် UV လေယာဉ်အတွင်း မျက်နှာပြင်အပေါက်များကို ဖြည့်ရန် UV ပန်းချီနည်းလမ်းကို အသုံးပြုထားသည်။ သန့်စင်ခြင်းအဆင့်တွင်၊ Paint3D မော်ဒယ်သည် ဦးစွာ ခရမ်းလွန်ရောင်ခြယ်ဆေးကို လုပ်ဆောင်ပြီးနောက် နောက်ဆုံးသန့်စင်ထားသော အသွင်အပြင်မြေပုံကို ထုတ်လုပ်ရန် UVHD ကို လုပ်ဆောင်သည်။ သန့်စင်မှုနည်းလမ်းနှစ်ခုကို ပေါင်းစပ်ခြင်းဖြင့် Paint3D framework သည် ပြီးပြည့်စုံသော၊ မတူကွဲပြားသော၊ ကြည်လင်ပြတ်သားမှုမြင့်မားသော၊ နှင့် အလင်းရောင်နည်းပါးသော UV texture မြေပုံများကို ထုတ်လုပ်နိုင်မည်ဖြစ်သည်။ 

Paint3D- စမ်းသပ်မှုများနှင့် ရလဒ်များ

Paint3D မော်ဒယ်သည် ၎င်းကို အသုံးပြုသည်။ တည်ငြိမ်သောပျံ့နှံ့မှု ရုပ်ပုံအခြေအနေများကိုကိုင်တွယ်ရန် image encoder အစိတ်အပိုင်းကို အသုံးပြုနေစဉ်အတွင်း texture ထုတ်လုပ်မှုလုပ်ဆောင်မှုများကို အထောက်အကူပြုရန် text2image မော်ဒယ်။ ပုံဆေးခြယ်ခြင်း၊ အတိမ်အနက်နှင့် ရုပ်ပုံမြင့်မားသော အဓိပ္ပါယ်ဖွင့်ဆိုမှုများကဲ့သို့သော အခြေအနေအလိုက် ထိန်းချုပ်မှုများကို ပိုမိုကောင်းမွန်စေရန်အတွက် Paint3D မူဘောင်တွင် ControlNet ဒိုမိန်းကုဒ်နံပါတ်ကို အသုံးပြုထားသည်။ မော်ဒယ်ကို Kaolin တွင် အကောင်အထည်ဖော်သည့် rendering နှင့် texture projections များဖြင့် PyTorch framework တွင် အကောင်အထည်ဖော်ထားသည်။ 

Text to Textures နှိုင်းယှဉ်ခြင်း။

၎င်း၏စွမ်းဆောင်ရည်ကိုခွဲခြမ်းစိတ်ဖြာရန်၊ ကျွန်ုပ်တို့သည် Text3Tex၊ TEXTure နှင့် LatentPaint အပါအဝင် အနုပညာဘောင်များ၏ အခြေအနေနှင့် နှိုင်းယှဉ်သည့်အခါ Paint2D ၏ texture မျိုးဆက်အကျိုးသက်ရောက်မှုကို အကဲဖြတ်ခြင်းဖြင့် စတင်ပါသည်။ အောက်ဖော်ပြပါပုံတွင် ကြည့်ရှုနိုင်သောကြောင့် Paint3D framework သည် အရည်အသွေးမြင့်သော texture အသေးစိတ်များကို ဖန်တီးရာတွင် ထူးချွန်ရုံသာမက အလင်းရောင်ကင်းစင်သော texture map ကိုလည်း ကျိုးကြောင်းဆီလျော်စွာ ပေါင်းစပ်ပေးပါသည်။ 

နှိုင်းယှဉ်ကြည့်လျှင် Latent-Paint မူဘောင်သည် အကောင်းဆုံးသော အမြင်အာရုံသက်ရောက်မှုများကို ဖြစ်ပေါ်စေသည့် မှုန်ဝါးသော အသွင်အပြင်များကို ထုတ်ပေးနိုင်ခြေရှိသည်။ အခြားတစ်ဖက်တွင်၊ TEXTure framework သည် ရှင်းလင်းသော texture များကိုထုတ်ပေးသော်လည်း ၎င်းသည် ချောမွေ့မှုကင်းမဲ့ပြီး သိသာထင်ရှားသော splicing နှင့် seams များကိုပြသထားသည်။ နောက်ဆုံးတွင်၊ Text2Tex framework သည် ချောမွေ့သော texture များကို သိသိသာသာ ကောင်းမွန်စွာ ထုတ်ပေးသည်၊ သို့သော် ရှုပ်ထွေးသောအသေးစိတ်အချက်များဖြင့် ကောင်းမွန်သော texture များကို ဖန်တီးရန်အတွက် စွမ်းဆောင်ရည်ကို ပုံတူပွားရန် ပျက်ကွက်ပါသည်။ 

အောက်ပါပုံသည် Paint3D မူဘောင်ကို အနုပညာဘောင်များ၏ အခြေအနေနှင့် အရေအတွက်အားဖြင့် နှိုင်းယှဉ်ထားသည်။ 

၎င်းကို သတိပြုနိုင်သကဲ့သို့ Paint3D မူဘောင်သည် လက်ရှိမော်ဒယ်များအားလုံးထက် သာလွန်ကောင်းမွန်ပြီး FID အခြေခံအဆင့်တွင် 30% နီးပါး တိုးတက်မှုနှင့် KID အခြေခံစဥ်တွင် ခန့်မှန်းခြေ 40% တိုးတက်မှုနှင့်အတူ သိသာထင်ရှားသောအနားသတ်ဖြင့် လုပ်ဆောင်ပါသည်။ FID နှင့် KID အခြေခံရမှတ်များတွင် တိုးတက်မှုသည် မတူကွဲပြားသော အရာဝတ္ထုများနှင့် အမျိုးအစားများတစ်လျှောက် အရည်အသွေးမြင့် အသွင်အပြင်များကို Paint3D ထုတ်ပေးနိုင်စွမ်းကို သရုပ်ပြပါသည်။ 

ပုံမှ အသွေးအရောင် နှိုင်းယှဉ်ခြင်း။

အမြင်အာရုံစနစ်များကို အသုံးပြု၍ Paint3D ၏ မျိုးဆက်ပွားစွမ်းရည်များကို ထုတ်လုပ်ရန်အတွက် ကျွန်ုပ်တို့သည် TEXTure မော်ဒယ်ကို အခြေခံမျဉ်းအဖြစ် အသုံးပြုပါသည်။ အစောပိုင်းတွင်ဖော်ပြထားသည့်အတိုင်း Paint3D မော်ဒယ်သည် Stable Diffusion မှ text2image model မှရရှိသော image encoder ကိုအသုံးပြုထားသည်။ အောက်ဖော်ပြပါပုံတွင် မြင်တွေ့နိုင်သကဲ့သို့ Paint3D framework သည် လက်ရာမြောက်သော အသွင်အပြင်များကို သိသိသာသာ ကောင်းမွန်စွာ ပေါင်းစပ်ပြီး ရုပ်ပုံအခြေအနေအား မြင့်မားသော သစ္စာစောင့်သိမှုကို ထိန်းသိမ်းထားနိုင်ဆဲဖြစ်သည်။ 

အခြားတစ်ဖက်တွင်၊ TEXTure framework သည် Paint3D နှင့်ဆင်တူသော texture ကိုဖန်တီးနိုင်သော်လည်း ပုံအခြေအနေရှိ texture အသေးစိတ်များကို တိကျစွာကိုယ်စားပြုရန် တိုတောင်းပါသည်။ ထို့အပြင် အောက်ပါပုံတွင် သရုပ်ပြထားသည့်အတိုင်း Paint3D framework သည် ယခင် 40.83 မှ 26.86 သို့ ကျဆင်းသွားသည့် ယခင် TEXTure framework နှင့် နှိုင်းယှဉ်ပါက ပိုမိုကောင်းမွန်သော FID နှင့် KID အခြေခံရမှတ်များကို ပေးစွမ်းသည်။ 

နောက်ဆုံးထင်မြင်ချက်များ

ဤဆောင်းပါးတွင်၊ ရုပ်ထွက် သို့မဟုတ် စာသားထည့်သွင်းမှုများတွင် ထည့်သွင်းထားသော 3D ကွက်ကွက်များအတွက် အလင်းနည်းသော၊ ကွဲပြားသော၊ နှင့် အရည်အသွေးမြင့် 2K UV texture မြေပုံများကို ထုတ်လုပ်နိုင်သည့် အကြမ်းမှအနုဝတ္ထုဘောင်တစ်ခုဖြစ်သည့် Paint3D အကြောင်း ဆွေးနွေးထားပါသည်။ Paint3D framework ၏ အဓိက မီးမောင်းထိုးပြချက်မှာ ရုပ်ပုံ သို့မဟုတ် စာသားထည့်သွင်းမှုများတွင် ထည့်သွင်းခြင်းမပြုဘဲ အဓိပ္ပါယ်အရ တစ်သမတ်တည်းဖြစ်သော အလင်းရောင်နည်းသော 2K UV အသွင်အပြင်များကို ဖန်တီးနိုင်စွမ်းရှိသည်။ ၎င်း၏ ကြမ်းတမ်းသော ချဉ်းကပ်မှု ကြောင့် Paint3D မူဘောင်သည် အလင်းရောင် နည်းပါးသော၊ ကွဲပြားပြီး မြင့်မားသော ရုပ်ထွက် မြေပုံများကို ထုတ်လုပ်ကာ လက်ရှိ အနုပညာ မူဘောင်များထက် ပိုမိုကောင်းမွန်သော စွမ်းဆောင်ရည်ကို ထုတ်ပေးပါသည်။