AI ဖြင့် လူ့ခန္ဓာကိုယ် အမျိုးအစားများကို ပြန်လည်ပုံဖော်ခြင်း။

တရုတ်နိုင်ငံမှ သုတေသနပူးပေါင်းဆောင်ရွက်မှုအသစ်တစ်ခုသည် အသုံးပြုသူတစ်ဦးအား အလေးချိန်၊ အရပ်နှင့် ခန္ဓာကိုယ်အချိုးအစားကို ချိန်ညှိနိုင်သော ပေါင်းစပ်ထားသော အာရုံကြောကုဒ်ပြောင်းသည့်ကွန်ရက်ကို အသုံးပြုခြင်းဖြင့် ဆန်းသစ်သောနည်းလမ်းကို ပံ့ပိုးပေးပါသည်။ အပြန်အလှန်အကျိုးသက်ရောက်သော GUI တွင်။

ရရှိနိုင်သောအင်္ဂါရပ်သုံးခုကို ပြောင်းလဲစေသည့် ဆလိုက်ဒါများဖြင့် ကိုယ်ထည်ပုံသဏ္ဍာန်၏ အတိုင်းအတာကို ကန့်သတ်ထိန်းချုပ်ထားသည်။ အရင်းအမြစ်- https://arxiv.org/pdf/2203.10496.pdf

အလုပ်တစ်ခုအပေါ်မှာ တိုးတက်မှုများစွာ ပေးစွမ်းပါတယ်။ မကြာသေးမီက အလားတူပရောဂျက် Alibaba မှ အရပ်အမောင်းနှင့် ခန္ဓာကိုယ်အချိုးအစားအပြင် ကိုယ်အလေးချိန်ကို စိတ်ချယုံကြည်စွာ ပြောင်းလဲပေးနိုင်ပြီး 'ဆေးခြယ်ခြင်း' (နတ္ထိမရှိသော) နောက်ခံကို 'ပါးလျသော' ခန္ဓာကိုယ်ပုံများဖြင့် ဖော်ထုတ်နိုင်သည့် အာရုံကြောကွန်ရက်တစ်ခုပါရှိသည်။ မှတ်သားလောက်စရာလည်း ကောင်းပါတယ်။ အစောပိုင်း parametric နည်းလမ်း အသွင်ပြောင်းမှုပုံစံရေးဆွဲစဉ်အတွင်း ကျယ်ပြန့်သောလူ့ဝင်ရောက်စွက်ဖက်မှုလိုအပ်မှုကို ဖယ်ရှားခြင်းဖြင့် ခန္ဓာကိုယ်ပြန်လည်ပြုပြင်ခြင်းအတွက်။

ခေါင်းစဉ် NeuralReshaperဗိသုကာအသစ်သည် ပါရာမက်ထရစ် 3D လူသား နမူနာပုံစံကို အရင်းအမြစ်ပုံတစ်ခုနှင့် အံဝင်ခွင်ကျဖြစ်စေပြီး မူလပုံအား ကန့်သတ်ချက်အသစ်များနှင့် လိုက်လျောညီထွေဖြစ်အောင် ပုံစံပလိတ်ရှိ ပုံပျက်မှုများကို အသုံးပြုသည်။

စနစ်သည် အဝတ်အစားများနှင့် တစ်ပိုင်းအ၀တ်အစားများ (ဆိုလိုသည်မှာ ကမ်းခြေဝတ်စုံ) များပေါ်တွင် ခန္ဓာကိုယ်အသွင်ပြောင်းခြင်းကို ကိုင်တွယ်ဖြေရှင်းနိုင်သည် ။

ဤအမျိုးအစား၏ အသွင်ကူးပြောင်းမှုများသည် လတ်တလောတွင် စိတ်ဝင်စားဖွယ်ကောင်းနေပါသည်။ ဖက်ရှင် AI StyleGAN/CycleGAN-based နှင့် ယေဘူယျအာရုံကြောကွန်ရက်ပလက်ဖောင်းများစွာကို ထုတ်လုပ်ပေးသည့် သုတေသနကဏ္ဍ၊ ကို virtual try-ons တွေကို ရရှိနိုင်သောအဝတ်အစားပစ္စည်းများကို အသုံးပြုသူတင်ပြသည့်ပုံ၏ ခန္ဓာကိုယ်ပုံသဏ္ဍာန်နှင့် အမျိုးအစားနှင့် လိုက်လျောညီထွေဖြစ်စေနိုင်သည် သို့မဟုတ် အခြားနည်းဖြင့် အမြင်အာရုံလိုက်လျောညီထွေဖြစ်စေရန် ကူညီပေးနိုင်သည်။

အဆိုပါ စက္ကူ ခေါင်းစဉ်ဖြစ်ပါတယ် နက်ရှိုင်းသော အာရုံကြောကွန်ရက်များဖြင့် လူ့ခန္ဓာကိုယ်ကို ပြန်လည်ပုံဖော်ခြင်းHangzhou ရှိ Zhejiang တက္ကသိုလ်မှ သုတေသီများနှင့် ဟောင်ကောင် City University of Creative Media ကျောင်းတို့မှ ဆင်းသက်လာခြင်းဖြစ်သည်။

SMPL Fitting

NeuralReshaper သည် Skinned Multi-Person Linear Model (SMPL) ကိုအသုံးပြုသည် ဖွံ့ဖြိုးပြီး Max Planck Institute for Intelligent Systems နှင့် 2015 ခုနှစ်တွင် နာမည်ကြီး VFX house Industrial Light and Magic မှ။

2015 Planck/ILM ပူးပေါင်းဆောင်ရွက်မှုမှ SMPL Parametric လူသားများ။ အရင်းအမြစ်- https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

လုပ်ငန်းစဉ်၏ပထမအဆင့်တွင်၊ SMPL မော်ဒယ်ကို ခန္ဓာကိုယ်အသွင်ပြောင်းလိုသည့် အရင်းအမြစ်ပုံမှ ထုတ်ပေးသည်။ SMPL မော်ဒယ်၏ ရုပ်ပုံနှင့် လိုက်လျောညီထွေဖြစ်အောင် လုပ်ဆောင်မှုသည် အောက်ပါအတိုင်းဖြစ်သည်။ နည်းစနစ် 2018 ခုနှစ်တွင် ဂျာမနီနှင့် US ရှိ တက္ကသိုလ်များမှ အဆိုပြုထားသော Human Mesh Recovery (HMR) နည်းလမ်း။

ပုံပျက်ခြင်းအတွက် ဘောင်သုံးခု (အလေးချိန်၊ အရပ်၊ ခန္ဓာကိုယ်အချိုးအစား) ကို ဤအဆင့်တွင် တွက်ချက်ထားပြီး၊ focal length ကဲ့သို့သော ကင်မရာဘောင်များကို ထည့်သွင်းစဉ်းစားထားသည်။ 2D သော့ချက်များနှင့် ထုတ်လုပ်ထားသော ပုံသဏ္ဌန် ချိန်ညှိမှုသည် 2D ပုံသဏ္ဌန်ပုံစံ ပုံပျက်ခြင်းအတွက် အရံအတားကို ပေးဆောင်သည်၊ နယ်နိမိတ်တိကျမှုကို တိုးမြင့်စေပြီး ပိုက်လိုင်းအောက်သို့ စစ်မှန်သော နောက်ခံကို ထပ်မံခြယ်မှုန်းနိုင်စေမည့် နောက်ထပ် ပိုမိုကောင်းမွန်အောင်လုပ်ဆောင်မှုအတိုင်းအတာတစ်ခုဖြစ်သည်။

SMPL လျောက်ပတ်သော အဆင့်များ- ဘယ်ဘက်၊ အရင်းအမြစ်ပုံ၊ ဒုတိယ၊ 2016 ခုနှစ်တွင်ဖော်ပြထားသောနည်းလမ်းမှရရှိသော optimization ရလဒ် သုတေသနလုပ်ငန်း Max Planck Institute for Intelligent Systems မှ ဦးဆောင်သည်။ တတိယ၊ ကြိုတင်လေ့ကျင့်ထားသော စံနမူနာမှ တိုက်ရိုက် အနုမာနရလဒ် လူသားပုံသဏ္ဍာန်နှင့် ကိုယ်ဟန်အနေအထားကို အဆုံးမှ အဆုံးထိ ပြန်လည်ရယူခြင်း။; စတုတ္ထ၊ 2D သော့ချက်အမှတ်များကို ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ပြီးနောက် ရရှိသောရလဒ်များ၊ နောက်ဆုံး၊ ပဉ္စမ၊ silhouette optimization ပြီးနောက် ပြီးပြည့်စုံသော အံဝင်ခွင်ကျ (အထက်ကိုကြည့်ပါ)။

ထို့နောက် ပုံပျက်ခြင်းကို သတ်မှတ်ပေးမည့် သိပ်သည်းလှသော အကွက်အကွက်ကို လွယ်ကူချောမွေ့စေရန်အတွက် 3D ပုံပျက်ခြင်းအား ဗိသုကာ၏ ရုပ်ပုံအာကာသအတွင်းတွင် ပုံဖော်ထားသည်။ ဤလုပ်ငန်းစဉ်သည် ပုံတစ်ပုံလျှင် စက္ကန့် 30 ခန့် ကြာသည်။

NeuralReshaper ဗိသုကာ

NeuralReshaper သည် တပြိုင်နက်တည်း အာရုံကြောကွန်ရက်နှစ်ခုကို လုပ်ဆောင်သည်- ပြောင်းလဲထားသော ခန္ဓာကိုယ်ပုံသဏ္ဍာန်ကို ထုတ်ပေးသည့် ရှေ့ဘက်ကုဒ်ပြောင်းကိရိယာတစ်ခုနှင့် 'de-occluded' နောက်ခံဒေသများကို ဖြည့်သွင်းခြင်းအား အာရုံစိုက်သည့် နောက်ခံကုဒ်ဒါတစ်ခု (ဥပမာ၊ ခန္ဓာကိုယ် ပိန်စေသည့်ကိစ္စတွင်- ပုံတွင်ကြည့်ပါ၊ အောက်တွင်)။

U-net-style framework သည် ရလဒ်အား ပေါင်းစည်းထားသော ကုဒ်ဒါတစ်ခုသို့ မပေးပို့မီ ကုဒ်ဒါနှစ်ခု၏ အင်္ဂါရပ်များမှ အထွက်ကို ပေါင်းစပ်ထည့်သွင်းထားသည်။ ဗိသုကာလက်ရာသည် ပေါင်းစပ်မှုကိုဖွင့်ဆိုရန် ဆန်းသစ်သော လမ်းကြောင်းပြယန္တရားတစ်ခုပါရှိသည်။

လေ့ကျင့်ရေးနှင့် စမ်းသပ်မှုများ

NeuralReshaper ကို 1080GB VRAM ပါသော NVIDIA 11ti GPU တစ်ခုတည်းတွင် PyTorch တွင် အကောင်အထည်ဖော်ထားသည်။ ကွန်ရက်ကို Adam optimizer အောက်တွင် 100 အပိုင်းအတွက် လေ့ကျင့်သင်ကြားထားပြီး ဂျင်နရေတာသည် ပစ်မှတ် 0.0001 ဆုံးရှုံးမှုနှင့် ခွဲခြားဆက်ဆံသူကို ပစ်မှတ် 0.0004 အထိ ဆုံးရှုံးစေခြင်းဖြင့် လေ့ကျင့်ထားသည်။ သီးသန့်ပြင်ပဒေတာအတွဲ (မှ ရေးဆွဲထားသော 8 ၏ အသုတ်အရွယ်အစား) သင်တန်းသည် Coco, MPII, နှင့် LSP) နှင့် 2 လေ့ကျင့်ရေးအပေါ် DeepFashion ဒေတာအစုံ။

ဘယ်ဘက်တွင်၊ ညာဘက်တွင်၊ ညာဘက်တွင်၊ NeuralReshaper ၏ အချိုးကျအထွက်နှုန်း။

အောက်တွင် NeuralReshaper အတွက် လေ့ကျင့်ထားသည့် DeepFashion ဒေတာအတွဲမှ သီးသန့် နမူနာအချို့ဖြစ်ပြီး မူရင်းပုံများကို ဘယ်ဘက်တွင် အမြဲတွေ့ရသည်။

ထိန်းချုပ်နိုင်သော အင်္ဂါရပ်သုံးခုကို ခွဲထုတ်ထားပြီး သီးခြားစီ အသုံးပြုနိုင်သည်။

ဆင်းသက်လာသော ပြင်ပဒေတာအတွဲတွင် အသွင်ပြောင်းခြင်းများသည် ရှုပ်ထွေးသောနောက်ခံများကို မကြာခဏဖြည့်သွင်းရန်နှင့် အသွင်ပြောင်းထားသော ကိုယ်ထည်အမျိုးအစားများကို ရှင်းရှင်းလင်းလင်းနှင့် ယုံကြည်စိတ်ချစွာ ခွဲခြမ်းစိတ်ဖြာရန် လိုအပ်သောကြောင့်၊

Parametric လိုအပ်ချက်

စာတမ်းတွင် လေ့လာတွေ့ရှိရသည့်အတိုင်း၊ ဤအမျိုးအစား၏ တူညီသောပုံသဏ္ဍာန်ပြောင်းလဲမှုများသည် ရုပ်ပုံပေါင်းစပ်မှုတွင် မှားယွင်းသောပြဿနာကို ကိုယ်စားပြုပါသည်။ အသွင်ပြောင်းသော GAN နှင့် ကုဒ်ပြောင်းသည့်ဘောင်များစွာသည် တွဲထားသောပုံများကို အသုံးပြုနိုင်ပြီး (အကျိုးသက်ရောက်စေရန် ဒီဇိုင်းထုတ်ထားသော မတူကွဲပြားသော ပရောဂျက်များကဲ့သို့သော၊ ပုံကြမ်း>ဓာတ်ပုံ နှင့် ဓာတ်ပုံ> ပုံကြမ်း အသွင်ပြောင်းခြင်း)။

သို့သော်၊ လက်တွင်ရှိ၊ ၎င်းသည် အစားအသောက် သို့မဟုတ် ပလပ်စတစ်ခွဲစိတ်မှုကြော်ငြာများတွင် 'မစားမီနှင့် ပြီးနောက်' ပုံများကဲ့သို့သော မတူညီသောရုပ်ပိုင်းဆိုင်ရာဖွဲ့စည်းပုံများတွင် တူညီသောလူများပါသည့် ရုပ်ပုံအတွဲများ လိုအပ်မည်ဖြစ်သည်။

တနည်းအားဖြင့် အသွင်ပြောင်းသော GAN ကွန်ရက်များသည် ဒေတာများစွာကို ပိုမိုကွဲပြားစွာ လေ့ကျင့်ပေးနိုင်ပြီး အသွင်ကူးပြောင်းမှုများကို အကျိုးသက်ရောက်စေနိုင်သည်။ ငုပ်လျှိုးနေသောဦးတည်ချက် အရင်းအမြစ် (မူရင်းပုံ ငုပ်လျှိုးနေသောကုဒ်) နှင့် လိုချင်သော အတန်းအစား (ဤကိစ္စတွင် 'အဆီ'၊ 'ပိန်'၊ 'အရပ်' စသည်ဖြင့်)။ သို့သော်၊ ဤချဉ်းကပ်နည်းသည် ကောင်းမွန်စွာချိန်ညှိထားသော ခန္ဓာကိုယ်ကို ပြန်လည်ပုံဖော်ခြင်းအတွက် ရည်ရွယ်ချက်များအတွက် လောလောဆယ်တွင် အကန့်အသတ်ရှိသည်။

Neural Radiance Fields (NeRF) GAN-based စနစ်အများစု၏ full-body simulation တွင် ချဉ်းကပ်မှုများသည် ပိုမိုအဆင့်မြင့်လာသော်လည်း NeuralReshaper နှင့် ယခင်ပရောဂျက်များက ကိုင်တွယ်ဖြေရှင်းရန် ကြိုးစားနေသည့် အသေးစိပ်ပုံစံဖြင့် လောလောဆယ်တွင် ခန္ဓာကိုယ်အမျိုးအစားများကို တည်းဖြတ်နိုင်မှု အလွန်အကန့်အသတ်ဖြင့် မြင်ကွင်း-အတိအကျနှင့် အရင်းအမြစ်ကို အထူးအလေးထားဆဲဖြစ်သည်။ ပျက် ခန္ဓာကိုယ် တစ်ခုလုံးကို အောက်သို့ ဆွဲချသည်။ ၎င်း၏ပတ်ဝန်းကျင်နှင့်ဆက်စပ်။)

GAN ၏ ငုပ်လျှိုးနေသော နေရာသည် ထိန်းချုပ်ရန် ခက်ခဲသည်။ VAE တစ်ခုတည်းသည် တစ်ကိုယ်လုံး မျိုးပွားခြင်း၏ ရှုပ်ထွေးမှုများကို မဖြေရှင်းနိုင်သေးပါ။ လူ့ခန္ဓာကိုယ်များကို တသမတ်တည်းနှင့် လက်တွေ့ကျကျ ပြန်လည်ပြုပြင်ရန် NeRF ၏ စွမ်းဆောင်ရည်မှာ အခြေတည်နေဆဲဖြစ်သည်။ ထို့ကြောင့် SMPL ကဲ့သို့သော 'သမားရိုးကျ' CGI နည်းစနစ်များကို ပေါင်းစပ်ထည့်သွင်းခြင်းသည် လူ့ပုံရိပ်ပေါင်းစပ်ခြင်းဆိုင်ရာ သုတေသနကဏ္ဍတွင် ဆက်လက်တည်ရှိနေပုံရပြီး အသွင်အပြင်များ၊ အတန်းများ၊ နှင့် ငုပ်လျှိုးနေသော ကုဒ်များ ပေါ်ထွက်လာခြင်းအတွက် ကန့်သတ်ချက်များနှင့် အမြတ်ထုတ်နိုင်မှုတို့ကို အပြည့်အဝနားမလည်သေးသည့် နည်းလမ်းတစ်ခုအနေဖြင့်၊ နည်းပညာများ။

မတ်လ 31 ရက် 2022 တွင် ပထမဆုံး ထုတ်ဝေခဲ့သည်။