ရောင်ပြန်ဟပ်သော ရေဒီယိုလှိုင်းများမှ လူ့ပုံရိပ်ပေါင်းစပ်မှု

တရုတ်နိုင်ငံမှ သုတေသီများသည် ရေဒီယိုလှိုင်းများကို အသုံးပြု၍ ကင်မရာမရှိသူများ၏ ဓါတ်ပုံများအနီးတွင် ဓါတ်ပုံအစစ်အမှန်များကို ပေါင်းစပ်ဖန်တီးနိုင်သော နည်းလမ်းကို တီထွင်ခဲ့သည်။ Generation ဆန့်ကျင်ဘက်ကွန်ယက်များ (GANs)။ ၎င်းတို့ဖန်တီးထားသော စနစ်သည် အလင်းရောင်ကောင်းမွန်သော ပုံရိပ်အစစ်များကို လေ့ကျင့်ထားသော်လည်း အခြေအနေများ မှောင်နေချိန်တွင်ပင် လူသားများ၏ စစ်မှန်သော 'လျှပ်တစ်ပြက်ပုံများ' ကို ရိုက်ကူးနိုင်သည် - နှင့် သမားရိုးကျ ကင်မရာများမှ လူများကို ဖုံးကွယ်နိုင်သည့် ကြီးမားသော အတားအဆီးများမှ တစ်ဆင့်ပင် ဖြစ်သည်။

ရုပ်ပုံများသည် ရေဒီယိုအင်တင်နာနှစ်ခုမှ 'အပူမြေပုံများ'၊ တစ်ခုက မျက်နှာကျက်အောက်မှ ဒေတာများကို ဖမ်းယူခြင်းနှင့် 'မတ်တပ်ရပ်' အနေအထားမှ ရေဒီယိုလှိုင်းနှောင့်ယှက်မှုများကို မှတ်တမ်းတင်သည့်နောက်တစ်ခု။

သုတေသီများ၏ အယူအဆ အထောက်အထား စမ်းသပ်မှုမှ ထွက်ပေါ်လာသော ဓာတ်ပုံများတွင် မျက်နှာမပါသော 'J-Horror' အသွင်အပြင်ရှိသည်-

RFGAN သည် ထိန်းချုပ်ထားသော ပတ်ဝန်းကျင်ရှိ လူများ၏ ပုံရိပ်များနှင့် လူသားလှုပ်ရှားမှုများကို မှတ်တမ်းတင်သည့် ရေဒီယိုလှိုင်းအပူမြေပုံများပေါ်တွင် လေ့ကျင့်သင်ကြားထားသည်။ ဒေတာမှ အင်္ဂါရပ်များကို သင်ယူပြီးနောက် RFGAN သည် RF ဒေတာအသစ်ကို အခြေခံ၍ လျှပ်တစ်ပြက်ရိုက်ချက်များကို ဖန်တီးနိုင်သည်။ ရရှိလာသောပုံသည် ရနိုင်သော ကြိမ်နှုန်းနိမ့် RF အချက်ပြမှုများ၏ အကန့်အသတ်ရှိသော ကြည်လင်ပြတ်သားမှုအပေါ် အခြေခံ၍ အနီးစပ်ဆုံးဖြစ်သည်။ ဤလုပ်ငန်းစဉ်သည် မှောင်မိုက်သောပတ်ဝန်းကျင်တွင်ပင် လည်းကောင်း၊ ဖြစ်နိုင်ချေရှိသော အတားအဆီးအမျိုးမျိုးကို ဖြတ်ကျော်နိုင်သည်။ အရင်းအမြစ်- https://arxiv.org/pdf/2112.03727.pdf

GAN လေ့ကျင့်ရန်၊ RFGANသုတေသီများသည် စံချိန်စံညွှန်း RGB ကင်မရာမှ တူညီသောဒေတာကို အသုံးပြုပြီး ဖမ်းယူသည့်အချိန်တွင် အတိအကျထုတ်လုပ်ထားသည့် သက်ဆိုင်ရာ ရေဒီယိုအပူမြေပုံများထံမှ ကိုက်ညီသောဒေတာကို အသုံးပြုခဲ့သည်။ ပရောဂျက်အသစ်တွင် ပေါင်းစပ်ထားသောလူများ၏ ပုံများသည် အစောပိုင်း Daguerreotype ဓာတ်ပုံရိုက်ခြင်းကဲ့သို့ ပုံစံဖြင့် မှုန်ဝါးသွားတတ်သည်၊ အကြောင်းမှာ အသုံးပြုထားသော ရေဒီယိုလှိုင်းများ၏ ကြည်လင်ပြတ်သားမှုသည် အလွန်နိမ့်သည်၊ အတိမ်အနက် 7.5 စင်တီမီတာနှင့် 1.3 ဒီဂရီလောက်ရှိသော ထောင့်ချိုးရုပ်ထွက်ရှိသောကြောင့်ဖြစ်သည်။

အထက်တွင်၊ အောက်ဖော်ပြပါပုံသည် GAN ကွန်ရက်သို့ ဖြည့်သွင်းထားသော ပုံ၊ အခန်းတွင်းရှိလူကို ပုံဆောင်သည့် အလျားလိုက်နှင့် ဒေါင်လိုက်၊ အပူပိုင်းမြေပုံနှစ်ခု၊ ဗိသုကာအတွင်းရှိ ၎င်းတို့ကို အနှောင့်အယှက်ဖြစ်စေသောဒေတာ၏ 3D ကိုယ်စားပြုမှုအဖြစ် ပေါင်းစပ်ထားသည်။

အသစ် စက္ကူအမည်ရ RFGAN- RF-Based Human Synthesisတရုတ်နိုင်ငံ အီလက်ထရွန်နစ်သိပ္ပံနှင့် နည်းပညာတက္ကသိုလ်မှ သုတေသီ ခြောက်ဦးမှ ဆင်းသက်လာခြင်းဖြစ်သည်။

ဒေတာနှင့်ဗိသုကာ

ဤနယ်ပယ်ကို မျှဝေသည့် ယခင်ဒေတာအတွဲများ သို့မဟုတ် ပရောဂျက်များမရှိခြင်းနှင့် GAN ရုပ်ပုံပေါင်းစပ်မှုဘောင်တွင် ယခင်က RF အချက်ပြမှုများကို အသုံးမပြုခဲ့ခြင်းကြောင့် သုတေသီများသည် ဆန်းသစ်သောနည်းလမ်းများကို တီထွင်ခဲ့ကြသည်။

RFGAN ၏အဓိကဗိသုကာ။

လေ့ကျင့်နေစဉ်အတွင်း အပူမြေပုံနှစ်ခု၏ ရုပ်ပုံများကို လိုက်လျောညီထွေဖြစ်အောင် ပုံမှန်ပြုလုပ်ခြင်းကို အသုံးပြုပြီး ၎င်းတို့သည် ဖမ်းယူထားသော ပုံဒေတာနှင့် နေရာဒေသအလိုက် လိုက်လျောညီထွေရှိစေရန် အသုံးပြုပါသည်။

RF ဖမ်းယူသည့်ကိရိယာများသည် အင်တင်နာအခင်းနှစ်ခု၊ အလျားလိုက်နှင့် ဒေါင်လိုက်အဖြစ် သတ်မှတ်ထားသော မီလီမီတာလှိုင်း (mmWave) ရေဒါများဖြစ်သည်။ လှိုင်းနှုန်းကို ရွေ့လျားနိုင်သော အဆက်မပြတ်လှိုင်း (FMCW) နှင့် လိုင်းနားအင်တင်နာများကို ဖမ်းယူခြင်းအတွက် အသုံးပြုခဲ့သည်။

Generator သည် input အလွှာအဖြစ် RF ပေါင်းစပ်ထားသော (အပူမြေပုံ) ကိုယ်စားပြုမှုဖြင့် ကွန်ရက်ကို convolutional အလွှာများအဆင့်တွင် ပုံမှန်ဖြစ်အောင် ကြိုးကိုင်ပေးခြင်းဖြင့် အရင်းအမြစ်ဘောင်ကို လက်ခံရရှိပါသည်။

ဒေတာများ

ဒေတာကို mmWave အင်တင်နာမှ 20hz မျှသာရှိသော RF signal ရောင်ပြန်ဟပ်မှုမှ စုဆောင်းထားပြီး၊ တစ်ပြိုင်နက်တည်း လူသားဗီဒီယိုကို 10fps ဖြင့် ရိုက်ကူးနိုင်မည်ဖြစ်သည်။ ဒေတာစုဆောင်းခြင်း အစီအစဉ်အမျိုးမျိုးအတွက် စေတနာ့ဝန်ထမ်း ခြောက်ဦးကို အသုံးပြုကာ အဆောက်အဦအတွင်း မြင်ကွင်း ကိုးခုကို ရိုက်ကူးခဲ့သည်။

ရလဒ်မှာ ကွဲပြားသော ဒေတာအတွဲနှစ်ခု၊ RF-လုပ်ဆောင်ချက် နှင့် RF-လမ်းလျှောက်အနေအထားအမျိုးမျိုးရှိ လူများ၏ရုပ်ပုံပေါင်း 68,860 ပါ၀င်သည် (ဥပမာ ကီထိုင် နှင့် လမျးလြှောကျသှား) 137,760 သက်ဆိုင်ရာ အပူမြေပုံဘောင်များ ၊ နှင့် ဆက်စပ်အပူမြေပုံ အတွဲပေါင်း 67,860 နှင့်အတူ လူသားကျပန်း လမ်းလျှောက်ဘောင် 135,720 ပါ၀င်သည်။

ကွန်ဗင်းရှင်းအရ ဒေတာကို လေ့ကျင့်ရေးနှင့် စမ်းသပ်ခြင်းကြားတွင် ၅၅,၂၂၅ ရုပ်ပုံဘောင်များနှင့် ၁၁၀၊ လေ့ကျင့်မှုအတွက် အသုံးပြုသည့် အပူမြေပုံအတွဲ ၄၅၀ ဖြင့် လေ့ကျင့်ခြင်းနှင့် စမ်းသပ်ခြင်းကြားတွင် မညီမညာ ခွဲထားသည်။ RGB ဖမ်းယူမှုဘောင်များကို 55,225×110 သို့ အရွယ်အစားပြောင်းထားပြီး အပူမြေပုံများကို 450×320 သို့ ပြောင်းလဲထားသည်။

ထို့နောက် မော်ဒယ်အား 0.0002 နှင့် (အလွန်ကျဲ) အသုတ်အရွယ်အစား 80 တွင် ဂျင်နရေတာနှင့် ခွဲခြားမှုနှစ်ခုစလုံးအတွက် တသမတ်တည်း သင်ယူမှုနှုန်း 2 ဖြင့် Adam နှင့် လေ့ကျင့်သင်ကြားခဲ့သည်။ စားသုံးသူအဆင့် တစ်ခုတည်းသော GTX တွင် PyTorch မှတစ်ဆင့် လေ့ကျင့်မှုကို ပြုလုပ်ခဲ့သည်။ -1080 GPU၊ 8gb ရှိသော VRAM သည် ထိုသို့သောအလုပ်အတွက် ယေဘုယျအားဖြင့် အတော်လေး ကျိုးနွံသည်ဟု ယူဆသည် (အသုတ်အရွယ်အစားကို ရှင်းပြခြင်း)။

သုတေသီများသည် output ၏ လက်တွေ့ဆန်မှုကို စမ်းသပ်ရန်အတွက် သမားရိုးကျ မက်ထရစ်အချို့ကို ပြုပြင်ပြောင်းလဲပြီး ဓလေ့ထုံးတမ်း ablation စမ်းသပ်မှုများကို ပြုလုပ်ခဲ့သော်လည်း RFGAN ၏ စွမ်းဆောင်ရည်ကို တိုင်းတာရန် တူညီသော ကြိုတင်လုပ်ဆောင်မှုမျိုး မရှိခဲ့ပါ။

လျှို့ဝှက်အချက်ပြမှုများကို စိတ်ဝင်စားမှုဖွင့်ပါ။

RFGAN သည် အခန်းတွင်းဖြစ်ပျက်နေသည့်အရာများကို ထုထည်ပုံဖော်ရန် ရေဒီယိုကြိမ်နှုန်းများကို အသုံးပြုရန် ကြိုးစားသည့် ပထမဆုံးပရောဂျက်မဟုတ်ပါ။ 2019 ခုနှစ်တွင် MIT CSAIL မှ သုတေသီများသည် ဗိသုကာပညာကို တီထွင်ခဲ့သည်။ RF-Avatarနိုင်စွမ်း 3D လူသားများကို ပြန်လည်တည်ဆောက်ခြင်း။ ပိတ်ဆို့ခြင်း၏ပြင်းထန်သောအခြေအနေအောက်တွင် Wi-Fi အကွာအဝေးရှိ ရေဒီယိုကြိမ်နှုန်းအချက်ပြမှုများအပေါ်အခြေခံသည်။

2019 ခုနှစ်မှစတင်၍ MIT CSAIL ပရောဂျက်တွင် နံရံများနှင့် အဝတ်အစားများအပါအဝင် ပိတ်ဆို့နေသောအရာများကို ဖယ်ရှားရန်အတွက် ရေဒီယိုလှိုင်းများကို ပိုမိုရိုးရာ CGI အခြေပြု အလုပ်အသွားအလာတွင် ဖမ်းယူထားသောအကြောင်းအရာများကို ပြန်လည်ဖန်တီးရန်အတွက် အသုံးပြုခဲ့သည်။ အရင်းအမြစ်- https://people.csail.mit.edu/mingmin/papers/rf-avatar.pdf

စာတမ်းသစ်၏ သုတေသီများသည် ရေဒီယိုလှိုင်းများဖြင့် ပတ်ဝန်းကျင်မြေပုံရေးဆွဲခြင်း (ဓာတ်ပုံအစစ်အမှန်လူသားများကို ပြန်လည်ဖန်တီးရန် မကြိုးစားခြင်းတစ်ခုမှ) နှင့်ပတ်သက်သည့် လျော့ရဲရဲရင့်ပတ်သက်သည့် ကြိုတင်လုပ်ဆောင်မှုများကိုလည်း အသိအမှတ်ပြုကြသည်။ လူ့အမြန်နှုန်းကို ခန့်မှန်းပါ။; မြင် နံရံများမှတဆင့် Wi-Fi နှင့်အတူ; လူ့ကိုယ်ဟန်အနေအထားကို အကဲဖြတ်ပါ။; နှင့်ပင် လူ့အမူအရာကို အသိအမှတ်ပြုပါ။အမျိုးမျိုးသောအခြားရည်မှန်းချက်များအကြား။

လွှဲပြောင်းနိုင်မှုနှင့် ပိုမိုကျယ်ပြန့်စွာ အသုံးချနိုင်မှု

ထို့နောက် သုတေသီများသည် ၎င်းတို့၏ ရှာဖွေတွေ့ရှိမှုသည် ကနဦး ဖမ်းယူရရှိသည့် ပတ်ဝန်းကျင်နှင့် လေ့ကျင့်ရေး အခြေအနေများနှင့် လွန်ကဲနေသလား ဆိုတာကို စာတမ်းက စမ်းသပ်မှု အဆင့်တွင် အသေးစိတ် အနည်းငယ် ဖော်ပြထားသော်လည်း၊ သူတို့က အခိုင်အမာ

'ကျွန်ုပ်တို့၏မော်ဒယ်ကို အခင်းအကျင်းအသစ်တွင် အသုံးချရန်၊ ကျွန်ုပ်တို့သည် မော်ဒယ်တစ်ခုလုံးကို အစမှ ပြန်လည်လေ့ကျင့်ရန် မလိုအပ်ပါ။ အလားတူရလဒ်များရရှိရန် ဒေတာအနည်းငယ် (40s ဒေတာခန့်) ကို အသုံးပြု၍ ကြိုတင်လေ့ကျင့်ထားသော RFGAN ကို ကောင်းစွာချိန်ညှိနိုင်သည်။'

ဆက်လက်ပြီး-

'ဆုံးရှုံးမှုလုပ်ဆောင်ချက်များနှင့် hyperparameters များသည် လေ့ကျင့်ရေးအဆင့်နှင့် တူညီပါသည်။ ကိန်းဂဏန်းရလဒ်များမှ ကြိုတင်လေ့ကျင့်ထားသော RFGAN မော်ဒယ်သည် အချက်အလက်အနည်းငယ်မျှသာဖြင့် ကောင်းစွာချိန်ညှိပြီးနောက် မြင်ကွင်းအသစ်တွင် နှစ်သက်ဖွယ်ကောင်းသော လူ့လှုပ်ရှားမှုဘောင်များကို ထုတ်လုပ်နိုင်သည်ကို ကျွန်ုပ်တို့တွေ့ရှိရသည်၊ ဆိုလိုသည်မှာ ကျွန်ုပ်တို့၏အဆိုပြုထားသောမော်ဒယ်သည် ကျယ်ကျယ်ပြန့်ပြန့်အသုံးပြုနိုင်သည့် အလားအလာရှိသည်။'

နည်းပညာအသစ်၏ ဤဟောပြောမှုဆိုင်ရာအသုံးချမှုဆိုင်ရာ စာတမ်း၏အသေးစိတ်အချက်အလက်များအပေါ်အခြေခံ၍ သုတေသီများဖန်တီးထားသောကွန်ရက်သည် မူရင်းဘာသာရပ်များအတွက် 'အံဝင်ခွင်ကျဖြစ်ခြင်း' ရှိမရှိ၊ သို့မဟုတ် RF-heatmaps ကဲ့သို့သော အသေးစိတ်အချက်အလက်များကို အဝတ်အစားအရောင်များကို နုတ်ယူနိုင်သည်ဆိုသည်ကို ရှင်းရှင်းလင်းလင်းမသိရပါ။ optical နှင့် radio capture method တွင်ပါဝင်သည့် မတူညီသောကြိမ်နှုန်းနှစ်မျိုးကို လွန်ဆွဲနေပုံရသည်။

မည်သို့ပင်ဆိုစေကာမူ RFGAN သည် မကြာသေးမီက ကြိုးစားအားထုတ်မှုများထက် ပိုမိုစွဲမက်ဖွယ်ကောင်းသော စောင့်ကြည့်မှုပုံစံအသစ်ကိုဖန်တီးရန် Generative Adversarial Networks ၏အတုယူမှုနှင့် ကိုယ်စားလှယ်ပါဝါများကို အသုံးပြုခြင်း၏ ဆန်းသစ်သောနည်းလမ်းတစ်ခုဖြစ်သည်။ သို့ ရောင်ပြန်ဟပ်သော အလင်းဖြင့် ထောင့်ဝိုင်းများကို ကြည့်ပါ။.

8th ဒီဇင်ဘာ 2021 (ပထမထုတ်ဝေသည့်နေ့)၊ 8:04pm GMT+2 – ထပ်ခါတလဲလဲ စကားလုံးကို ဖယ်ရှားခဲ့သည်။ – MA