Video မှ အရာဝတ္ထုများကို Machine Learning ဖြင့် ပိုမိုထိရောက်စွာ ဖယ်ရှားခြင်း။

တရုတ်မှ သုတေသနအသစ်သည် ရုပ်ပုံထဲမှ အရာဝတ္ထုများကို သဘောကျစွာ ဖယ်ရှားနိုင်သည့် ဗီဒီယို ပန်းချီဆွဲသည့် စနစ်သစ်အတွက် ခေတ်မီသော ရလဒ်များ နှင့် ထိရောက်မှု အထင်ကြီးလောက်သော တိုးတက်မှုတို့ကို အစီရင်ခံပါသည်။

လုပ်ထုံးလုပ်နည်းအသစ်ဖြင့် hang-glider ကြိုးကို ခြယ်မှုန်းထားသည်။ ပိုမိုကောင်းမွန်သော ကြည်လင်ပြတ်သားမှုနှင့် အခြားဥပမာများအတွက် (ဤဆောင်းပါး၏အောက်ခြေတွင် ထည့်သွင်းထားသော) အရင်းအမြစ်ဗီဒီယိုကို ကြည့်ပါ။ အရင်းအမြစ်- https://www.youtube.com/watch?v=N–qC3T2wc4

Flow-Guided video Inpainting အတွက် End-to-End framework ဟုခေါ်သော နည်းပညာ၊E²FGVI) သည် ဗီဒီယိုအကြောင်းအရာမှ ရေစာများနှင့် အခြားသော ပိတ်ဆို့ခြင်းမျိုးများကို ဖယ်ရှားနိုင်သည်။

E2FGVI သည် occlusions များ၏နောက်ကွယ်တွင်ရှိသော အကြောင်းအရာများအတွက် ကြိုတင်ခန့်မှန်းချက်များကို တွက်ချက်ပေးကာ မှတ်သားဖွယ်ရာများနှင့် အခြားနည်းဖြင့် ဆွဲဆောင်နိုင်သော ရေစာများကိုပင် ဖယ်ရှားနိုင်စေပါသည်။ အရင်းအမြစ်- https://github.com/MCG-NKU/E2FGVI

ပိုမိုကောင်းမွန်သော ကြည်လင်ပြတ်သားမှုရှိသော နမူနာများကို ပိုမိုကြည့်ရှုရန်၊ ဆောင်းပါး၏အဆုံးတွင် ထည့်သွင်းထားသော ဗီဒီယိုကို ကြည့်ရှုပါ။

ထုတ်ဝေထားသော စာတမ်းတွင် ဖော်ပြထားသော မော်ဒယ်ကို 432px x 240px ဗီဒီယိုများတွင် လေ့ကျင့်ထားသော်လည်း (အများအားဖြင့် အနိမ့်ဆုံး ထည့်သွင်းမှု အရွယ်အစားများ၊ ရရှိနိုင်သော GPU နေရာလွတ်များနှင့် အကောင်းဆုံး အသုတ်အရွယ်အစားများနှင့် အခြားအချက်များဖြင့် ကန့်သတ်ထားသည်)၊ E²FGVI-HQဗီဒီယိုများကို မထင်သလို ကြည်လင်ပြတ်သားစွာ ကိုင်တွယ်နိုင်သည်။

လက်ရှိဗားရှင်းအတွက်ကုဒ် ရရှိနိုင် GitHub တွင် ပြီးခဲ့သည့် တနင်္ဂနွေနေ့က ထွက်ရှိခဲ့သော HQ ဗားရှင်းကို ဒေါင်းလုဒ်လုပ်နိုင်ပါသည်။ Google Drive ကို နှင့် Baidu Disk.

က​လေးက ပုံထဲမှာ​နေ​နေတယ်​။

E²FGVI သည် Titan XP GPU (432GB VRAM) တွင် ဖရိန်တစ်ခုလျှင် 240×0.12 ဗီဒီယိုကို 12 စက္ကန့်တွင် လုပ်ဆောင်နိုင်ပြီး စနစ်သည် ယခင်ခေတ်မီနည်းပညာများထက် ဆယ့်ငါးဆပိုမိုမြန်ဆန်စွာ လုပ်ဆောင်နိုင်သည်ဟု စာရေးသူက တင်ပြခဲ့သည်။ optical စီးဆင်းမှု.

တင်းနစ်ကစားသမားသည် မထင်မှတ်ဘဲ ထွက်ပေါက်တစ်ခု ပြုလုပ်သည်။

ဤရုပ်ပုံပေါင်းစပ်မှုဆိုင်ရာ သုတေသနကဏ္ဍခွဲအတွက် စံဒေတာအတွဲများကို စမ်းသပ်ခဲ့ရာ၊ နည်းလမ်းသစ်သည် ပြိုင်ဘက်များကို အရည်အသွေးနှင့် အရေအတွက် အကဲဖြတ်သည့် အဝိုင်းနှစ်ခုစလုံးတွင် စွမ်းဆောင်ရည်ထက် သာလွန်အောင် လုပ်ဆောင်နိုင်ခဲ့သည်။

ယခင်နည်းလမ်းများကို ဆန့်ကျင်၍ စမ်းသပ်မှုများ၊ အရင်းအမြစ်- https://arxiv.org/pdf/2204.02663.pdf

အဆိုပါ စက္ကူ ခေါင်းစဉ်ဖြစ်ပါတယ် Flow- Guideded Video Inpainting အတွက် End-to-End Framework သို့ ဦးတည်သည်။Nankai University မှ သုတေသီ လေးဦးနှင့် Hisilicon Technologies မှ သုတေသီတစ်ဦးတို့ ပူးပေါင်းဆောင်ရွက်ခြင်း ဖြစ်သည်။

ဒီပုံမှာ ဘာတွေ လွဲနေလဲ။

ရုပ်ထွက်သက်ရောက်မှုများအတွက် သိသာထင်ရှားသောအပလီကေးရှင်းများအပြင်၊ အရည်အသွေးမြင့်ဗီဒီယိုဆေးခြယ်ခြင်းများသည် AI အခြေခံရုပ်ပုံပေါင်းစပ်ခြင်းနှင့် ရုပ်ပုံပြောင်းလဲခြင်းနည်းပညာအသစ်၏ အဓိကသတ်မှတ်အင်္ဂါရပ်တစ်ခုဖြစ်လာမည်ဖြစ်သည်။

အထူးသဖြင့် ခန္ဓာကိုယ်ကို ပြောင်းလဲစေသော ဖက်ရှင်အသုံးချမှုများနှင့် အခြားသော မူဘောင်များအတွက် ဤကိစ္စရပ်ဖြစ်သည်။ 'ပါးလွှာ' ဖို့ ကြိုးစားပါ သို့မဟုတ်ပါက ပုံများနှင့် ဗီဒီယိုများတွင် မြင်ကွင်းများကို ပြောင်းလဲပါ။ ထိုသို့သောအခြေအနေမျိုးတွင်၊ ပေါင်းစပ်ဖွဲ့စည်းမှုမှဖော်ပြသောအပိုနောက်ခံကို စိတ်ချယုံကြည်စွာ 'ဖြည့်ရန်' လိုအပ်ပါသည်။

မကြာသေးမီက စာရွက်တစ်ခုမှ၊ အကြောင်းအရာတစ်ခု အရွယ်အစားကို အရွယ်ပြောင်းသောအခါတွင် အသစ်ပေါ်လာသော နောက်ခံကို ခြယ်မှုန်းရန် ကိုယ်ထည် 'ပြန်လည်ပြင်ဆင်ခြင်း' အယ်လဂိုရီသမ်ကို တာဝန်ပေးပါသည်။ ဤတွင်၊ ထိုအားနည်းချက်ကို အနီရောင်ကောက်ကြောင်းဖြင့် ကိုယ်စားပြုသည် (လက်တွေ့ဘဝ၊ ဘယ်ဘက်ရုပ်ပုံကိုကြည့်ပါ) ပြည့်ပြည့်ပြည့်ဖြိုးသောပုဂ္ဂိုလ်က သိမ်းပိုက်ထားလေ့ရှိသည်။ https://arxiv.org/pdf/2203.10496.pdf မှ အရင်းအမြစ်အကြောင်းအရာကို အခြေခံထားသည်။

Coherent Optical Flow

Optical flow (OF) သည် ဗီဒီယိုအရာဝတ္တုများကို ဖယ်ရှားခြင်းအတွက် အဓိကနည်းပညာတစ်ခု ဖြစ်လာသည်။ တစ်ခုလိုပါပဲ။ မွေပုံစာအုပျ, OF သည် ယာယီအစီအစဥ်တစ်ခု၏ တစ်ချက်ရိုက်ချက်မြေပုံကို ထောက်ပံ့ပေးသည်။ ကွန်ပြူတာအမြင်စဥ်လုပ်ဆောင်မှုများတွင် အလျင်ကိုတိုင်းတာရန် မကြာခဏအသုံးပြုလေ့ရှိသော၊ OF သည် မလွဲမသွေဦးဆောင်ပေးသော လုပ်ငန်းဆောင်တာ၏ ပေါင်းလဒ်ကို တစ်ခုတည်းသောဖြတ်သန်းမှုတွင်ထည့်သွင်းစဉ်းစားနိုင်သည့် ယာယီအားဖြင့် တစ်သမတ်တည်းဖြစ်သော ပန်းချီရေးဆွဲခြင်းကိုလည်း လုပ်ဆောင်နိုင်သည်။ ယာယီပြတ်တောက်မှုဆီသို့။

ဗီဒီယို ပန်းချီဆွဲခြင်း နည်းလမ်းများသည် အဆင့်သုံးဆင့် လုပ်ငန်းစဉ်ကို ဗဟိုပြုလျက် ရှိသည်- စီးဆင်းမှုပြီးစီးခြင်း။ဗီဒီယိုကို အဓိကအားဖြင့် သီးခြားခွဲခြမ်းစိတ်ဖြာပြီး စူးစမ်းရှာဖွေနိုင်သော အရာအဖြစ် ပုံဖော်ထားသည်။ pixel ထွက်လာပါတယ်။'ပျက်စီးနေသည်' ဗီဒီယိုများတွင် အပေါက်များကို လမ်းကြောင်းနှစ်သွယ်ဖြင့် ပြန့်ပွားနေသော pixels များဖြင့် ပြည့်နေပါသည်။ နှင့် အကြောင်းအရာ ယောင်မှားခြင်း။ (DALL-E စီးရီးများကဲ့သို့ deepfakes နှင့် စာသားမှပုံဘောင်များကဲ့သို့သော deepfakes များမှ ကျွန်ုပ်တို့အများစုနှင့်ရင်းနှီးသော pixel 'တီထွင်မှု')) ခန့်မှန်း 'ပျောက်နေသည်' အကြောင်းအရာကို တီထွင်ပြီး ဗီဒီယိုဖိုင်ထဲသို့ ထည့်သွင်းပါသည်။

E ၏ဗဟိုဆန်းသစ်တီထွင်မှု၊²FGVI သည် ဤအဆင့်သုံးဆင့်ကို အဆုံးမှ အဆုံးစနစ်သို့ ပေါင်းစပ်ရန်ဖြစ်ပြီး၊ အကြောင်းအရာ သို့မဟုတ် လုပ်ငန်းစဉ်တွင် ကိုယ်တိုင်လုပ်ဆောင်မှုများ လုပ်ဆောင်ရန် လိုအပ်မှုကို ထင်ရှားစေသည်။

လူကိုယ်တိုင်ဝင်ရောက်စွက်ဖက်ရန် လိုအပ်ကြောင်း စာတမ်းတွင် ပြုစုထားသော လုပ်ငန်းစဉ်အဟောင်းများသည် GPU ကို အခွင့်ကောင်းမယူဘဲ အချိန်ကုန်စေသည် ။ စာရွက်မှ*

'ယူ DFVI ဥပမာအနေဖြင့်၊ 432 × 240 အရွယ်အစားရှိသော ဗီဒီယိုတစ်ကားကို ပြီးအောင်လုပ်ပါ။ Davisဖရိန် ၇၀ ခန့်ပါရှိသော၊ ၎င်းသည် လက်တွေ့ကမ္ဘာအပလီကေးရှင်းအများစုတွင် လက်မခံနိုင်သော ၄ မိနစ်ခန့် လိုအပ်သည်။ ထို့အပြင်၊ အထက်ဖော်ပြပါ အားနည်းချက်များမှလွဲ၍၊ အကြောင်းအရာ ယောင်ယောင်ချောက်ချားခြင်းအဆင့်တွင် ကြိုတင်လေ့ကျင့်ထားသော ရုပ်ပုံဆေးခြယ်ခြင်းကွန်ရက်ကို အသုံးပြုခြင်းကသာ ယာယီအိမ်နီးနားချင်းများကြားရှိ အကြောင်းအရာဆိုင်ရာ ဆက်ဆံရေးများကို လျစ်လျူရှုကာ ဗီဒီယိုများတွင် မကိုက်ညီသော ထုတ်ပေးသည့် အကြောင်းအရာများကို ဖြစ်ပေါ်စေသည်။'

ဗီဒီယို ပန်းချီဆွဲခြင်း အဆင့်သုံးဆင့်ကို ပေါင်းစည်းခြင်းဖြင့် E²FGVI သည် ဒုတိယအဆင့်၊ pixel ပြန့်ပွားမှုကို feature ပြန့်ပွားမှုဖြင့် အစားထိုးနိုင်သည်။ ယခင်အလုပ်များ၏ အပိုင်းခွဲထားသော လုပ်ငန်းစဉ်များတွင်၊ အဆင့်တစ်ခုစီသည် အတော်လေး ရောထွေးနေပြီး အလုပ်အသွားအလာသည် semi-automated သာဖြစ်သောကြောင့် အင်္ဂါရပ်များကို ကျယ်ကျယ်ပြန့်ပြန့်မရနိုင်ပါ။

ထို့အပြင် သုတေသီများက အကြံတစ်ခု ပေးခဲ့သည်။ temporal focal transformer လက်ရှိဘောင်ရှိ pixels များ၏တိုက်ရိုက်အိမ်နီးနားချင်းများကိုသာမက (ဥပမာ၊ ယခင်ပုံ သို့မဟုတ် နောက်ပုံရှိ ဖရိန်၏အစိတ်အပိုင်းတွင်ဖြစ်ပျက်နေသည့်အရာများ) ကိုသာမက ဖရိမ်များစွာကွာဝေးသော ဝေးကွာသောအိမ်နီးနားချင်းများကိုလည်း လည်းကောင်း၊ သို့သော် ဗီဒီယိုတစ်ခုလုံးတွင် လုပ်ဆောင်သည့် မည်သည့်လုပ်ဆောင်ချက်များ၏ ပေါင်းစပ်အကျိုးသက်ရောက်မှုကို လွှမ်းမိုးနိုင်မည်နည်း။

E2FGVI ၏ဗိသုကာ။

အလုပ်အသွားအလာ၏ အင်္ဂါရပ်အခြေပြု ဗဟိုအပိုင်းအသစ်သည် အင်္ဂါရပ်အဆင့် လုပ်ငန်းစဉ်များနှင့် သင်ယူနိုင်သော နမူနာအော့ဖ်ဆက်များကို အခွင့်ကောင်းယူနိုင်သော်လည်း ပရောဂျက်၏ ဆန်းသစ်သော focal transformer သည် စာရေးသူများအဆိုအရ focal windows ၏အရွယ်အစားကို '2D မှ 3D' အထိ တိုးချဲ့ထားသည်။ .

စမ်းသပ်မှုများနှင့်ဒေတာ

စမ်းသပ်ရန် E²FGVI၊ သုတေသီများသည် လူကြိုက်များသော ဗီဒီယိုအရာဝတ္ထုကို အပိုင်းခွဲခြင်းဒေတာအတွဲနှစ်ခုနှင့် ဆန့်ကျင်သည့်စနစ်အား အကဲဖြတ်ခဲ့သည်- YouTube-VOSနှင့် Davis. YouTube-VOS တွင် လေ့ကျင့်ရေးဗီဒီယိုကလစ် ၃၇၄၁ ခု၊ အတည်ပြုကလစ် ၄၇၄ ခုနှင့် စမ်းသပ်မှုအပိုင်း ၅၀၈ ခု ပါဝင်ပြီး DAVIS တွင် လေ့ကျင့်ရေးဗီဒီယိုအပိုင်း ၆၀ နှင့် စမ်းသပ်မှုအပိုင်း ၉၀ ပါဝင်သည်။

E²FGVI ကို YouTube-VOS တွင် လေ့ကျင့်ထားပြီး ဒေတာအတွဲနှစ်ခုစလုံးတွင် အကဲဖြတ်ထားသည်။ လေ့ကျင့်နေစဉ်အတွင်း၊ ဗီဒီယိုပြီးဆုံးမှုကို ပုံတူကူးရန် (အထက်ပုံများတွင်ရှိသော အစိမ်းရောင်ဧရိယာများနှင့် အောက်ဖော်ပြပါဗီဒီယို) တို့ကို ထုတ်ပေးပါသည်။

မက်ထရစ်များအတွက်၊ သုတေသီများသည် Peak signal-to-noise ratio (PSNR)၊ Structural similarity (SSIM)၊ Video-based Fréchet Inception Distance (VFID) နှင့် Flow Warping Error—ကို ထိခိုက်နေသော ဗီဒီယိုရှိ ယာယီတည်ငြိမ်မှုကို တိုင်းတာရန်အတွက် နောက်ဆုံးတွင် လက်ခံကျင့်သုံးပါသည်။

စနစ်စမ်းသပ်ခဲ့သည့် ယခင်ဗိသုကာလက်ရာများ VINet, DFVI, LGTSM, CAP, FGVC, STTNနှင့် FuseFormer.

စာတမ်း၏ အရေအတွက်ရလဒ်အပိုင်းမှ။ အပေါ်နှင့်အောက် မြှားများက နံပါတ်များ ပိုများသည် သို့မဟုတ် အောက်သည် ပိုကောင်းကြောင်း အသီးသီးဖော်ပြသည်။ E2FGVI သည် ဘုတ်အဖွဲ့တစ်လျှောက် အကောင်းဆုံးရမှတ်များကို ရရှိသည်။ DFVI၊ VINet နှင့် FGVC တို့သည် အဆုံးမှအဆုံးစနစ်မဟုတ်သော်လည်း FuseFormer အရ အကဲဖြတ်သည်မှာ ၎င်းတို့၏ FLOP များကို ခန့်မှန်းရန် မဖြစ်နိုင်ပေ။

ပြိုင်ဆိုင်မှုစနစ်များအားလုံးနှင့် ယှဉ်လျှင် အကောင်းဆုံးရမှတ်များရရှိခြင်းအပြင် သုတေသီများသည် အရည်အသွေးပြည့်ဝသော အသုံးပြုသူလေ့လာမှုကို ပြုလုပ်ခဲ့ပြီး ရုပ်ပိုင်းဆိုင်ရာအရည်အသွေးအရ ၎င်းတို့အား အဆင့်သတ်မှတ်ခိုင်းသည့် စေတနာ့ဝန်ထမ်း အယောက်နှစ်ဆယ်အား ကိုယ်စားလှယ်ငါးဦးဖြင့် ပြောင်းလဲထားသော ဗီဒီယိုများကို တစ်ဦးချင်းပြသပေးခဲ့သည်။

ဒေါင်လိုက်ဝင်ရိုးသည် E ကိုနှစ်သက်သောပါဝင်သူရာခိုင်နှုန်းကိုကိုယ်စားပြုသည်။²ရုပ်ထွက်အရည်အသွေးအရ FGVI အထွက်။

၎င်းတို့၏နည်းလမ်းအတွက် တညီတညွတ်တည်း လိုလားမှုရှိနေသော်လည်း ရလဒ်များထဲမှ တစ်ခုဖြစ်သော FGVC သည် အရေအတွက်ရလဒ်များကို ထင်ဟပ်ခြင်းမရှိကြောင်းနှင့် ယင်းက E ကိုဖော်ပြသည်ဟု အကြံပြုထားကြောင်း စာရေးဆရာများက မှတ်ချက်ပြုသည်။²FGVI သည် 'အမြင်အာရုံပို၍ သာယာဖွယ်ရလဒ်များ' ကို အတိအကျ ထုတ်ပေးနိုင်မည်ဖြစ်သည်။

ထိရောက်မှုအရ၊ ၎င်းတို့၏စနစ်သည် DAVIS ဒေတာအတွဲရှိ Titan GPU တစ်ခုတည်းတွင် ၎င်းတို့၏စနစ်သည် တစ်စက္ကန့်လျှင် ရေပေါ်အမှတ်လုပ်ဆောင်မှုများကို အလွန်လျှော့ချပေးကြောင်း မှတ်သားထားပြီး ရလဒ်များသည် E ပြသည်ကို သတိပြုပါ။²FGVI သည် စီးဆင်းမှုအခြေခံနည်းလမ်းများထက် x15 ပိုမြန်သည်။

မှတ်ချက်ပေးကြသည်-

'[အီး²FGVI] သည် အခြားနည်းလမ်းအားလုံးနှင့်မတူဘဲ အနိမ့်ဆုံး FLOP များကို ကိုင်ဆောင်ထားသည်။ ယင်းက အဆိုပြုထားသောနည်းလမ်းသည် ဗီဒီယိုဆေးခြယ်ခြင်းအတွက် အလွန်ထိရောက်ကြောင်း ညွှန်ပြသည်။'

httpv://www.youtube.com/watch?v=N–qC3T2wc4

*ကျွန်ုပ်၏ စာရေးဆရာများ၏ အတွင်းလိုင်းကိုးကားချက်များကို ဟိုက်ပါလင့်ခ်များအဖြစ်သို့ ပြောင်းလဲခြင်း။

19 ခုနှစ် မေလ 2022 ရက်နေ့တွင် ပထမဆုံးထုတ်ဝေခဲ့သည်။