သေးငယ်သော်လည်း သိသာထင်ရှားသော AI တည်းဖြတ်မှုများကို အစစ်အမှန်ဗီဒီယိုတွင် ပြသခြင်း။

2019 ခုနှစ်တွင်၊ US အောက်လွှတ်တော်ဥက္ကဋ္ဌ Nancy Pelosi သည် ၎င်း၏အစစ်အမှန်ဗီဒီယိုကို အရက်မူးစေရန် တည်းဖြတ်လိုက်သောအခါ ပစ်မှတ်ထားပြီး အလွန်အမင်းနည်းပညာနိမ့်သော နက်ရှိုင်းသောပုံစံတိုက်ခိုက်မှု၏ လက်အောက်ခံဖြစ်ခဲ့ပါသည်။ အကြိမ်ပေါင်း သန်းပေါင်းများစွာ မျှဝေခဲ့သည်။ ၎င်းနှင့်ပတ်သက်သည့် အမှန်တရားများ မထွက်ပေါ်မီတွင် (၎င်းသည် သူမ၏ နိုင်ငံရေး အရင်းအနှီးကို ခေါင်းမာစွာ ထိခိုက်စေပြီးနောက် ဇာတ်လမ်းနှင့် အဆက်အသွယ်မပြတ်သော သူများမှ သက်ရောက်မှု ရှိခဲ့သည်)။

ဤမှားယွင်းဖော်ပြမှုသည် AI များထက် ရိုးရှင်းသော အသံ-အမြင်တည်းဖြတ်မှုအချို့သာ လိုအပ်သော်လည်း၊ ၎င်းသည် အစစ်အမှန် အသံ-ရုပ်ထွက်ထွက်ရှိမှုတွင် သိမ်မွေ့သောပြောင်းလဲမှုများကို ဆိုးရွားစွာအကျိုးသက်ရောက်စေနိုင်ပုံ၏ အဓိကဥပမာတစ်ခုဖြစ်သည်။

ထိုအချိန်တွင်၊ နက်နဲသော အတုအယောင် မြင်ကွင်းက လွှမ်းမိုးထားသည်။ autoencoder-based 2017 ခုနှစ်နှောင်းပိုင်းတွင် ထုတ်ဖော်ပြသခဲ့သော မျက်နှာအစားထိုးစနစ်များဖြစ်ပြီး ထိုအချိန်မှစ၍ အရည်အသွေးမှာ သိသိသာသာ တိုးတက်လာခြင်းမရှိပေ။ ဤကဲ့သို့သော အစောပိုင်းစနစ်များသည် ဤသေးငယ်သော်လည်း သိသာထင်ရှားသော ပြောင်းလဲမှုမျိုး ဖန်တီးရန် သို့မဟုတ် ခေတ်မီသုတေသနဆိုင်ရာ ကဏ္ဍများကို လက်တွေ့ကျကျ လိုက်လျှောက်ရန် ခက်ခဲလိမ့်မည်၊ အသုံးအနှုန်း တည်းဖြတ်ခြင်း။:

2022 'Neural Emotion Director' မူဘောင်သည် နာမည်ကြီး မျက်နှာတစ်ခု၏ ခံစားချက်ကို ပြောင်းလဲစေသည်။ အရင်းအမြစ်: https://www.youtube.com/watch?v=Li6W8pRDMJQ

ခုတော့အရာတွေက တော်တော်ကွာခြားသွားပြီ။ ရုပ်ရှင်နှင့် တီဗီလုပ်ငန်း ဖြစ်ပါ သည်။ အလေးအနက်စိတ်ဝင်စားသည်။ ထုတ်လုပ်မှုနောက်ပိုင်းတွင် စက်သင်ယူမှုနည်းလမ်းများကို အသုံးပြု၍ အစစ်အမှန်စွမ်းဆောင်ရည်များကို ပြောင်းလဲခြင်းနှင့် AI ၏ ပံ့ပိုးကူညီမှု post အဟီး perfectionism လည်းရှိတယ်။ လတ်တလော ဝေဖန်ခံနေရတယ်။.

ဤတောင်းဆိုမှုကို မျှော်လင့်ခြင်း (သို့မဟုတ် အငြင်းအခုန်ဖန်တီးခြင်း)၊ ရုပ်ပုံနှင့် ဗီဒီယိုပေါင်းစပ်မှု သုတေသနမြင်ကွင်းသည် ရှင်းရှင်းအစားထိုးခြင်းထက် မျက်နှာရိုက်ခြင်း၏ 'ဒေသတွင်းတည်းဖြတ်မှုများ' ကို ပေးဆောင်သည့် ပရောဂျက်များစွာကို ရှေ့သို့ လွှင့်ပစ်လိုက်သည်- ဤကဲ့သို့သော ပရောဂျက်များ ပါဝင်သည်။ Diffusion ဗီဒီယို Autoencoders; အချိန်နှင့်အမျှ ချိတ်ပါ။; ChatFace; MagicFace; နှင့် ဒစ္စကိုအခြားသူများအကြား။

ဇန်နဝါရီ 2025 ပရောဂျက် MagicFace ဖြင့် ဖော်ပြချက်-တည်းဖြတ်ခြင်း။ အရင်းအမြစ်- https://arxiv.org/pdf/2501.02260

မျက်နှာသစ်၊ အရေးအကြောင်းအသစ်များ

သို့သော်၊ အသုံးပြုနိုင်သောနည်းပညာများသည် ၎င်းတို့ကိုရှာဖွေတွေ့ရှိသည့်နည်းလမ်းများထက် ပိုမိုလျင်မြန်စွာတိုးတက်နေပါသည်။ စာပေတွင် ပေါ်နေသည့် နက်ရှိုင်းသော အတုရှာဖွေရေး နည်းလမ်းအားလုံးနီးပါးသည် ယမန်နေ့က အတုလုပ်နည်းများကို လိုက်ရှာနေကြသည်။ မနေ့က datasets. ယခုရက်သတ္တပတ်မတိုင်မီအထိ၊ ဗီဒီယိုတွင် သေးငယ်ပြီး ဒေသန္တရပြောင်းလဲမှုများကို ဖန်တီးရန် ၎င်းတို့အနက်မှ တစ်ဦးတစ်ယောက်မျှ AI စနစ်များ၏ တွားသွားနိုင်သည့် အလားအလာကို မဖြေရှင်းနိုင်ခဲ့ပါ။

ယခုအခါတွင်၊ အိန္ဒိယမှ စာတမ်းအသစ်တစ်ခုသည် ဖြစ်ခဲ့သော မျက်နှာများကို ဖော်ထုတ်ရန် ကြိုးပမ်းသည့်စနစ်ဖြင့် ၎င်းကို ပြန်လည်ပြင်ဆင်ခဲ့သည်။ edited AI အခြေခံနည်းပညာများဖြင့် (အစားထိုးခြင်းထက်)

Deepfakes တွင် သိမ်မွေ့သော ဒေသန္တရတည်းဖြတ်မှုများကို ရှာဖွေခြင်း- မျက်ခုံးမွှေးထူလာခြင်း၊ ပြုပြင်ထားသော လိင်ပိုင်းဆိုင်ရာ စရိုက်လက္ခဏာများနှင့် စက်ဆုပ်ရွံရှာဖွယ်အမူအရာများ ပြောင်းလဲခြင်းစသည့် အသွင်အပြင်ဖြင့် အတုအယောင်များကို ဖန်တီးရန်အတွက် တကယ့်ဗီဒီယိုကို ပြောင်းလဲထားပါသည်။ အရင်းအမြစ်- https://arxiv.org/pdf/2503.22121

စာရေးဆရာများ၏ စနစ်သည် သိမ်မွေ့သော၊ ဒေသအလိုက်ပြုလုပ်ထားသော မျက်နှာခြယ်လှယ်မှုများ ပါဝင်သည့် နက်နဲသောအတုများကို ဖော်ထုတ်ရန် ရည်ရွယ်သည် - အခြားနည်းဖြင့် လျစ်လျူရှုထားသော အတုအပအတန်းအစားဖြစ်သည်။ ကမ္ဘာလုံးဆိုင်ရာ မကိုက်ညီမှုများ သို့မဟုတ် အထောက်အထားမတူညီမှုများကို အာရုံစိုက်မည့်အစား၊ ချဉ်းကပ်မှုသည် အနည်းငယ်သော မျက်နှာအမူအရာ အပြောင်းအလဲများ သို့မဟုတ် သီးသန့်မျက်နှာအသွင်အပြင်များကို သေးငယ်သော တည်းဖြတ်မှုများကဲ့သို့သော အနုစိတ်ပြောင်းလဲမှုများကို ပစ်မှတ်ထားသည်။

၎င်းနည်းလမ်းသည် Action Units (AUs) ကန့်သတ်ချက်ကို အသုံးပြုသည်။ Facial Action Coding စနစ် (FACS) သည် မျက်နှာတွင် တစ်ဦးချင်း မပြောင်းလဲနိုင်သော ဧရိယာ 64 ခုကို အဓိပ္ပါယ်ဖွင့်ဆိုထားပြီး၊ စကားလုံးများကို ပေါင်းစပ်ဖွဲ့စည်းထားသည်။

FACS တွင် ပါဝင်သော 64 စကားရပ်၏ အစိတ်အပိုင်းအချို့။ အရင်းအမြစ်- https://www.cs.cmu.edu/~face/facs.htm

စာရေးသူများသည် မကြာသေးမီကတည်းဖြတ်ခြင်းနည်းလမ်းအမျိုးမျိုးကိုဆန့်ကျင်ပြီး ၎င်းတို့၏ချဉ်းကပ်မှုကို အကဲဖြတ်ပြီး ဒေတာအတွဲအဟောင်းများနှင့် မကြာသေးမီက တိုက်ခိုက်မှု vectors များနှင့်အတူ တသမတ်တည်းစွမ်းဆောင်ရည်ရရှိမှုများကို အစီရင်ခံတင်ပြသည်-

'Masked Autoencoders [(MAE)] မှတဆင့် လေ့လာခဲ့သော ဗီဒီယိုကိုယ်စားပြုမှုများကို လမ်းညွှန်ရန် AU-based အင်္ဂါရပ်များကို အသုံးပြုခြင်းဖြင့်၊ ကျွန်ုပ်တို့၏နည်းလမ်းသည် သိမ်မွေ့သောမျက်နှာပြုပြင်မှုများကို ရှာဖွေတွေ့ရှိရန်အတွက် အရေးကြီးသော ဒေသန္တရပြောင်းလဲမှုများကို ထိထိရောက်ရောက်ဖမ်းယူပေးပါသည်။

'ဤချဉ်းကပ်မှုသည် ကျွန်ုပ်တို့အား ဒေသအလိုက် တည်းဖြတ်မှုများနှင့် ကျယ်ပြန့်သော ပြောင်းလဲမှုများကို ကုဒ်ဝှက်ထားသည့် ပေါင်းစည်းထားသော ငုပ်လျှိုးနေသော ကိုယ်စားပြုဗီဒီယိုများကို ဖန်တီးနိုင်စေကာ၊ နက်ရှိုင်းသောအတုအယောင်ရှာဖွေခြင်းအတွက် ပြည့်စုံပြီး လိုက်လျောညီထွေရှိသော ဖြေရှင်းချက်ကို ပေးစွမ်းနိုင်စေသည်'

အဆိုပါ အသစ်သောစက္ကူ ခေါင်းစဉ်ဖြစ်ပါတယ် လုပ်ဆောင်ချက်ယူနစ်-လမ်းညွှန်ဗီဒီယို ကိုယ်စားပြုမှုများကို အသုံးပြု၍ ဒေသအလိုက်ပြုလုပ်ထားသော Deepfake ခြယ်လှယ်မှုများကို ထောက်လှမ်းခြင်း။Madras ရှိ Indian Institute of Technology မှ စာရေးဆရာ သုံးဦးထံမှ လာသည်။

နည်းလမ်း

ချဉ်းကပ်ပုံနှင့်အညီ VideoMAEနည်းလမ်းသစ်သည် ဗီဒီယိုတစ်ခုတွင် မျက်နှာသိရှိခြင်းကို အသုံးချပြီး တွေ့ရှိသည့်မျက်နှာများပေါ်တွင် ဗဟိုပြုထားသည့် အညီအမျှ ကွာဟထားသောဘောင်များကို နမူနာယူခြင်းဖြင့် စတင်သည်။ ထို့နောက် ဤဘောင်များကို 3D အပိုင်းငယ်များအဖြစ် ပိုင်းခြားထားသည် (ဆိုလိုသည်မှာ ယာယီ-ဖွင့်ထားသည်။ ပြင်ဆင်ဖာထေးမှုများ) တစ်ခုစီသည် ဒေသဆိုင်ရာ အာကာသနှင့် ယာယီအသေးစိတ်တို့ကို ဖမ်းယူသည်။

နည်းလမ်းအသစ်အတွက် Schema ထည့်သွင်းဗီဒီယိုအား 'tubular' ဖာထေးမှုများအဖြစ် ပိုင်းခြားကာ အညီအမျှ ခွဲထားသော မျက်နှာကို ဗဟိုပြုထားသည့် ဖရိန်များကို ထုတ်ယူရန် မျက်နှာကို ထောက်လှမ်းခြင်းဖြင့် လုပ်ဆောင်ပါသည်။ ထို့နောက် ဗီဒီယိုသည် အစစ်လား သို့မဟုတ် အတုလား ဆုံးဖြတ်ရန် ရလဒ်ကို အမျိုးအစားခွဲသူက အသုံးပြုသည်။

3D ဖာထေးမှုတစ်ခုစီတွင် စဉ်ဆက်မပြတ်ဘောင်အနည်းအများ (ဆိုလိုသည်မှာ၊ 16) မှ ပုံသေအရွယ်အစားပြတင်းပေါက်တစ်ခု (ဆိုလိုသည်မှာ 16×2) ပါရှိသည်။ ၎င်းသည် မော်ဒယ်အား ရေတိုရွေ့လျားမှုနှင့် အမူအရာပြောင်းလဲမှုများကို လေ့လာနိုင်စေသည် - မျက်နှာပုံစံသာမကဘဲ၊ ဘယ်လိုရွေ့လဲ။.

ဖာထေးမှုများနှင့် မြှုပ်ထားသည်။ positionally encode လုပ်ထားသည်။ အစစ်အမှန်နှင့် အတုကို ခွဲခြားနိုင်သော အင်္ဂါရပ်များကို ထုတ်ယူရန် ဒီဇိုင်းထုတ်ထားသည့် ကုဒ်ပြောင်းကိရိယာသို့ မလွှဲပြောင်းမီ။

သိမ်မွေ့သော ခြယ်လှယ်မှုများကို ကိုင်တွယ်ဖြေရှင်းရာတွင် အထူးခက်ခဲကြောင်း စာရေးဆရာများက အသိအမှတ်ပြုကြပြီး သီးခြားလေ့လာထားသော ကိုယ်စားပြုမှုအမျိုးအစားနှစ်ခုကို ပေါင်းစပ်ထားသည့် ကုဒ်ဒါတစ်ခုကို တည်ဆောက်ခြင်းဖြင့်၊ အပြန်အလှန်အာရုံ ၎င်းတို့ကို ပေါင်းစပ်ရန် ယန္တရား။ ဤအရာသည် ပိုမိုအကဲဆတ်ပြီး ယေဘူယျဖြစ်နိုင်စေရန် ရည်ရွယ်ပါသည်။ အင်္ဂါရပ်နေရာ ဒေသအလိုက် တည်းဖြတ်မှုများကို ရှာဖွေတွေ့ရှိရန်။

အကြောင်းခံလုပ်ဆောင်စရာများ

ဤကိုယ်စားပြုမှုများထဲမှ ပထမဆုံးသည် မျက်နှာဖုံးစွပ်ထားသော အော်တိုကုဒ်လုပ်ခြင်းလုပ်ငန်းဖြင့် လေ့ကျင့်ထားသော ကုဒ်နံပါတ်ဖြစ်သည်။ ဗီဒီယိုကို 3D ဖာထေးမှုများအဖြစ် ပိုင်းခြားထားခြင်းဖြင့် (အများစုကို ဝှက်ထားသည်)၊ ထို့နောက် ကုဒ်ပြောင်းကိရိယာသည် ပျောက်ဆုံးနေသော အစိတ်အပိုင်းများကို ပြန်လည်တည်ဆောက်ရန် သင်ယူပြီး မျက်နှာလှုပ်ရှားမှု သို့မဟုတ် အချိန်နှင့်အမျှ လိုက်လျောညီထွေရှိမှုကဲ့သို့သော အရေးကြီးသော spatiotemporal ပုံစံများကို ဖမ်းယူရန် တွန်းအားပေးသည်။

အကြောင်းပြချက်ဖြင့် လုပ်ဆောင်စရာ လေ့ကျင့်ရေးတွင် လုပ်ဆောင်စရာပေါ် မူတည်၍ မူလဘောင်များ သို့မဟုတ် တစ်ဘောင်လုပ်ဆောင်ချက်ယူနစ်မြေပုံများကို ပြန်လည်တည်ဆောက်ရန်အတွက် ဗီဒီယိုထည့်သွင်းမှု၏ အစိတ်အပိုင်းများကို ဖုံးကွယ်ထားကာ ကုဒ်ကုဒ်ဒီကုဒ်စနစ်ထည့်သွင်းမှုကို အသုံးပြုခြင်း ပါဝင်ပါသည်။

သို့သော်လည်း စာတမ်းက သတိပြုမိသည်မှာ၊ ဤအရာတစ်ခုတည်းက ကောင်းမွန်သော တည်းဖြတ်မှုများကို ရှာဖွေရန် လုံလောက်သော အာရုံခံနိုင်စွမ်းကို မပေးနိုင်သောကြောင့် စာရေးသူသည် မျက်နှာလှုပ်ရှားမှုယူနစ်များ (AUs) ကိုသိရှိရန် လေ့ကျင့်ထားသော ဒုတိယကုဒ်ဒါတစ်ခုကို မိတ်ဆက်ပေးခဲ့သည်။ ဤလုပ်ဆောင်စရာအတွက်၊ မော်ဒယ်သည် ဖရိန်တစ်ခုစီအတွက် သိပ်သည်းသော AU မြေပုံများကို တစ်စိတ်တစ်ပိုင်းဖုံးအုပ်ထားသော ထည့်သွင်းမှုများမှ တစ်ဖန်ပြန်လည်တည်ဆောက်ရန် သင်ယူသည်။ ၎င်းသည် သိမ်မွေ့နက်နဲသော အတုအယောင်တည်းဖြတ်မှုများ အများအပြားဖြစ်ပွားသည့် ဒေသအလိုက် ကြွက်သားလှုပ်ရှားမှုအပေါ် အာရုံစိုက်ရန် ၎င်းအား အားပေးသည်။

Facial Action Units (FAUs, or AUs) ၏ နောက်ထပ်ဥပမာများ။ အရင်းအမြစ်- https://www.eiagroup.com/the-facial-action-coding-system/

ကုဒ်နံပါတ်နှစ်ခုလုံးကို ကြိုတင်လေ့ကျင့်ပြီးသည်နှင့်၊ ၎င်းတို့၏ ရလဒ်များကို အပြန်အလှန်အာရုံစူးစိုက်မှုဖြင့် ပေါင်းစပ်ထားသည်။ အင်္ဂါရပ်နှစ်ခုကို ရိုးရှင်းစွာပေါင်းစပ်မည့်အစား မော်ဒယ်သည် AU-based အင်္ဂါရပ်များကို အသုံးပြုသည်။ မေးမြန်းချက် ၎င်းသည် မျက်နှာဖုံးကာထားသော အော်တိုကုဒ်ဖြင့် သင်ယူခဲ့သော spatial-temporal features များအကြောင်း အာရုံစူးစိုက်မှုကို လမ်းညွှန်ပေးသည်။ အမှန်တကယ်အားဖြင့်၊ လုပ်ဆောင်ချက်ယူနစ်ကုဒ်ပြောင်းကိရိယာသည် မော်ဒယ်ကို ကြည့်ရမည့်နေရာကို ပြောပြသည်။

ရလဒ်သည် ပိုမိုကျယ်ပြန့်သော ရွေ့လျားမှုအကြောင်းအရာနှင့် ဒေသန္တရပြုထားသော စကားအသုံးအနှုန်းအဆင့်အသေးစိတ်တို့ကို ဖမ်းယူရန်အတွက် ပေါင်းစပ်ထားသော ငုပ်လျှိုးနေသော ကိုယ်စားပြုမှုတစ်ခုဖြစ်သည်။ ထို့နောက် ဤပေါင်းစပ်အင်္ဂါရပ်နေရာအား နောက်ဆုံး အမျိုးအစားခွဲခြင်းလုပ်ငန်းအတွက် အသုံးပြုသည်- ဗီဒီယိုသည် အစစ်အမှန် သို့မဟုတ် ခြယ်လှယ်ထားခြင်းရှိမရှိ ခန့်မှန်းခြင်း။

ဒေတာနှင့် စမ်းသပ်မှုများ

အကောင်အထည်ဖော်ရေး

စာရေးဆရာများသည် ထည့်သွင်းထားသော ဗီဒီယိုများကို ကြိုတင်လုပ်ဆောင်ခြင်းဖြင့် အဆိုပါစနစ်ကို အကောင်အထည်ဖော်ခဲ့သည်။ FaceXZoo အပိုင်းတစ်ခုစီမှ မျက်နှာကိုဗဟိုပြုထားသောဘောင် 16 ခု ရယူခြင်း PyTorch အခြေပြု မျက်နှာထောက်လှမ်းမှုဘောင်။ ထို့နောက် အထက်ဖော်ပြပါ အလုပ်များကို အကြောင်းခံ၍ လေ့ကျင့်သင်ကြားပေးခဲ့ပါသည်။ CelebV-HQ အရည်အသွေးမြင့် မျက်နှာဗီဒီယို 35,000 ပါဝင်သည့် ဒေတာအတွဲ။

အရင်းအမြစ်စာရွက်မှ၊ ပရောဂျက်အသစ်တွင်အသုံးပြုသည့် CelebV-HQ ဒေတာအတွဲမှ နမူနာများ။ အရင်းအမြစ်- https://arxiv.org/pdf/2207.12393

ဒေတာနမူနာများ၏ တစ်ဝက်ကို ဖုံးကွယ်ထားပြီး စနစ်အား ယေဘုယျအခြေခံမူများအစား ယေဘူယျအခြေခံမူများကို လေ့လာခိုင်းစေခဲ့သည်။ အလွန်အကျွံ အရင်းအမြစ်ဒေတာသို့။

မျက်နှာဖုံးစွပ်ဘောင်များ ပြန်လည်တည်ဆောက်ခြင်းလုပ်ငန်းအတွက်၊ ဗီဒီယိုဖရိမ်များ၏ ပျောက်ဆုံးနေသောဒေသများကို ခန့်မှန်းရန် မော်ဒယ်ကို လေ့ကျင့်ထားသည်။ L1 ဆုံးရှုံးမှုမူရင်းနှင့် ပြန်လည်တည်ဆောက်ထားသော အကြောင်းအရာကြား ခြားနားချက်ကို လျှော့ချပါ။

ဒုတိယတာဝန်အတွက်၊ မော်ဒယ်သည် မျက်ခုံး၊ မျက်ခမ်း၊ နှာခေါင်းနှင့် နှုတ်ခမ်းများအပါအဝင် နယ်ပယ်များတွင် သိမ်မွေ့သောကြွက်သားလှုပ်ရှားမှုများကိုကိုယ်စားပြုသည့် မျက်နှာလှုပ်ရှားမှုယူနစ် 16 ခုအတွက် မြေပုံများဖန်တီးရန် လေ့ကျင့်သင်ကြားထားပါသည်။ L1 ဆုံးရှုံးမှုဖြင့် ထပ်မံကြီးကြပ်ပါသည်။

ကြိုတင်လေ့ကျင့်ပြီးနောက်၊ ကုဒ်ပြောင်းကိရိယာနှစ်ခုကို ပေါင်းစပ်ပြီး နက်ရှိုင်းသောအတုရှာဖွေတွေ့ရှိမှုအတွက် ကောင်းစွာချိန်ညှိထားသည်။ FaceForensics ++ အစစ်အမှန်နှင့် ကြိုးကိုင်ထားသည့် ဗီဒီယိုများပါ၀င်သည့် ဒေတာအတွဲ။

FaceForensics++ dataset သည် 2017 ခုနှစ်မှစတင်၍ deepfake detection ၏အခြေခံအုတ်မြစ်ဖြစ်သည်၊ သို့သော်၎င်းသည်နောက်ဆုံးပေါ်မျက်နှာပေါင်းစပ်မှုနည်းပညာများနှင့် ပတ်သက်၍ အလွန်ခေတ်နောက်ကျနေပြီဖြစ်သည်။ အရင်းအမြစ်- https://www.youtube.com/watch?v=x2g48Q2I2ZQ

မာဃ လူတန်းစားမညီမျှခြင်း။စာရေးဆရာတွေက သုံးတယ်။ Focal Loss (တစ်မျိုး cross-entropy ဆုံးရှုံးမှု) လေ့ကျင့်နေစဉ်အတွင်း ပိုမိုခက်ခဲသော ဥပမာများကို အလေးပေးဖော်ပြသည်။

သင်တန်းအားလုံးကို RTX 4090 GPU တစ်ခုတည်းတွင် 24Gb of VRAM ဖြင့် ပြုလုပ်ခဲ့ပါသည်။ သုတ်အရွယ်အစား 8 မှ 600 ယုဂ် (ဒေတာ၏သုံးသပ်ချက်အပြည့်အစုံ) ကိုအသုံးပြုခြင်း။ ကြိုတင်လေ့ကျင့်ထားသည်။ အကြောင်းပြချက်ဖြင့် လုပ်ဆောင်စရာတစ်ခုစီအတွက် အလေးချိန်များကို စတင်ရန် VideoMAE မှ စစ်ဆေးရေးဂိတ်များ။

စမ်းသပ်မှုများ

ကိန်းဂဏန်းနှင့် အရည်အသွေးဆိုင်ရာ အကဲဖြတ်ခြင်းများကို နက်ရှိုင်းသောအတု ထောက်လှမ်းခြင်းနည်းလမ်းအမျိုးမျိုးကို ဆန့်ကျင်ဆောင်ရွက်ခဲ့သည်- FTCN; မှုခင်းဆေးပညာ; နှုတ်ခမ်းမှုခင်းဆေးပညာ; EfficientNet+ViT; မျက်နှာဓာတ်မှန်; Alt-Freezing;  CADMM; LAANet; BlendFace နှင့် SBI. ကိစ္စအားလုံးတွင်၊ ဤဘောင်များအတွက် အရင်းအမြစ်ကုဒ်ကို ရနိုင်သည်။

စမ်းသပ်မှုများသည် အရင်းအမြစ်ကလစ်၏ တစ်စိတ်တစ်ပိုင်းသာ ပြောင်းလဲသွားသည့် စက်တွင်းတည်းဖြတ်ထားသော deepfakes များကို ဗဟိုပြုပါသည်။ အသုံးပြုထားသော ဗိသုကာများသည် Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Distangled Face Editing (DFE); တိုကင်စီးဆင်းမှု; ဗီဒီယိုP2P; Text2Live; နှင့် FateZero. ဤနည်းလမ်းများသည် ကွဲပြားသောချဉ်းကပ်မှုများကို အသုံးပြုသည် (ဥပမာ၊ STIT နှင့် DFE အတွက် DVA နှင့် StyleGAN2 အတွက် ပျံ့နှံ့မှု)

စာရေးသူက ဤသို့ဆိုသည်-

'မတူညီသော မျက်နှာပြုပြင်ခြယ်လှယ်မှုများကို ကျယ်ကျယ်ပြန့်ပြန့် လွှမ်းခြုံသေချာစေရန်၊ ကျွန်ုပ်တို့သည် များပြားလှသော မျက်နှာအသွင်အပြင်နှင့် အရည်အချင်း တည်းဖြတ်မှုများကို ထည့်သွင်းထားသည်။ မျက်နှာအသွင်အပြင်ကို တည်းဖြတ်ရန်အတွက် မျက်လုံးအရွယ်အစား၊ မျက်လုံး-မျက်ခုံးအကွာအဝေး၊ နှာခေါင်းအချိုး၊ နှာခေါင်း-ပါးစပ်အကွာအဝေး၊ နှုတ်ခမ်းအချိုးနှင့် ပါးအချိုးတို့ကို ပြုပြင်ထားပါသည်။ မျက်နှာအင်္ဂါရပ်ကို တည်းဖြတ်ခြင်းအတွက်၊ ကျွန်ုပ်တို့သည် အပြုံး၊ ဒေါသ၊ ရွံရှာမှုနှင့် ဝမ်းနည်းမှုစသည့် အမူအယာအမျိုးမျိုးကို ကွဲပြားစေပါသည်။

'ဤကွဲပြားမှုသည် ဒေသအလိုက် တည်းဖြတ်မှုအမြောက်အမြားအပေါ် ကျွန်ုပ်တို့၏မော်ဒယ်၏ ကြံ့ခိုင်မှုကို သက်သေပြရန်အတွက် မရှိမဖြစ်လိုအပ်ပါသည်။ စုစုပေါင်း၊ ကျွန်ုပ်တို့သည် အထက်ဖော်ပြပါ တည်းဖြတ်မှုနည်းလမ်းတစ်ခုစီအတွက် ဗီဒီယို 50 ကို ထုတ်လုပ်ခဲ့ပြီး နက်ရှိုင်းသောအတုအယောင်ရှာဖွေတွေ့ရှိမှုအတွက် ကျွန်ုပ်တို့၏နည်းလမ်း၏ ခိုင်ခံ့သောယေဘူယျပုံစံကို အတည်ပြုခဲ့သည်။'

အနက်ရောင်အတု ဒေတာအတွဲ အဟောင်းများကို အဝိုင်းများတွင်လည်း ထည့်သွင်းထားသည်။ Celeb-DFv2 (CDF2); DeepFake ထောက်လှမ်းခြင်း။ (DFD); DeepFake Detection Challenge (DFDC); နှင့် WildDeepfake (DFW)။

အကဲဖြတ် တိုင်းထွာမှုတွေ မျဉ်းကွေးအောက် ဧရိယာ (AUC); ပျမ်းမျှတိကျမှု; နှင့် ဆိုလိုသည်။ F1 ရမှတ်.

စာတမ်းမှ- မကြာသေးမီက ဒေသအလိုက်ပြုလုပ်ထားသော deepfakes များကို နှိုင်းယှဉ်ခြင်းတွင် အဆိုပြုထားသောနည်းလမ်းသည် AUC နှစ်ခုလုံးတွင် 15 မှ 20 ရာခိုင်နှုန်းအထိ ရရှိပြီး နောက်အကောင်းဆုံးချဉ်းကပ်မှုထက် ပျမ်းမျှတိကျမှုထက် အဆိုပြုထားသောနည်းလမ်းသည် အခြားသူများအားလုံးထက် သာလွန်ကြောင်းပြသသည်။

စာရေးဆရာများသည် ဒေသအလိုက် ခြယ်လှယ်ထားသော မြင်ကွင်းများအတွက် အမြင်အာရုံထောက်လှမ်းမှု နှိုင်းယှဥ်မှုကိုလည်း ပေးဆောင်သည် (နေရာမရှိခြင်းကြောင့် အောက်ဖော်ပြပါ အစိတ်အပိုင်းတွင်သာ ပြန်လည်ထုတ်လုပ်သည်)။

မူရင်းဗီဒီယိုနှင့် ရုပ်လုံးဆင်တူသော အတုအယောင်များကို ထုတ်လုပ်ရန် မတူညီသော ဒေသအလိုက် ခြယ်လှယ်မှု သုံးခုကို အသုံးပြု၍ တကယ့်ဗီဒီယိုကို ပြောင်းလဲခဲ့သည်။ ဤနေရာတွင် ပြထားသည်မှာ နည်းလမ်းတစ်ခုစီအတွက် ပျမ်းမျှအတုထောက်လှမ်းမှုရမှတ်များနှင့်အတူ ကိုယ်စားလှယ်ဘောင်များဖြစ်သည်။ ရှိပြီးသား detectors များသည် အဆိုပါ သိမ်မွေ့သော တည်းဖြတ်မှုများဖြင့် ရုန်းကန်နေရသော်လည်း၊ အဆိုပြုထားသော မော်ဒယ်သည် မြင့်မားသော ဖြစ်နိုင်ခြေရှိသော အတုအယောင်များကို တသမတ်တည်း သတ်မှတ်ပေးကာ ဒေသအလိုက် ပြောင်းလဲမှုများကို ပိုမို အာရုံခံစားနိုင်မှုကို ညွှန်ပြပါသည်။

သုတေသီများက မှတ်ချက်ပေးသည်။

'[] ရှိပြီးသား SOTA ထောက်လှမ်းခြင်းနည်းလမ်းများ, [LAAnet], [SBI], [AltFreezing] နှင့် [CADMM] တို့သည် နောက်ဆုံးပေါ် deepfake မျိုးဆက်နည်းလမ်းများပေါ်တွင် စွမ်းဆောင်ရည် သိသိသာသာ ကျဆင်းသွားသည်ကို တွေ့ကြုံခဲ့ရသည်။ လက်ရှိ SOTA နည်းလမ်းများသည် AUCs များကို 48-71% အထိနိမ့်ကျစွာပြသထားပြီး မကြာသေးမီက deepfakes များတွင် ၎င်းတို့၏ ညံ့ဖျင်းသောယေဘုယျလုပ်ဆောင်နိုင်စွမ်းများကို ပြသထားသည်။

'အခြားတစ်ဖက်တွင်၊ ကျွန်ုပ်တို့၏နည်းလမ်းသည် အကွာအဝေး 87-93% တွင် AUC ကိုရရှိရန် ခိုင်မာသောယေဘုယျအသွင်ဆောင်မှုကို သရုပ်ပြသည်။ ပျမ်းမျှတိကျမှုတွင်လည်း အလားတူလမ်းကြောင်းကို သိသာစေသည်။ [အောက်တွင်] ပြထားသည့်အတိုင်း၊ ကျွန်ုပ်တို့၏နည်းလမ်းသည် 90% AUC ထက်ကျော်လွန်သော စံဒေတာအတွဲများတွင် စွမ်းဆောင်ရည်မြင့်မားပြီး မကြာသေးမီက deepfake detection မော်ဒယ်များနှင့် ယှဉ်ပြိုင်နိုင်သည်။'

သမားရိုးကျ deepfake datasets များ၏ စွမ်းဆောင်ရည်သည် အဆိုပြုထားသောနည်းလမ်းကို ဦးဆောင်ချဉ်းကပ်မှုများနှင့် အပြိုင်အဆိုင် ဆက်လက်ရှိနေကြောင်း ပြသပြီး ခြယ်လှယ်မှုအမျိုးအစားများစွာတွင် ပြင်းထန်သော ယေဘူယျဖြစ်မှုကို ဖော်ပြသည်။

ဤနောက်ဆုံးစမ်းသပ်မှုများတွင် ခေတ်မမီကြောင်း ကျိုးကြောင်းဆီလျော်စွာ ထင်မြင်ယူဆနိုင်သည့် မော်ဒယ်များပါဝင်ပြီး 2020 မတိုင်မီ မိတ်ဆက်ခဲ့သည့် မော်ဒယ်များ ပါဝင်ကြောင်း စာရေးသူက သတိပြုမိသည်။

မော်ဒယ်အသစ်၏ စွမ်းဆောင်ရည်ကို ပိုမိုကျယ်ပြန့်သော အမြင်ဖြင့် သရုပ်ဖော်ခြင်းဖြင့်၊ စာရေးသူများသည် အဆုံးတွင် ကျယ်ပြောလှသော ဇယားတစ်ခုကို ပေးစွမ်းနိုင်ပြီး၊ ဤနေရာတွင် ပြန်လည်ထုတ်လုပ်ရန် နေရာတစ်စိတ်တစ်ပိုင်းသာ ရှိသည်-

ဤနမူနာများတွင် မူရင်းနှင့် အမြင်တူသော အတုအယောင်များကို ထုတ်လုပ်ရန် ဒေသအလိုက် တည်းဖြတ်မှု သုံးခုကို အသုံးပြု၍ တကယ့်ဗီဒီယိုကို ပြုပြင်မွမ်းမံထားသည်။ ဤခြယ်လှယ်မှုများတစ်လျှောက် ပျမ်းမျှယုံကြည်မှုရမှတ်များက အဆိုပြုထားသောနည်းလမ်းသည် အခြားဦးဆောင်ချဉ်းကပ်မှုများထက် ပိုမိုယုံကြည်စိတ်ချရကြောင်း အဆိုပြုထားသည့်နည်းလမ်းကို တွေ့ရှိခဲ့ကြောင်း စာရေးသူက ဖော်ပြသည်။ ရလဒ်အပြည့်အစုံအတွက် အရင်းအမြစ် PDF ၏ နောက်ဆုံးစာမျက်နှာကို ကြည့်ပါ။

ဒေသအလိုက် တည်းဖြတ်မှုများကို ရှာဖွေတွေ့ရှိမှုအတွက် ၎င်းတို့၏နည်းလမ်းသည် ယုံကြည်မှုရမှတ် 90 ရာခိုင်နှုန်းအထက် ရရှိကြောင်း စာရေးသူတို့က ငြင်းခုံကြပြီး ရှိပြီးသား ထောက်လှမ်းမှုနည်းလမ်းများသည် တူညီသောလုပ်ငန်းဆောင်တာတွင် 50 ရာခိုင်နှုန်းအောက်သာ ရှိသေးသည်။ ၎င်းတို့သည် ဤကွာဟချက်ကို ၎င်းတို့၏ချဉ်းကပ်မှု၏ အာရုံခံနိုင်စွမ်းနှင့် ယေဘူယျဖြစ်နိုင်စွမ်းကို သက်သေအဖြစ် အဓိပ္ပာယ်ဖွင့်ဆိုကြပြီး အဆိုပါသိမ်မွေ့သောမျက်နှာကို ကိုင်တွယ်ဖြေရှင်းရာတွင် လက်ရှိနည်းပညာများဖြင့် ရင်ဆိုင်နေရသော စိန်ခေါ်မှုများကို ညွှန်ပြချက်အဖြစ် ၎င်းတို့က အဓိပ္ပာယ်ဖွင့်ဆိုကြသည်။

လက်တွေ့ကမ္ဘာအခြေအနေများအောက်တွင် မော်ဒယ်၏ယုံကြည်စိတ်ချရမှုကို အကဲဖြတ်ရန်၊ CADMM မှဖန်တီးထားသောနည်းလမ်းအရ စာရေးသူများသည် ရွှဲရွှဲနှင့်ဆန့်ကျင်ဘက်သို့ ချိန်ညှိမှုများ၊ Gaussian မှုန်ဝါးခြင်း၊ pixelation နှင့် ပိတ်ဆို့ခြင်းအခြေခံသည့် ဖိသိပ်မှုဆိုင်ရာ ပစ္စည်းများအပြင် အပိုဆူညံသံများ ပေါင်းစပ်ထားသော ဆူညံသံများအပါအဝင် သာမန်ပုံပျက်မှုများဖြင့် ပြုပြင်ထားသော ဗီဒီယိုများတွင် ၎င်း၏စွမ်းဆောင်ရည်ကို စမ်းသပ်ခဲ့သည်။

ဤနှောင့်ယှက်မှုများကြားတွင် ထောက်လှမ်းတိကျမှုမှာ အလွန်တည်ငြိမ်နေကြောင်း ရလဒ်များက ပြသခဲ့သည်။ စွမ်းဆောင်ရည် အနည်းငယ်ကျဆင်းသွားသည့် Gaussian ဆူညံသံများ ပေါင်းထည့်ခြင်းဖြင့် ထင်ရှားသော ကျဆင်းမှု ဖြစ်ပေါ်ခဲ့သည်။ အခြားပြောင်းလဲမှုများသည် သက်ရောက်မှုအနည်းငယ်သာ ရှိခဲ့သည်။

မတူညီသော ဗီဒီယိုပုံပျက်မှုများအောက်တွင် ထောက်လှမ်းတိကျမှု ပြောင်းလဲသွားပုံကို ပုံဥပမာ။ နည်းလမ်းအသစ်သည် AUC တွင် အနည်းငယ်မျှသာ ကျဆင်းသွားသဖြင့် ကိစ္စအများစုတွင် ခံနိုင်ရည်ရှိနေဆဲဖြစ်သည်။ Gaussian ဆူညံသံကို မိတ်ဆက်သောအခါ အထူးခြားဆုံး ကျဆင်းမှု ဖြစ်ပေါ်ခဲ့သည်။

ဤတွေ့ရှိချက်များသည် စာရေးဆရာများက အဆိုပြုသည် ၊ ဒေသန္တရပြုလုပ်ထားသော ခြယ်လှယ်မှုများကို ဖော်ထုတ်ရန် နည်းလမ်း၏စွမ်းရည်သည် ဗီဒီယိုအရည်အသွေးတွင် ပုံမှန်ကျဆင်းမှုများကြောင့် အလွယ်တကူ မနှောင့်ယှက်နိုင်ကြောင်း အကြံပြုထားပြီး လက်တွေ့ဆက်တင်များတွင် ၎င်း၏ ကြံ့ခိုင်မှုအလားအလာကို ပံ့ပိုးပေးပါသည်။

ကောက်ချက်

AI ခြယ်လှယ်မှုသည် အများသူငှာ အသိဉာဏ်တွင် အဓိကအားဖြင့် အတုအယောင်များ၏ ရိုးရာအယူအဆတွင် ရှိနေပြီး၊ လူတစ်ဦး၏ အထောက်အထားသည် အခြားသူတစ်ဦး၏ ကိုယ်ခန္ဓာပေါ်တွင် တည်ရှိနေပြီး၊ ပိုင်ရှင်၏မူများကို ဆန့်ကျင်သည့်လုပ်ရပ်များကို လုပ်ဆောင်နေနိုင်သူဖြစ်သည်။ မျိုးဆက်သစ်ဗီဒီယိုစနစ်များ (မျိုးကွဲအသစ်တွင် ဆိုးရွားသောစွမ်းရည်များကို အသိအမှတ်ပြုရန် ဤအယူအဆသည် တဖြည်းဖြည်းနှင့် အဆင့်မြှင့်တင်မှုဖြစ်လာသည် ။ ဗီဒီယို deepfakes) နှင့် ယေဘုယျအားဖြင့် ငုပ်လျှိုးနေသောပျံ့နှံ့မှုပုံစံများ (LDMs) ၏စွမ်းရည်များ။

ထို့ကြောင့် စာတမ်းအသစ်နှင့် ပတ်သက်သည့် ပြည်တွင်းတည်းဖြတ်မှုမျိုးသည် Pelosi ပုံစံအချက်အချာကျသည့် ဖြစ်ရပ်တစ်ခု မပေါ်ပေါက်မချင်း လူအများ၏အာရုံစိုက်မှုကို မြင့်တက်စေမည်မဟုတ်ကြောင်း မျှော်လင့်ရန် ကျိုးကြောင်းဆီလျော်ပါသည်။ ဗီဒီယို deepfake လိမ်လည်မှု.

မည်သို့ပင်ဆိုစေကာမူ Nic Cage သည် မင်းသားကဲ့သို့ပင် တသမတ်တည်း စိုးရိမ်ကြောင်း ဖော်ပြခဲ့သည်။ ထုတ်လုပ်ရေးနောက်ပိုင်း လုပ်ငန်းစဉ်များ 'ပြန်လည်ပြင်ဆင်ခြင်း' ၏ဖြစ်နိုင်ခြေနှင့်ပတ်သက်၍၊ ကျွန်ုပ်တို့သည်လည်း ဤ 'သိမ်မွေ့သော' ဗီဒီယို ချိန်ညှိခြင်းမျိုးအား ပိုမိုသိရှိနားလည်စေရန် အားပေးသင့်သည် - အနည်းဆုံးဖြစ်သောကြောင့် ကျွန်ုပ်တို့သည် သဘာဝအားဖြင့် အလွန်သေးငယ်သော မျက်နှာအမူအရာပုံစံများကို မယုံနိုင်လောက်အောင် အာရုံခံစားနိုင်သောကြောင့်၊ ဆက်စပ်အကြောင်းအရာသည် သေးငယ်သောမျက်နှာလှုပ်ရှားမှုများ၏ အကျိုးသက်ရောက်မှုကို သိသိသာသာပြောင်းလဲသွားစေနိုင်သောကြောင့် (အနှောက်အယှက်ဖြစ်စေသော အကျိုးသက်ရောက်မှုကိုပင်) တွေးတောနိုင်သောကြောင့်ဖြစ်သည်။

ပထမအကြိမ် ဗုဒ္ဓဟူးနေ့၊ ဧပြီလ 2 ရက်၊ 2025 ခုနှစ်တွင် ထုတ်ဝေခဲ့သည်။