Deepfake տվյալների աղբյուրների նույնականացում AI-ի վրա հիմնված հատկորոշմամբ

Չինաստանի, Սինգապուրի և ԱՄՆ-ի հետազոտողների համագործակցությունը ստեղծել է դեմքի լուսանկարներն այնքան ամուր «պիտակավորելու» դիմացկուն համակարգ, որ նույնականացման նշիչները չեն ոչնչացվում լուսանկարի ժամանակ: խորը մտքեր վերապատրաստման գործընթացը՝ ճանապարհ հարթելով IP-ի պնդումների համար, որոնք կարող են խաթարել սինթետիկ պատկերների ստեղծման համակարգերի՝ «անանունացնելու» ապօրինի քերված աղբյուրի տվյալները:

Համակարգը, վերնագրված FakeTagger, օգտագործում է կոդավորիչ/ապակոդավորող պրոցես՝ պատկերների մեջ տեսողականորեն աննկատելի ID տեղեկատվությունը տեղադրելու համար բավական ցածր մակարդակով, որպեսզի ներարկված տեղեկատվությունը մեկնաբանվի որպես հիմնական դեմքի բնութագրական տվյալներ և, հետևաբար, փոխանցվի դրանց միջով: աբստրակցիա գործընթացները անձեռնմխելի են, նույն կերպ, օրինակ, ինչպես աչքի կամ բերանի տվյալները:

FakeTagger ճարտարապետության ակնարկ: Աղբյուրի տվյալները օգտագործվում են դեմքի «ավելորդ» հատկանիշ ստեղծելու համար՝ անտեսելով ֆոնային տարրերը, որոնք կքողարկվեն տիպիկ խորը կեղծ աշխատանքային հոսքի միջոցով: Հաղորդագրությունը վերականգնվում է գործընթացի մյուս ծայրում և նույնականացվում է համապատասխան ճանաչման ալգորիթմի միջոցով: Աղբյուր՝ http://xujuefei.com/felix_acmmm21_faketagger.pdf

Հետազոտությունը ստացվել է Ուհանի Կիբեր գիտության և ճարտարագիտության դպրոցից, Չինաստանի կրթության նախարարության օդատիեզերական տեղեկատվական անվտանգության և վստահելի հաշվարկների հիմնական լաբորատորիայից, ԱՄՆ-ի Alibaba խմբից, Բոստոնի Հյուսիսարևելյան համալսարանից և Սինգապուրի Նանյան տեխնոլոգիական համալսարանից:

FakeTagger-ի հետ փորձարարական արդյունքները ցույց են տալիս, որ կրկնակի նույնականացման մակարդակը հասնում է գրեթե 95% խորը կեղծման մեթոդաբանությունների չորս ընդհանուր տեսակների. ինքնության փոխանակում (այսինքն. Deepfacelab, դեմքի փոխանակում); դեմքի վերարտադրում; հատկանիշի խմբագրում; և ընդհանուր սինթեզ:

Deepfake-ի հայտնաբերման թերությունները

Չնայած վերջին երեք տարիները բերեցին ա հունձք Դիփֆեյքի նույնականացման մեթոդոլոգիաների նոր մոտեցումների, այս բոլոր մոտեցումները կարևոր են խորը կեղծ աշխատանքի հոսքերի շտկվող թերությունների համար, ինչպիսիք են. աչքի փայլ չվերապատրաստված մոդելներում և թարթելու բացակայություն նախկին դիփֆեյքերում՝ անբավարար բազմազան դեմքերով: Քանի որ հայտնաբերվել են նոր բանալիներ, ազատ և բաց կոդով ծրագրային ապահովման պահոցները դրանք կանխել են կամ միտումնավոր, կամ որպես խորը կեղծ տեխնիկայի բարելավման կողմնակի արդյունք:

Նոր թերթը նշում է, որ ամենաարդյունավետ հետֆակտո հայտնաբերման մեթոդը, որը ստացվել է Facebook-ի ամենավերջին խորը կեղծ հայտնաբերման մրցույթից (DFDC) սահմանափակված է 70% ճշգրտությամբ՝ վայրի բնության մեջ խորը կեղծիքներ հայտնաբերելու առումով: Հետազոտողները այս ներկայացուցչական ձախողումը վերագրում են վատ ընդհանրացմանը նոր և նորարարական GAN և կոդավորիչ/ապակոդավորող խորը կեղծ համակարգեր, ինչպես նաև խորը կեղծիքի փոխարինման հաճախ վատթարացող որակ:

Վերջին դեպքում, դա կարող է պայմանավորված լինել «deepfakers»-ի ցածրորակ աշխատանքով կամ սեղմման արտեֆակտներով, երբ տեսանյութերը վերբեռնվում են համօգտագործվող հարթակներ, որոնք ձգտում են սահմանափակել թողունակության ծախսերը և վերակոդավորել տեսանյութերը՝ ներկայացվողներից կտրուկ ցածր բիթային արագությամբ: . Ճակատագրի հեգնանքով, ոչ միայն այս պատկերը դեգրադացվում է Նշում խանգարում է խորը կեղծիքի ակնհայտ իսկությանը, բայց դա իրականում կարող է ուժեղացնել պատրանքը, քանի որ խորը կեղծված տեսանյութը ներառված է սովորական, ցածրորակ տեսողական արտահայտությունների մեջ, որը ընկալվում է որպես իսկական:

Survivable Tagging-ը որպես մոդելի շրջադարձի օգնություն

Մեքենայական ուսուցման արդյունքից աղբյուրի տվյալների նույնականացումը համեմատաբար նոր և աճող ոլորտ է, որը հնարավոր է դարձնում IP-ի վրա հիմնված դատավարությունների նոր դարաշրջանը, քանի որ կառավարությունների ներկայիս թույլատրելի Էկրանի քերծման կանոնակարգերը (որոնք նախագծված են չխեղդելու ազգային հետազոտական ​​գերակայությունը գլոբալ AI «սպառազինությունների մրցավազքի» պայմաններում) վերածվում են ավելի խիստ օրենսդրության, քանի որ ոլորտը դառնում է առևտրային:

Մոդելի ինվերսիա զբաղվում է մի շարք տիրույթներում սինթեզի համակարգերի կողմից առաջացած ելքային տվյալների քարտեզագրմամբ և նույնականացմամբ, ներառյալ բնական լեզվի ստեղծման (NLG) և պատկերների սինթեզը: Մոդելի ինվերսիան հատկապես արդյունավետ է այն դեմքերը վերահաստատելու համար, որոնք կամ լղոզված են, պիքսելացված կամ այլ կերպ ճանապարհ են անցել Generative Adversarial Network-ի կամ կոդավորիչ/ապակոդավորող փոխակերպման համակարգի աբստրակցիայի գործընթացով, ինչպիսին է DeepFaceLab-ը:

Դեմքի նոր կամ գոյություն ունեցող պատկերներին նպատակաուղղված հատկորոշում ավելացնելը պոտենցիալ նոր օգնական է շրջադարձային տեխնիկայի մոդելավորման համար, ջրային նմուշներ առաջացող դաշտ.

Պոստ-ֆակտո հատկորոշում

FakeTagger-ը նախատեսված է որպես հետմշակման մոտեցում: Օրինակ, երբ օգտատերը լուսանկար է վերբեռնում սոցիալական ցանց (որը սովորաբար ներառում է ինչ-որ օպտիմիզացման գործընթաց և հազվադեպ՝ սկզբնական պատկերի ուղղակի և անխախտ փոխանցում), ալգորիթմը կմշակի պատկերը՝ ենթադրաբար անջնջելի հատկանիշներ կիրառելու համար: .

Որպես այլընտրանք, ալգորիթմը կարող է կիրառվել պատմական պատկերների հավաքածուներում, ինչպես դա տեղի է ունեցել մի քանի անգամ վերջին քսան տարիների ընթացքում, քանի որ մեծ ֆոնդային լուսանկարների և առևտրային պատկերների հավաքման կայքերը ձգտում էին: մեթոդներ բացահայտել բովանդակությունը, որը կրկին օգտագործվել է առանց թույլտվության:

FakeTagger-ը փորձում է ներդնել վերականգնվող ID-ի բնութագրերը տարբեր խորը կեղծ պրոցեսներից:

Մշակում և փորձարկում

Հետազոտողները փորձարկել են FakeTagger-ը մի շարք խորը կեղծ ծրագրային հավելվածների դեմ վերոհիշյալ չորս մոտեցումներով, ներառյալ ամենալայն կիրառվող պահեստը՝ DeepFaceLab; Սթենֆորդի Face2Face, որը կարող է փոխանցել դեմքի արտահայտությունները պատկերների և ինքնության մեջ. և ՍՏԳԱՆ, որը կարող է խմբագրել դեմքի ատրիբուտները:

Թեստավորումն իրականացվել է CELEBA-HQ, հանրահայտ քերծված հանրային պահոց, որը պարունակում է հայտնի մարդկանց դեմքերի 30,000 պատկերներ՝ տարբեր լուծաչափերով մինչև 1024 x 1024 պիքսել:

Որպես ելակետ՝ հետազոտողները ի սկզբանե փորձարկեցին պատկերների ջրանիշավորման սովորական տեխնիկան՝ պարզելու համար, թե արդյոք դրված պիտակները կարող են գոյատևել խորը կեղծ աշխատանքային հոսքերի վերապատրաստման գործընթացներին, բայց մեթոդները ձախողվեցին բոլոր չորս մոտեցումներում:

FakeTagger-ի ներկառուցված տվյալները ներարկվել են կոդավորիչի փուլում դեմքերի պատկերների մեջ՝ օգտագործելով ճարտարապետություն՝ հիմնված U-Net Կենսաբժշկական պատկերների սեգմենտավորման կոնվոլյուցիոն ցանց, որը թողարկվել է 2015 թվականին: Հետագայում շրջանակի ապակոդավորիչի բաժինը վերապատրաստվում է ներկառուցված տեղեկատվությունը գտնելու համար:

Գործընթացը փորձարկվել է GAN սիմուլյատորում, որն օգտագործում էր վերոհիշյալ FOSS հավելվածները/ալգորիթմները, սև տուփի պարամետրում, առանց յուրաքանչյուր համակարգի աշխատանքի հոսքերի դիսկրետ կամ հատուկ մուտքի: Պատահական ազդանշանները կցվեցին հայտնի մարդկանց պատկերներին և գրանցվեցին որպես յուրաքանչյուր պատկերի հետ կապված տվյալներ:

Սև տուփի կարգավորումներում FakeTagger-ը կարողացավ հասնել 88.95%-ից ավելի ճշգրտության չորս հավելվածների մոտեցման դեպքում: Զուգահեռաբար սպիտակ տուփի սցենարում ճշգրտությունը աճել է մինչև 100%: Այնուամենայնիվ, քանի որ սա ենթադրում է խորը կեղծ ծրագրաշարի հետագա կրկնություններ, որոնք ուղղակիորեն ներառում են FakeTagger-ը, մոտ ապագայում դա անհավանական սցենար է:

Արժեքը հաշվելը

Հետազոտողները նշում են, որ FakeTagger-ի համար ամենադժվար սցենարը պատկերի ամբողջական սինթեզն է, ինչպիսին է CLIP-ի վրա հիմնված աբստրակտ ստեղծումը, քանի որ ներածման ուսուցման տվյալները ենթակա են վերացականության ամենախորը մակարդակների նման դեպքում: Այնուամենայնիվ, սա չի վերաբերում խորը կեղծ աշխատանքի հոսքերին, որոնք գերակշռում են վերնագրերում վերջին մի քանի տարիների ընթացքում, քանի որ դրանք կախված են ID-ով որոշող դեմքի հատկությունների հավատարիմ վերարտադրումից:

Թերթը նաև նշում է, որ հակառակորդ հարձակվողները կարող են փորձել ավելացնել խանգարումներ, ինչպիսիք են արհեստական ​​աղմուկը և հացահատիկը, որպեսզի խափանեն նման պիտակավորման համակարգը, թեև դա, ամենայն հավանականությամբ, կարող է վնասակար ազդեցություն ունենալ deepfake արտադրանքի իսկության վրա:

Ավելին, նրանք նշում են, որ FakeTagger-ը պետք է ավելորդ տվյալներ ավելացնի պատկերներին, որպեսզի ապահովի իր ներդրած պիտակների գոյատևումը, և որ դա կարող է ունենալ զգալի հաշվողական ծախսեր մասշտաբով:

Հեղինակները եզրակացնում են՝ նշելով, որ FakeTagger-ը կարող է այլ տիրույթներում հետևել ծագման ներուժին, ինչպիսիք են. հակառակորդ անձրևային հարձակումներ և պատկերի վրա հիմնված հարձակումների այլ տեսակներ, ինչպիսիք են հակառակորդի բացահայտում, մեգ, նսեմացնել, վինետինգ և գույն-խռովություն.