ერთგულება რეალიზმის წინააღმდეგ Deepfake ვიდეოებში

Deepfake-ის ყველა პრაქტიკოსი არ იზიარებს ერთსა და იმავე მიზანს: გამოსახულების სინთეზის კვლევის სექტორის იმპულსი, რომელსაც მხარს უჭერს ისეთი გავლენიანი მომხრეები, როგორიცაა Adobe, NVIDIA მდე Facebook - არის თანამედროვე დონის წინსვლა, რათა მანქანათმცოდნეობის ტექნიკამ საბოლოოდ შეძლოს ადამიანის აქტივობის ხელახალი შექმნა ან სინთეზირება მაღალი გარჩევადობით და ყველაზე რთულ პირობებში (ერთგულება).

ამის საპირისპიროდ, მათ, ვისაც სურს დეზინფორმაციის გასავრცელებლად გამოიყენოს ღრმა Fake ტექნოლოგიები, არის რეალური ადამიანების დამაჯერებელი სიმულაციების შექმნა მრავალი სხვა მეთოდით, გარდა ღრმა გაყალბებული სახეების უბრალო ჭეშმარიტებისა. ამ სცენარში, დამატებითი ფაქტორები, როგორიცაა კონტექსტი და დამაჯერებლობა, თითქმის უტოლდება ვიდეოს სახეების სიმულაციის პოტენციალს. (რეალიზმი).

ეს მიდგომა ვრცელდება ღრმა ყალბი ვიდეოს გამოსახულების საბოლოო ხარისხის დეგრადაციაზე, ისე, რომ მთელ ვიდეოს (და არა მხოლოდ იმ მატყუარა ნაწილს, რომელიც წარმოდგენილია ღრმა გაყალბებული სახის მიერ) აქვს შეკრული „გამოხედვა“, რომელიც ზუსტია. მოსალოდნელი ხარისხი საშუალოსთვის.

„თანმიმდევრული“ არ უნდა ნიშნავდეს „კარგს“ – საკმარისია ხარისხი შეესაბამებოდეს ორიგინალს და ჩასმული, ფალსიფიცირებულ შინაარსს და შეესაბამება მოლოდინებს. რაც შეეხება VOIP ნაკადის გამომავალს ისეთ პლატფორმებზე, როგორებიცაა Skype და Zoom, ზოლი შეიძლება იყოს საოცრად დაბალი. თავისთავად წარმოადგენს "არაავთენტური" ეფექტების დამატებით დიაპაზონს, რომელიც ჩვენ მივიღეთ, როგორც პირდაპირი სტრიმინგის შეზღუდვებისა და ექსცენტრიულობების თანმდევი.

DeepFaceLive მოქმედებაში: DeepFaceLab-ის პრემიერ პროგრამული უზრუნველყოფის სტრიმინგ ვერსიას შეუძლია უზრუნველყოს კონტექსტუალური რეალიზმი ყალბი ვიდეოების შეზღუდული ხარისხის კონტექსტში წარმოდგენით, დაკვრის პრობლემებით და სხვა განმეორებადი კავშირის არტეფაქტებით. წყარო: https://www.youtube.com/watch?v=IL517EgYH8U

ჩამონტაჟებული დეგრადაცია

მართლაც, ორი ყველაზე პოპულარული ღრმა ყალბი პაკეტი (ორივე მიღებული 2017 წლის საკამათო კოდიდან) შეიცავს კომპონენტებს, რომლებიც გამიზნულია ღრმა გაყალბებული სახის ინტეგრირებისთვის „ისტორიული“ ან დაბალი ხარისხის ვიდეოს კონტექსტში გენერირებული სახის დეგრადაციის გზით. In DeepFaceLabსაქართველოს ბიკუბური_დაქვეითება_ძალა პარამეტრი ასრულებს ამას და ში სახის გაცვლა, "მარცვლოვანი" პარამეტრი Ffmpeg კონფიგურაციაში ასევე ხელს უწყობს ყალბი სახის ინტეგრაციას კოდირების დროს მარცვლის შენარჩუნებით*.

FaceSwap-ში „მარცვლოვანი“ პარამეტრი ხელს უწყობს ავთენტურ ინტეგრაციას არა HQ ვიდეო კონტენტთან და ძველ კონტენტთან, რომელიც შეიძლება იყოს ფილმის მარცვლოვანი ეფექტები, რომლებიც შედარებით იშვიათია ამ დღეებში.

ხშირად, სრული და ინტეგრირებული ღრმა ყალბი ვიდეოს ნაცვლად, deepfakers გამოსცემს PNG ფაილების იზოლირებულ სერიას ალფა არხებით, თითოეული სურათი აჩვენებს მხოლოდ სინთეზურ სახის გამომავალს, ასე რომ სურათის ნაკადი შეიძლება გადაკეთდეს ვიდეოდ უფრო დახვეწილ პლატფორმებზე.დამამცირებელი ეფექტების შესაძლებლობები, როგორიცაა Adobe After Effects, სანამ ყალბი და რეალური ელემენტები შეერთდება საბოლოო ვიდეოსთვის.

გარდა ამ მიზანმიმართული დეგრადაციისა, ღრმა ყალბი ნამუშევრის შინაარსი ხშირად რეკომპრესირებულია, ან ალგორითმულად (სადაც სოციალური მედიის პლატფორმები ცდილობენ დაზოგონ გამტარობა მომხმარებელთა ატვირთვების უფრო მსუბუქი ვერსიების წარმოებით) ისეთ პლატფორმებზე, როგორიცაა YouTube და Facebook, ან ორიგინალური ნამუშევრის ხელახალი დამუშავებით. ანიმაციური GIF-ები, დეტალური სექციები ან სხვა განსხვავებული მოტივირებული სამუშაო ნაკადები, რომლებიც ორიგინალურ გამოშვებას საწყის წერტილად მიიჩნევენ და შემდგომში დამატებით შეკუმშვას ახორციელებენ.

რეალისტური Deepfake Detection კონტექსტები

ამის გათვალისწინებით, შვეიცარიის ახალმა ნაშრომმა შესთავაზა ღრმა ფეიკის აღმოჩენის მიდგომების მიდგომას მეთოდოლოგიის განახლება.

სტოქასტური მონაცემების გაძლიერება გამოყენებული იქნა ახალ ნაშრომში გამოყენებულ მონაცემთა ერთ-ერთ ნაკრებზე, რომელშიც წარმოდგენილია გაუსის ხმაური, გამა კორექტირება და გაუსის დაბინდვა, ასევე JPEG შეკუმშვის არტეფაქტები. წყარო: https://arxiv.org/pdf/2203.11807.pdf

ახალ ნაშრომში მკვლევარები ამტკიცებენ, რომ ავანგარდში ღრმა ყალბი აღმოჩენის პაკეტები ეყრდნობა არარეალურ საორიენტაციო პირობებს იმ მეტრიკის კონტექსტში, რომელსაც ისინი იყენებენ, და რომ „დეგრადირებული“ ღრმა ყალბი გამომავალი შეიძლება დაეცეს აღმოჩენის მინიმალურ ხარისხის ზღურბლს, მიუხედავად იმისა, რომ ისინი რეალისტურია. „მწარე“ კონტენტი სავარაუდოდ მოატყუებს მაყურებელს კონტექსტისადმი სწორი ყურადღების გამო.

მკვლევარებმა დააფუძნეს ახალი „რეალური სამყაროს“ მონაცემების დეგრადაციის პროცესი, რომელიც აუმჯობესებს წამყვანი ღრმა ყალბი დეტექტორების განზოგადებას, სიზუსტის მხოლოდ ზღვრული დაკარგვით ორიგინალური აღმოჩენის სიხშირეზე, რომელიც მიღებულია „სუფთა“ მონაცემებით. ისინი ასევე გვთავაზობენ შეფასების ახალ ჩარჩოს, რომელსაც შეუძლია შეაფასოს ღრმა გაყალბების დეტექტორების სიმტკიცე რეალურ სამყაროში, მხარდაჭერილი აბლაციის ვრცელი კვლევებით.

ის ქაღალდი სახელდება ახალი მიდგომა სწავლაზე დაფუძნებული Deepfake Detection-ის გასაუმჯობესებლად რეალისტურ პირობებში, და მომდინარეობს მულტიმედიური სიგნალის დამუშავების ჯგუფის (MMSPG) და Ecole Polytechnique Federale de Lausanne (EPFL) მკვლევარების მიერ, ორივე დაფუძნებული ლოზანაში.

სასარგებლო დაბნეულობა

წინა მცდელობები ღრმა ფეიკის გამოვლენის მიდგომებში დეგრადირებული გამოსავლის ჩართვისთვის მოიცავს: ნერვული ქსელის შერევა, 2018 წლის შეთავაზება MIT-ისა და FAIR-ისგან და AugMix, 2020 წლის თანამშრომლობა DeepMind-სა და Google-ს შორის, მონაცემთა გაზრდის ორივე მეთოდი, რომელიც ცდილობს სასწავლო მასალის „დაბინძურებას“ ისე, რომ მიდრეკილია განზოგადებისთვის.

ახალი ნაშრომის მკვლევარები ასევე აღნიშნავენ ადრე სწავლა რომ გამოიყენა გაუსის ხმაური და შეკუმშვის არტეფაქტები ტრენინგის მონაცემებზე, რათა დაედგინა კავშირის საზღვრები წარმოებულ მახასიათებელსა და ხმაურს შორის, რომელშიც ის არის ჩართული.

ახალი კვლევა გვთავაზობს მილსადენს, რომელიც სიმულაციას უკეთებს როგორც გამოსახულების მიღების პროცესის, ასევე შეკუმშვის და სხვა მრავალფეროვან ალგორითმებს, რომლებსაც შეუძლიათ კიდევ უფრო გააუარესონ გამოსახულების გამომუშავება განაწილების პროცესში. ამ რეალური სამუშაო პროცესის შეფასების ჩარჩოში ჩართვით, შესაძლებელია ღრმა სიყალბის დეტექტორებისთვის ტრენინგის მონაცემების წარმოება, რომლებიც უფრო მდგრადია არტეფაქტების მიმართ.

კონცეპტუალური ლოგიკა და სამუშაო პროცესი ახალი მიდგომისთვის.

დეგრადაციის პროცესი გამოყენებული იქნა ორ პოპულარულ და წარმატებულ მონაცემთა ნაკრებზე, რომლებიც გამოიყენება ღრმა ყალბი აღმოჩენისთვის: FaceForensics ++ მდე Celeb-DFv2. გარდა ამისა, წამყვანი ღრმა ყალბი დეტექტორის ჩარჩოები კაფსულა-კრიმინალისტიკა მდე XceptionNet გაიარეს ტრენინგი ორი მონაცემთა ნაკრების ფალსიფიცირებულ ვერსიებზე.

დეტექტორები წვრთნილი იყო Adam-ის ოპტიმიზატორით შესაბამისად 25 და 10 ეპოქის განმავლობაში. მონაცემთა ნაკრების ტრანსფორმაციისთვის, 100 კადრი შემთხვევით იქნა აღებული თითოეული სასწავლო ვიდეოდან, 32 ფრეიმი ამოღებულია ტესტირებისთვის, დამამცირებელი პროცესების დამატებამდე.

სამუშაო პროცესისთვის განხილული დამახინჯებები იყო ხმაური, სადაც ნულოვანი საშუალო გაუსის ხმაური გამოყენებული იყო ექვს განსხვავებულ დონეზე; ზომის შეცვლა, ტიპიური გარე კადრების შემცირებული გარჩევადობის სიმულაცია, რაც შეიძლება როგორც წესი გავლენას ახდენს დეტექტორები; შეკუმშვის, სადაც JPEG შეკუმშვის სხვადასხვა დონე იყო გამოყენებული მონაცემების მასშტაბით; დამარბილებელი, სადაც სამი ტიპიური დამარბილებელი ფილტრი, რომლებიც გამოიყენება "გასინჯვისას" შეფასებულია ჩარჩოსთვის; გაფართოება, სადაც დარეგულირდა კონტრასტი და სიკაშკაშე; და კომბინაციები, სადაც სამი ზემოაღნიშნული მეთოდის ნებისმიერი ნაზავი ერთდროულად გამოიყენებოდა ერთ სურათზე.

ტესტირება და შედეგები

მონაცემების ტესტირებისას მკვლევარებმა მიიღეს სამი მეტრიკა: სიზუსტე (ACC); მიმღების ქვეშ არსებული ოპერაციული დამახასიათებელი მრუდი (AUC); და F1-ქულა.

მკვლევარებმა გამოსცადეს ორი ღრმა სიყალბის დეტექტორის სტანდარტულად გაწვრთნილი ვერსიები ყალბი მონაცემების წინააღმდეგ და დაადგინეს, რომ მათ აკლიათ:

ზოგადად, რეალისტური დამახინჯებებისა და დამუშავების უმეტესობა ძალზე საზიანოა ნორმალურად მომზადებული სწავლაზე დაფუძნებული ღრმა ყალბი დეტექტორებისთვის. მაგალითად, Capsule-Forensics მეთოდი აჩვენებს ძალიან მაღალ AUC ქულებს როგორც შეუკუმშულ FFpp-ზე, ასევე Celeb-DFv2 ტესტის კომპლექტზე ტრენინგის შემდეგ შესაბამის მონაცემთა ნაკრებებზე, მაგრამ შემდეგ განიცდის შესრულების მკვეთრ ვარდნას ჩვენი შეფასების ჩარჩოდან შეცვლილ მონაცემებზე. მსგავსი ტენდენციები დაფიქსირდა XceptionNet დეტექტორთან დაკავშირებით.'

ამის საპირისპიროდ, ორი დეტექტორის მოქმედება მნიშვნელოვნად გაუმჯობესდა ტრანსფორმირებულ მონაცემებზე ვარჯიშის შედეგად, თითოეულ დეტექტორს ახლა უფრო შეუძლია აღმოაჩინოს უხილავი მატყუარა მედია.

'მონაცემთა გაზრდის სქემა მნიშვნელოვნად აუმჯობესებს ორი დეტექტორის სიმტკიცეს და ამასობაში ისინი კვლავ ინარჩუნებენ მაღალ შესრულებას ორიგინალურ უცვლელ მონაცემებზე.'

მუშაობის შედარება ნედლეულ და გაძლიერებულ მონაცემთა ნაკრებებს შორის, რომლებიც გამოიყენება კვლევაში შეფასებულ ორ ღრმა ყალბ დეტექტორში.

ნაშრომი ასკვნის:

„ამჟამინდელი აღმოჩენის მეთოდები შექმნილია იმისთვის, რომ მიაღწიოს რაც შეიძლება მაღალ შესრულებას კონკრეტულ კრიტერიუმებზე. ეს ხშირად იწვევს განზოგადების უნარის მსხვერპლს უფრო რეალისტურ სცენარებს. ამ ნაშრომში შემოთავაზებულია მონაცემთა გაზრდის საგულდაგულოდ შემუშავებული სქემა, რომელიც დაფუძნებულია ბუნებრივი გამოსახულების დეგრადაციის პროცესზე.

„ვრცელი ექსპერიმენტები აჩვენებს, რომ მარტივი, მაგრამ ეფექტური ტექნიკა მნიშვნელოვნად აუმჯობესებს მოდელის გამძლეობას სხვადასხვა რეალისტური დამახინჯებებისა და დამუშავების ოპერაციების მიმართ ტიპიური ვიზუალიზაციის სამუშაო პროცესებში.

* წარმოქმნილ სახეში მარცვლის შესატყვისი კონვერტაციის პროცესში სტილის გადაცემის ფუნქციაა.

პირველად გამოქვეყნდა 29 წლის 2022 მარტს. განახლებულია 8:33 საათზე EST, რათა დაზუსტდეს მარცვლეულის გამოყენება Ffmpeg-ში.