การระบุต้นตอข้อมูล Deepfake ด้วยการแท็กโดยใช้ AI

การร่วมมือกันระหว่างนักวิจัยจากประเทศจีน สิงคโปร์ และสหรัฐอเมริกาได้ผลิตระบบที่มีความทนทานสำหรับการ “แท็ก” รูปถ่ายหน้าโดยที่เครื่องหมายที่ระบุไม่ถูกทำลายระหว่างกระบวนการฝึกอบรม deepfake ซึ่งเปิดทางให้สามารถอ้างสิทธิ์ในทรัพย์สินทางปัญญาที่สามารถลดความสามารถของระบบสร้างภาพสังเคราะห์ในการ “ทำให้ไม่มีชื่อ” ข้อมูลต้นตอที่ถูกเก็บข้อมูลโดยไม่ถูกต้อง

ระบบซึ่งมีชื่อว่า FakeTagger ใช้กระบวนการเข้ารหัส/ถอดรหัสเพื่อฝังข้อมูล ID ที่ไม่สามารถมองเห็นได้ลงในภาพที่ระดับต่ำพอที่จะถูกตีความเป็นข้อมูลลักษณะหน้าที่จำเป็น และดังนั้นจึงผ่านกระบวนการ การสรุป ที่สมบูรณ์แบบในลักษณะเดียวกัน เช่น ข้อมูลตาหรือปาก

ภาพรวมของสถาปัตยกรรม FakeTagger ข้อมูลต้นตอถูกใช้ในการสร้างลักษณะหน้าที่ ‘ซ้ำ’ โดยไม่สนใจองค์ประกอบพื้นหลังที่จะถูกปิดบังผ่านกระบวนการ deepfake ทั่วไป ข้อความสามารถกู้คืนได้ที่ปลายกระบวนการ และสามารถระบุได้โดยใช้อัลกอริทึมการรู้จำที่เหมาะสม แหล่งที่มา: http://xujuefei.com/felix_acmmm21_faketagger.pdf

การวิจัยนี้มาจากโรงเรียนサイバーサイエンスและวิศวกรรมศาสตร์ที่ Wuhan ห้องปฏิบัติการหลักของความมั่นคงและความน่าเชื่อถือของข้อมูลอวกาศของกระทรวงศึกษาธิการจีน กลุ่ม Alibaba ในสหรัฐอเมริกา มหาวิทยาลัย Northeastern ที่ Boston และมหาวิทยาลัยเทคโนโลยี Nanyang ที่สิงคโปร์

ผลการทดลองกับ FakeTagger บ่งชี้ถึงอัตราการระบุซ้ำสูงถึงเกือบ 95% ข้ามวิธีการ deepfake ที่พบ四แบบ: การเปลี่ยนอัตลักษณ์ (เช่น DeepFaceLab และ FaceSwap); การแสดงออกซ้ำ; การแก้ไขคุณลักษณะ; และการสร้างภาพทั้งหมด

ข้อบกพร่องของการตรวจจับ Deepfake

แม้ว่าสามปีที่ผ่านมาจะมีการพัฒนาวิธีการใหม่ๆ สำหรับการตรวจจับ deepfake แต่วิธีการเหล่านี้มุ่งเน้นไปที่ข้อบกพร่องที่สามารถแก้ไขได้ของกระบวนการทำงาน deepfake เช่น การกระพริบตา ในแบบจำลองที่ไม่ได้รับการฝึกอบรมอย่างเพียงพอ และ การไม่กระพริบตา ใน deepfake ในช่วงแรกที่มีเซตหน้าที่ไม่หลากหลายพอ

เอกสารวิจัยใหม่ระบุว่าวิธีการตรวจจับหลังการฝึกอบรมที่มีประสิทธิภาพที่สุดซึ่งผลิตจากการแข่งขันตรวจจับ deepfake ล่าสุดของ Facebook (DFDC) มีข้อจำกัดในการตรวจจับ deepfake ในสภาพแวดล้อมจริงที่ 70% เท่านั้น นักวิจัยระบุว่าความล้มเหลวในการทั่วไปนี้เกิดจากความไม่สมบูรณ์ของการสร้างแบบจำลองใหม่และระบบ deepfake ที่มีการปรับปรุงอย่างต่อเนื่อง เช่น ระบบ GAN และระบบเข้ารหัส/ถอดรหัส

ในกรณีหลัง สิ่งนี้อาจเกิดจากงานที่มีคุณภาพต่ำของ deepfakers หรือผลกระทบของการบีบอัดเมื่อวิดีโอถูกอัปโหลดไปยังแพลตฟอร์มที่พยายามลดต้นทุนแบนด์วิธและเข้ารหัสวิดีโอใหม่ด้วยอัตราบิตที่ต่ำกว่ามากเมื่อเทียบกับการส่ง

การแท็กที่สามารถอยู่รอดได้เพื่อช่วยในการกลับด้านแบบจำลอง

การระบุข้อมูลต้นตอจากผลลัพธ์ของการเรียนรู้ของเครื่องเป็นสาขาที่ค่อนข้างใหม่และกำลังเติบโต และเปิดโอกาสให้เกิดยุคใหม่ของการดำเนินคดีทางกฎหมายเกี่ยวกับทรัพย์สินทางปัญญา เมื่อกฎระเบียบการเก็บข้อมูลโดยไม่ถูกต้องของรัฐบาลที่มีอยู่ในปัจจุบันซึ่งออกแบบมาเพื่อไม่ให้ขัดขวางความเป็นเลิศของประเทศในการแข่งขัน AI ทั่วโลก พัฒนาเป็นกฎหมายที่เข้มงวดมากขึ้นเมื่ออุตสาหกรรมนี้กลายเป็นการค้า

การกลับด้านแบบจำลอง เกี่ยวข้องกับการสร้างและระบุข้อมูลต้นตอจากผลลัพธ์ที่สร้างโดยระบบสังเคราะห์ในหลายโดเมน รวมถึงการสร้างภาษาธรรมชาติ (NLG) และการสร้างภาพ การกลับด้านแบบจำลองมีประสิทธิภาพสูงในการระบุหน้าที่ซ้ำที่ถูกเบลอหรือปิดบังหรือที่ผ่านกระบวนการสรุปของระบบ GAN หรือระบบเข้ารหัส/ถอดรหัส เช่น DeepFaceLab

การเพิ่มการแท็กแบบมุ่งเป้าลงในภาพหน้าใหม่หรือมีอยู่แล้วเป็นวิธีการใหม่ที่เป็นไปได้ในการช่วยเหลือการกลับด้านแบบจำลอง โดยมีการ การทำเครื่องหมายน้ำ เป็นสาขาที่เกิดขึ้นใหม่

การแท็กหลังการฝึกอบรม

FakeTagger ได้รับการออกแบบมาเพื่อใช้หลังการฝึกอบรม ตัวอย่างเช่น เมื่อผู้ใช้อัปโหลดภาพถ่ายไปยังเครือข่ายสังคม (ซึ่งโดยทั่วไปจะเกี่ยวข้องกับการประมวลผลบางอย่าง และไม่เคยถูกส่งโดยตรงและไม่มีการดัดแปลง) อัลกอริทึมจะประมวลผลภาพเพื่อใช้ลักษณะที่ไม่สามารถลบได้กับหน้า

ในทางเลือกอื่น อัลกอริทึมสามารถใช้กับคลังภาพประวัติศาสตร์ได้ เช่นเดียวกับที่เกิดขึ้นหลายครั้งในช่วง 20 ปีที่ผ่านมา เมื่อเว็บไซต์ภาพถ่ายสต็อกและคลังภาพเชิงพาณิชย์ขนาดใหญ่พยายาม วิธีการ ระบุเนื้อหาที่ถูกใช้ซ้ำโดยไม่ได้รับอนุญาต

FakeTagger มุ่งหมายเพื่อฝังลักษณะที่สามารถกู้คืนได้จากกระบวนการ deepfake ต่างๆ

การพัฒนาและการทดสอบ

นักวิจัยทดสอบ FakeTagger กับซอฟต์แวร์ deepfake หลายตัวที่ใช้วิธีการที่แตกต่างกันสี่วิธี รวมถึงซอฟต์แวร์ที่ใช้กันมากที่สุด ซึ่งก็คือ DeepFaceLab; Face2Face ของ Stanford ซึ่งสามารถถ่ายทอดน้ำเสียงหน้าได้ระหว่างภาพและอัตลักษณ์; และ STGAN ซึ่งสามารถแก้ไขคุณลักษณะหน้าได้

การทดสอบทำโดยใช้ CelebA-HQ ซึ่งเป็นคลังภาพสาธารณะที่มีภาพหน้า 30,000 ภาพของคนดังที่มีความละเอียดต่างๆ ตั้งแต่ 1024 x 1024 พิกเซล

ในฐานะบรรทัดฐาน นักวิจัยทดสอบเทคนิคการทำเครื่องหมายภาพทั่วไปก่อน เพื่อดูว่าแท็กที่บังคับจะรอดจากการฝึกอบรมของกระบวนการทำงาน deepfake หรือไม่ แต่วิธีการเหล่านี้ล้มเหลวทั้งหมด

ข้อมูลที่ฝังของ FakeTagger ถูกฉีดเข้าไปในขั้นตอนการเข้ารหัสลงในภาพหน้าโดยใช้สถาปัตยกรรมที่อิงจาก U-Net สำหรับการแบ่งส่วนภาพชีวการแพทย์ ซึ่งเผยแพร่ในปี 2015 ต่อมา ส่วนการถอดรหัสของเฟรมเวิร์กถูกฝึกให้ค้นหาข้อมูลที่ฝัง

กระบวนการนี้ถูกทดสอบในซิมูเลเตอร์ GAN ที่ใช้แอปพลิเคชัน/อัลกอริทึม FOSS ที่กล่าวถึงก่อนหน้านี้ ในสภาพแวดล้อมแบบกล่องดำโดยไม่มีการเข้าถึงกระบวนการทำงานของแต่ละระบบโดยเฉพาะ สัญญาณสุ่มถูกแนบมากับภาพคนดังและบันทึกเป็นข้อมูลที่เกี่ยวข้องกับภาพแต่ละภาพ

ในสถานการณ์แบบกล่องดำ FakeTagger สามารถบรรลุความแม่นยำเกิน 88.95% ในวิธีการทั้งสี่ของแอปพลิเคชัน ในสถานการณ์แบบกล่องขาว ความแม่นยำเพิ่มขึ้นเกิน 100% อย่างไรก็ตาม เนื่องจากสิ่งนี้ชี้ให้เห็นว่าในอนาคตจะมีการพัฒนา deepfake ที่รวม FakeTagger โดยตรง ซึ่งเป็นสถานการณ์ที่ไม่น่าจะเกิดขึ้นในระยะเวลาอันใกล้

การนับจำนวนค่าใช้จ่าย

นักวิจัยชี้ว่าสถานการณ์ที่ท้าทายที่สุดสำหรับ FakeTagger คือการสร้างภาพทั้งหมด เช่น การสร้างภาพแบบ CLIP ซึ่งข้อมูลการฝึกอบรมต้องผ่านกระบวนการสรุปที่ลึกที่สุด อย่างไรก็ตาม สิ่งนี้ไม่เกี่ยวข้องกับกระบวนการทำงาน deepfake ที่ได้รับความสนใจในช่วงหลายปีที่ผ่านมา เนื่องจากกระบวนการเหล่านี้ขึ้นอยู่กับการสร้างลักษณะหน้าที่ที่มีความสำคัญต่อการระบุ

เอกสารวิจัยยังระบุด้วยว่าผู้โจมตีแบบก้าวร้าวอาจพยายามเพิ่มสัญญาณรบกวน เช่น เสียงและดอกไม้เทียม เพื่อหลอกลวงระบบการแท็กนี้ แม้ว่าสิ่งนี้จะน่าจะส่งผลเสียต่อความน่าเชื่อถือของ deepfake

นอกจากนี้ พวกเขายังระบุด้วยว่า FakeTagger ต้องเพิ่มข้อมูลที่ซ้ำกันลงในภาพเพื่อให้แน่ใจว่าแท็กที่ฝังจะรอด และสิ่งนี้อาจมีค่าใช้จ่ายในการคำนวณที่มีนัยสำคัญเมื่อทำในระดับที่กว้างขวาง

ผู้เขียนสรุปโดยระบุว่า FakeTagger อาจมีศักยภาพในการติดตามแหล่งที่มาในโดเมนอื่นๆ เช่น การโจมตีด้วยฝนแบบก้าวร้าว และการโจมตีภาพอื่นๆ เช่น การโจมตีด้วยการเปิดเผยแบบก้าวร้าว, การโจมตีด้วยหมอก, การโจมตีด้วยความเบลอ, การโจมตีด้วยการมองเห็น และ การโจมตีด้วยการเปลี่ยนแปลงสี