วิธีการทางนิติเวชสำหรับ Deepfakes รุ่นใหม่

แม้ว่าการสร้าง deepfake ของบุคคลส่วนตัวจะกลายเป็น เรื่องที่เป็นข้อกังวลสาธารณะ และถูก ห้าม ในหลายภูมิภาค แต่การ chứng minhว่าโมเดลที่ผู้ใช้สร้างขึ้น เช่น โมเดลที่ใช้สำหรับเรื่องลามกอนาจารที่แก้แค้น ได้รับการฝึกฝนโดยเฉพาะจากภาพของบุคคลนั้นยังคงเป็นเรื่องที่ท้าทายมาก

เพื่อให้เข้าใจปัญหาได้ดีขึ้น ส่วนสำคัญของการโจมตีแบบ deepfake คือการกล่าวอ้างเท็จว่าภาพหรือวิดีโอแสดงถึงบุคคลนั้น โดยการกล่าวอ้างว่าบุคคลนั้นเป็น คนดัง มากพอแล้วที่จะสร้างความเสียหายได้ และไม่ต้องใช้ AI ในสถานการณ์นี้

อย่างไรก็ตาม หากผู้โจมตีสร้างภาพหรือวิดีโอโดยใช้โมเดลที่ฝึกฝนจากข้อมูลของบุคคลจริง ระบบการรู้จำใบหน้าของโซเชียลมีเดียและเครื่องมือค้นหาจะเชื่อมโยงเนื้อหาที่ปลอมกับเหยื่อโดยอัตโนมัติ โดยไม่ต้องมีชื่อในโพสต์หรือเมตाडาต้า

ภาพหรือวิดีโอที่ปลอมจะปรากฏในผลการค้นหาและในที่สุดจะ ถึงมือเหยื่อ ได้

ต่อหน้า

วิธีการที่ใช้กันมากที่สุดในการเผยแพร่โมเดลที่มุ่งเน้นไปที่อัตลักษณ์คือ การปรับตัวแบบ Low-Rank (LoRA) โดยที่ผู้ใช้ฝึกฝนภาพจำนวนเล็กน้อยเป็นเวลาหลายชั่วโมงโดยใช้น้ำหนักของโมเดลฐานที่ใหญ่กว่า เช่น Stable Diffusion (สำหรับภาพนิ่ง) หรือ Hunyuan Video สำหรับวิดีโอที่ปลอม

เป้าหมายที่พบบ่อยที่สุดของ LoRA คือ ดาราหนัง ซึ่งความโด่งดังของพวกเขาทำให้พวกเขาเสี่ยงต่อการถูกโจมตีโดยไม่มีการวิพากษ์วิจารณ์จากสาธารณชนมากนัก เมื่อเทียบกับเหยื่อที่ไม่ค่อยมีใครรู้จัก

ดาราหนังเป็นคนดังที่มีชื่อเสียงในรายการ LoRA และ Dreambooth ที่ civit.ai

ไม่มีเวทีสาธารณะสำหรับเหยื่อที่ไม่ใช่คนดังที่ถูกโจมตีโดย deepfake ซึ่งจะปรากฏในสื่อเฉพาะเมื่อมีการดำเนินคดีหรือเหยื่อออกมาเผยแพร่ในสื่อ

อย่างไรก็ตาม ในทั้งสองสถานการณ์ โมเดลที่ใช้ในการปลอมอัตลักษณ์ได้ “กลั่น” ข้อมูลการฝึกฝนเข้าไปใน พื้นที่ 潜在 ของโมเดลจนยากที่จะระบุแหล่งที่มาของภาพที่ใช้ในการฝึกฝน

หากเป็นไปได้ที่จะทำเช่นนี้ภายในขอบเขตของข้อผิดพลาดที่ยอมรับได้ จะช่วยให้สามารถดำเนินคดีกับผู้ที่แบ่งปัน LoRA ได้ เนื่องจากไม่เพียงแต่ chứng minhความตั้งใจที่จะปลอมอัตลักษณ์ของบุคคลใดบุคคลหนึ่ง (เช่น บุคคลที่ไม่ใช่คนดัง) แต่ยังเปิดเผยผู้อัปโหลดให้ถูกตั้งข้อหาละเมิดลิขสิทธิ์อีกด้วย

สิ่งนี้จะมีประโยชน์ในเขตอำนาจศาลที่ขาดการควบคุมด้านกฎหมายหรือล้าหลังในการควบคุมเทคโนโลยีการปลอม

เปิดเผย

วัตถุประสงค์ของการฝึกโมเดลฐานคือการทำให้โมเดลมีความ ทั่วไป และยืดหยุ่นได้ ซึ่งเกี่ยวข้องกับการฝึกฝนจากภาพที่หลากหลายและเหมาะสม และการฝึกฝนจนกว่าโมเดลจะ “过拟合” กับข้อมูล

โมเดลที่过拟合ได้เห็นข้อมูลหลายครั้งในช่วงการฝึกฝนจนมีแนวโน้มที่จะสร้างภาพที่คล้ายกันมาก ทำให้เห็นแหล่งที่มาของข้อมูลการฝึกฝน

อัตลักษณ์ของ ‘Ann Graham Lotz’ สามารถสร้างขึ้นได้ใกล้เคียงกับโมเดล Stable Diffusion V1.5 Source: https://arxiv.org/pdf/2301.13188

อย่างไรก็ตาม โมเดลที่过拟合มักถูกถอดถอนโดยผู้สร้างมากกว่าที่จะถูกเผยแพร่ เนื่องจากไม่เหมาะสมสำหรับการใช้งาน จึงไม่น่าจะเป็น “โชคดี” ในด้านการนิติเวช

สิ่งต่างๆ มีความแตกต่างกันเล็กน้อยในกรณีของ LoRA และ Dreambooth (แม้ว่า Dreambooth จะไม่ได้รับความนิยมเนื่องจากขนาดไฟล์ที่ใหญ่) ที่นี่ ผู้ใช้เลือกภาพที่หลากหลายของวัตถุและใช้ภาพเหล่านั้นในการฝึกฝน LoRA

ผลลัพธ์จาก Hunyuan Video LoRA และข้อมูลที่ใช้ในการฝึกฝน

บ่อยครั้ง LoRA จะมีคำกระตุ้นที่ฝึกฝน เช่น [ชื่อคนดัง] อย่างไรก็ตาม วัตถุที่ฝึกฝนโดยเฉพาะมักปรากฏในผลลัพธ์ที่สร้างขึ้น แม้ไม่มีการกระตุ้น เนื่องจาก LoRA ที่ดี (ไม่过拟合) มักมีความ “ติด” กับวัสดุที่ใช้ในการฝึกฝนและจะพยายามรวมเข้าไปในผลลัพธ์

นี่ทำให้โมเดลเสี่ยงต่อการวิเคราะห์ทางนิติเวช

การเปิดเผยข้อมูล

เรื่องนี้ได้รับการกล่าวถึงในบทความใหม่จากเดนมาร์ก ซึ่งนำเสนอวิธีการในการระบุแหล่งที่มาของภาพ (หรือกลุ่มภาพ) ในโมเดล การโจมตีแบบ Membership Inference (MIA) วิธีการนี้เกี่ยวข้องกับการใช้โมเดลที่ฝึกฝนโดยเฉพาะเพื่อช่วยในการเปิดเผยข้อมูลโดยการสร้าง “deepfakes” ของตนเอง

ตัวอย่างภาพที่สร้างขึ้นโดยวิธีการใหม่ Source: https://arxiv.org/pdf/2502.11619

งานนี้ เรื่อง ที่มีชื่อว่า การโจมตีแบบ Membership Inference สำหรับภาพใบหน้าแบบ Fine-Tuned Latent Diffusion Models เป็นผลงานที่น่าสนใจ แต่ก็เขียนในลักษณะที่ยากต่อการเข้าใจ

โดยสรุป หากใครฝึกโมเดล AI บนใบหน้าของคุณ วิธีการของพวกเขาสามารถช่วย chứng minhได้โดยการค้นหาสัญญาณของการจำในภาพที่สร้างขึ้น

ในตอนแรก โมเดลเป้าหมายจะถูกฝึกฝนบนเซตของภาพใบหน้า ทำให้มีแนวโน้มที่จะสร้างรายละเอียดจากภาพเหล่านั้นในผลลัพธ์

จากนั้น โมเดลการโจมตีจะถูกฝึกฝนโดยใช้ภาพที่สร้างขึ้นจากโมเดลเป้าหมายเป็นตัวอย่าง “บวก” (ที่ถูกสงสัยว่าเป็นส่วนหนึ่งของเซตการฝึกฝน) และภาพอื่นๆ จากเซตอื่นเป็นตัวอย่าง “ลบ” (ที่ไม่ใช่ส่วนหนึ่งของเซตการฝึกฝน)

โดยการเรียนรู้ความแตกต่างที่ไม่ชัดเจนระหว่างกลุ่มเหล่านี้ โมเดลการโจมตีสามารถคาดเดาได้ว่าภาพใดๆ เป็นส่วนหนึ่งของเซตการฝึกฝนหรือไม่

การโจมตีนี้มีประสิทธิภาพมากที่สุดเมื่อโมเดลเป้าหมายถูกฝึกฝนอย่างเข้มข้น ซึ่งหมายความว่าโมเดลที่มีการฝึกฝนมากจะทำให้สามารถตรวจจับได้ง่ายขึ้น

นอกจากนี้ การเพิ่มลายน้ำที่มองเห็นได้ลงในภาพการฝึกฝนจะช่วยให้การตรวจจับง่ายขึ้น

การโจมตีนี้ได้รับการทดสอบในสถานการณ์แบบ “กล่องดำ” ซึ่งหมายความว่าไม่ต้องมีการเข้าถึงรายละเอียดภายในของโมเดลเป้าหมาย แต่สามารถทำงานได้โดยใช้เพียงผลลัพธ์ของโมเดลเป้าหมาย

วิธีการนี้มีความซับซ้อนในการคำนวณ แต่มีคุณค่าในการชี้แนะทิศทางสำหรับการวิจัยเพิ่มเติม และเพื่อแสดงให้เห็นว่าข้อมูลสามารถถูกดึงออกมาได้ภายในขอบเขตของข้อผิดพลาดที่ยอมรับได้

วิธีการ/ข้อมูล

เซตข้อมูลหลายชุดจาก Technical University of Denmark (DTU) ถูกใช้ในการศึกษาเพื่อฝึกโมเดลเป้าหมายและสำหรับการฝึกและทดสอบโมเดลการโจมตี

เซตข้อมูลที่ใช้ได้รับจาก DTU Orbit ซึ่งรวมถึง:

DseenDTU เซตภาพฐาน

DDTU ภาพที่เก็บจาก DTU Orbit

DseenDTU ส่วนหนึ่งของ DDTU ที่ใช้ในการฝึกโมเดลเป้าหมาย

DunseenDTU ส่วนหนึ่งของ DDTU ที่ไม่ได้ใช้ในการฝึกโมเดลการสร้างภาพ แต่แทนใช้ในการทดสอบหรือฝึกโมเดลการโจมตี

wmDseenDTU ส่วนหนึ่งของ DDTU ที่มีลายน้ำที่มองเห็นได้และใช้ในการฝึกโมเดลเป้าหมาย

hwmDseenDTU ส่วนหนึ่งของ DDTU ที่มีลายน้ำที่ไม่มองเห็นได้และใช้ในการฝึกโมเดลเป้าหมาย

DgenDTU ภาพที่สร้างขึ้นโดยโมเดล Latent Diffusion ที่ฝึกฝนบนเซต DseenDTU

เซตข้อมูลที่ใช้ในการฝึกโมเดลเป้าหมายประกอบด้วยคู่ภาพ-ข้อความที่มีคำบรรยายจากโมเดล BLIP

BLIP ถูกตั้งค่าให้เพิ่มคำว่า ‘a dtu headshot of a’ ลง在คำบรรยายแต่ละคำ

นอกจากนี้ เซตข้อมูลหลายชุดจาก Aalborg University (AAU) ถูกใช้ในการทดสอบ ซึ่งได้รับจาก AU VBN corpus ซึ่งรวมถึง:

DAAU ภาพที่เก็บจาก AAU vbn

DseenAAU ส่วนหนึ่งของ DAAU ที่ใช้ในการฝึกโมเดลเป้าหมาย

DunseenAAU ส่วนหนึ่งของ DAAU ที่ไม่ได้ใช้ในการฝึกโมเดลการสร้างภาพ แต่แทนใช้ในการทดสอบหรือฝึกโมเดลการโจมตี

DgenAAU ภาพที่สร้างขึ้นโดยโมเดล Latent Diffusion ที่ฝึกฝนบนเซต DseenAAU

การทดสอบ

การทดสอบหลายครั้งถูกดำเนินการเพื่อประเมินประสิทธิภาพของการโจมตีแบบ Membership Inference ต่อโมเดลเป้าหมาย

การทดสอบแต่ละครั้งได้รับการออกแบบเพื่อกำหนดว่าสามารถดำเนินการโจมตีได้สำเร็จภายในโครงสร้างที่แสดงด้านล่าง โดยที่โมเดลเป้าหมายถูกฝึกฝนบนเซตข้อมูลที่ได้รับโดยไม่ได้รับอนุญาต

โครงสร้างของวิธีการ

โดยการฝึกโมเดลเป้าหมายให้สร้างภาพผลลัพธ์ และใช้ภาพเหล่านั้นเป็นตัวอย่าง “บวก” สำหรับการฝึกโมเดลการโจมตี และใช้ภาพอื่นๆ ที่ไม่เกี่ยวข้องเป็นตัวอย่าง “ลบ”

โมเดลการโจมตีถูกฝึกฝนโดยใช้การเรียนรู้แบบมีคำแนะนำ และทดสอบบนภาพใหม่เพื่อกำหนดว่าภาพนั้นเป็นส่วนหนึ่งของเซตข้อมูลที่ใช้ในการฝึกโมเดลเป้าหมายหรือไม่

ในการประเมินความแม่นยำของการโจมตี 15% ของข้อมูลทดสอบถูกแบ่งออกมาเพื่อใช้ในการตรวจสอบ

เนื่องจากโมเดลเป้าหมายถูกฝึกฝนบนเซตข้อมูลที่ทราบแล้ว สถานะการเป็นสมาชิกที่แท้จริงของแต่ละภาพจึงถูกกำหนดไว้แล้วเมื่อสร้างข้อมูลฝึกสำหรับโมเดลการโจมตี

นี่ทำให้สามารถประเมินประสิทธิภาพของโมเดลการโจมตีได้อย่างชัดเจน

ในการทดสอบนี้ โมเดล Stable Diffusion V1.5 ถูกใช้

โมเดลการโจมตีถูกสร้างขึ้นโดยใช้ Resnet-18 โดยที่น้ำหนักของโมเดลที่ฝึกฝนไว้แล้วถูกเก็บไว้

การฝึกโมเดลการโจมตีใช้การเรียนรู้แบบมีคำแนะนำ โดยใช้ ค่าความสูญเสีย แบบ Cross-Entropy และ ตัวเพิ่ม Adam

สำหรับการทดสอบแต่ละครั้ง โมเดลการโจมตีถูกฝึกฝน 5 ครั้งโดยใช้ เมล็ดสุ่ม ที่แตกต่างกันเพื่อคำนวณช่วงความเชื่อมั่น 95% สำหรับเมตริกสำคัญ

การจำแนกประเภทแบบ Zero-Shot โดยใช้โมเดล CLIP ถูกใช้เป็นฐานในการเปรียบเทียบ

(โปรดทราบว่าตารางผลลัพธ์หลักในบทความนั้นเขียนอย่างย่อและยากต่อการเข้าใจ ดังนั้นจึงได้รับการจัดเรียงใหม่ในรูปแบบที่อ่านง่ายกว่าด้านล่าง)

สรุปผลลัพธ์จากการทดสอบทั้งหมด

วิธีการโจมตีของนักวิจัยแสดงให้เห็นว่ามีประสิทธิภาพมากที่สุดเมื่อโจมตีโมเดลที่ฝึกฝนอย่างเข้มข้น โดยเฉพาะโมเดลที่ฝึกฝนบนเซตข้อมูลเฉพาะ เช่น ใบหน้าของบุคคล

อย่างไรก็ตาม การโจมตีนี้สามารถระบุได้ว่าเซตข้อมูลถูกใช้ แต่มีความยากในการระบุภาพเฉพาะภายในเซตข้อมูล

ในทางปฏิบัติ สิ่งนี้ไม่ใช่ข้อจำกัดที่สำคัญสำหรับการใช้วิธีการนี้ในทางนิติเวช เนื่องจากผู้โจมตีที่มุ่งเป้าไปที่บุคคลส่วนตัวมักจะมีทางเลือกน้อยในการเลือกเซตข้อมูล และจำเป็นต้องใช้ประโยชน์จากกลุ่มข้อมูลที่มีอยู่ เช่น อัลบั้มบนโซเชียลมีเดีย

ผลงานนี้ยังพบว่าการเพิ่มลายน้ำที่มองเห็นได้ลงในภาพการฝึกฝนจะช่วยให้การตรวจจับง่ายขึ้น

ลายน้ำที่ใช้ในการทดสอบ

สุดท้าย ระดับการชี้นำในการสร้างภาพจากข้อความยังมีบทบาทสำคัญ โดยที่ค่าชี้นำที่เหมาะสมที่สุดอยู่ที่ประมาณ 8

แม้ว่าไม่มีการใช้คำกระตุ้นโดยตรง โมเดลที่ฝึกฝนอย่างเข้มข้นยังคงมีแนวโน้มที่จะสร้างผลลัพธ์ที่คล้ายกับข้อมูลการฝึกฝน

สรุป

เป็นเรื่องที่น่าเสียดายที่บทความนี้ถูกเขียนในลักษณะที่ยากต่อการเข้าใจ เนื่องจากควรเป็นเรื่องที่น่าสนใจสำหรับผู้สนับสนุนความเป็นส่วนตัวและนักวิจัย AI ทั่วไป

แม้ว่าการโจมตีแบบ Membership Inference จะเป็นเครื่องมือทางนิติเวชที่น่าสนใจ แต่สิ่งที่สำคัญกว่านั้นคือการวิจัยควรพัฒนาหลักการกว้างๆ เพื่อป้องกันไม่ให้กลายเป็นเกม “whack-a-mole” เช่นเดียวกับการตรวจจับ deepfake ทั่วไป เมื่อการเปิดตัวโมเดลใหม่ทำให้การตรวจจับและระบบนิติเวชอื่นๆ มีประสิทธิภาพลดลง

เนื่องจากมีหลักฐานบางอย่างที่ชี้ให้เห็นถึงหลักการชี้นำระดับสูงในงานวิจัยใหม่นี้ เราสามารถหวังว่าจะมีการวิจัยเพิ่มเติมในแนวทางนี้

เผยแพร่ครั้งแรกวันศุกร์ที่ 21 กุมภาพันธ์ 2025