มุมมองของ Anderson

ฟิลเตอร์ความงามอาจเป็นเครื่องมือในการโจมตี Deepfake ที่อาจเกิดขึ้น

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Sources: https://www.youtube.com/watch?v=gtCpea_5qxw and https://www.youtube.com/watch?v=3wVpVH0Wa6E

ฟิลเตอร์ความสวยในปัจจุบันทำได้มากกว่าปกปิดตำหนิ: พวกมันสามารถช่วยให้การทำดีพฟีคและการแปลงใบหน้าผ่านระบบตรวจจับได้ ฟิลเตอร์ใหม่แสดงให้เห็นว่าผลกระทบการเรียบเนียนอย่างละเอียดเล็กน้อยทำให้ตัวตรวจจับ AI สับสน ทำให้ภาพปลอมดูเหมือนจริงและภาพจริงดูเหมือนปลอม หากแนวโน้มนี้ดำเนินต่อไป ฟิลเตอร์ความสวยอาจต้องเผชิญกับข้อจำกัดในบริบทที่มีความสำคัญสูง ตั้งแต่การตรวจคนเข้าเมืองจนถึงการประชุม Zoom ของบริษัท

 

ในการร่วมมือ collaboration ระหว่างสเปนและอิตาลีในปี 2024 นักวิจัยรายงานว่า 90% ของผู้หญิงอายุ 18‑30 ปีใช้ฟิลเตอร์ความสวยก่อนโพสต์รูปบนโซเชียลมีเดีย ในแง่นี้ ฟิลเตอร์ความสวยเป็นวิธีการที่อัลกอริทึมหรือ AI ช่วยปรับเปลี่ยนลักษณะใบหน้าให้ดูดีขึ้นจากแหล่งต้นฉบับ:

จากการศึกษาในปี 2024: ตัวอย่างใบผู้หญิง (ซ้าย) และผู้ชาย (ขวา) แสดงก่อนและหลังการใช้ฟิลเตอร์ความสวย ฟิลเตอร์ปรับเปลี่ยนคุณลักษณะเช่นสีผิว, ดวงตา, จมูก, ริมฝีปาก, คาง, และโหนกแก้มเพื่อเพิ่มความดึงดูดที่รับรู้ แหล่งอ้างอิง: https://arxiv.org/pdf/2407.11981

จากการศึกษาในปี 2024: ตัวอย่างใบผู้หญิง (ซ้าย) และผู้ชาย (ขวา) แสดงก่อนและหลังการใช้ฟิลเตอร์ความสวย ฟิลเตอร์ปรับเปลี่ยนคุณลักษณะเช่นสีผิว, ดวงตา, จมูก, ริมฝีปาก, คาง, และโหนกแก้มเพื่อเพิ่มความดึงดูดที่รับรู้ Source: https://arxiv.org/pdf/2407.11981

ฟิลเตอร์เหล่านี้ยังมีให้ใช้ทั่วไปในรูปแบบฟังก์ชันพื้นฐานหรือเสริมในระบบวิดีโอยอดนิยมเช่น Snapchat และ Zoom ซึ่งให้ความสามารถในการเรียบเนียนผิวที่ “ไม่สมบูรณ์” และแม้กระทั่งเปลี่ยนอายุของผู้ใช้ จนถึงจุดที่อาจกล่าวได้ว่าตัวตนถูกเปลี่ยนแปลงอย่างมีนัยสำคัญ:

คลิกเพื่อเล่น: ผู้หญิงสามคนปิดฟิลเตอร์ “ความสวย” ของวิดีโอของตนเอง ทำให้เห็นระดับที่อัลกอริทึมหรือ AI ปรับเปลี่ยนลักษณะภายนอกของพวกเขาSource: https://www.youtube.com/watch?v=gtCpea_5qxw

ปรากฏการณ์นี้ดูเหมือนจะถึงจุดอิ่มตัวทันทีที่เทคโนโลยีเติบโตพอสมควร; การ study ในปี 2020 จาก City University of London เปิดเผยว่า 90% ของผู้ใช้ Snapchat รุ่นเยาว์ในสหรัฐอเมริกา, ฝรั่งเศสและสหราชอาณาจักรใช้ฟิลเตอร์ในแอปของตน ในขณะที่ Meta รายงานว่ามีคนหนุ่มสาวกว่า 600 ล้านคนใช้ฟิลเตอร์บน Facebook หรือ Instagram ณ เวลานั้น

การสำรวจผลกระทบเชิงลบของฟิลเตอร์ต่อสุขภาพจิต, รายงานของ Psychology Today report ระบุว่าผู้ที่ศึกษา 90% ของหญิงสาววัยหนุ่มสาวที่มีอายุเฉลี่ย 20 ปี ใช้ฟิลเตอร์หรือแก้ไขรูปภาพของตนในบางรูปแบบ ฟิลเตอร์ที่ได้รับความนิยมสูงสุดคือฟิลเตอร์ที่ทำให้สีผิวสม่ำเสมอ, ให้ลุคสีแทน, ฟอกสีฟัน, และแม้กระทั่งลดขนาดร่างกาย

Face Off

เมื่อฟิลเตอร์ใบหน้าจะได้รับประโยชน์จาก revolution ในการสังเคราะห์วิดีโอปี 2025 และโดยทั่วไปจากความสนใจที่ต่อเนื่องในภาคการวิจัยนี้, ระดับที่เราสามารถ “สร้างใหม่” หรือจินตนาการตัวเองในวิดีโอคอลแบบสดกำลังค่อยๆ ทะลุผ่านความกังวลของชุมชนด้านความปลอดภัยเกี่ยวกับการฉ้อโกงหรือ เทคนิควิดีโอดีพเฟกเพื่อก่ออาชญากรรม

ประเด็นหนึ่งคือ ช่วงของ ‘easy’ tests ที่พัฒนาขึ้นในหลายปีที่ผ่านมาเพื่อเปิดเผยผู้ทำดีพฟีควิดีโอ ซึ่งอาจพยายาม ฉ้อโกงเงินจำนวนมาก ในบริบทขององค์กร กำลังกลายเป็นน้อยประสิทธิภาพเมื่อจุดอ่อนเหล่านี้ถูกรวมเข้าในข้อมูลฝึกและในขั้นตอนการสรุปผล:

คลิกเพื่อเล่น: เมื่อสามหรือสี่ปีที่แล้ว การโบกมือหน้าหน้าตาที่ถูกทำดีพฟีคเป็นการทดสอบที่เชื่อถือได้สำหรับการโทรวิดีโอ, แต่เราจะเห็นว่าความพยายามจาก TikTok กำลังทำลายจุดบ่งชี้แบบคลาสสิกเหล่านั้นSources: Ibid and https://archive.is/mofRV#wavehands

ยิ่งสำคัญกว่านั้น การใช้ฟิลเตอร์เปลี่ยน/ปรับแต่งใบหน้าอย่างกว้างขวางทำให้การตรวจจับดีพฟีครุ่นใหม่ที่มุ่งป้องกันผู้แอบอ้างเข้าห้องประชุมวิดีโอและปกป้องผู้ที่อาจเป็นเหยื่อของ ‘kidnap’ and ‘imposter’ fraud ยากขึ้น

การทำดีพฟีคให้เชื่อถือได้ง่ายขึ้น ไม่ว่าจะเป็นภาพหรือวิดีโอ หาก ภาพมีความละเอียดต่ำ หรือภาพถูกทำให้เสื่อมสภาพบางอย่าง เนื่องจากระบบทำปลอมสามารถซ่อนข้อบกพร่องของตนเองไว้หลังจากที่ดูเหมือนเป็นปัญหาเรื่องการเชื่อมต่อหรือแพลตฟอร์ม

โดยสรุป, ฟิลเตอร์ความสวยที่ได้รับความนิยมสูงสุดจะลบรายละเอียดสำคัญที่ใช้ระบุดีพฟีควิดีโอออกไป เช่น เนื้อผิวและส่วนอื่นของใบหน้าที่มีรายละเอียด – และควรพิจารณาว่าใบหน้าที่อายุมากขึ้นมักมีรายละเอียดเหล่านี้มากกว่า ดังนั้นการใช้ฟิลเตอร์ลดอายุเพื่อความสวยอาจเป็นการล่อใจในกรณีเช่นนี้

หากลุคสไตล์ 'android' ที่ไม่มีรายละเอียดเป็นที่นิยม, ตัวตรวจจับดีพฟีคอาจขาดข้อมูลที่จำเป็นในการแยกแยะระหว่างภาพและวิดีโอบุคคลจริงและปลอม แหล่งอ้างอิง: https://www.instagram.com/reel/DMyGerPtTPF/?hl=en

หากลุคสไตล์ ‘android’ ที่ไม่มีรายละเอียดเป็นที่นิยม, ตัวตรวจจับดีพฟีคอาจขาดข้อมูลที่จำเป็นในการแยกแยะระหว่างภาพและวิดีโอบุคคลจริงและปลอม Source: https://www.instagram.com/reel/DMyGerPtTPF/?hl=en

บทความของ Royal Society ในปลายปี 2024 บทความ สิ่งที่สวยงามยังคงดี: ผลกระทบฮาโลของความดึงดูดในยุคของฟิลเตอร์ความงาม ยืนยันว่าการใช้ฟิลเตอร์โดยทั่วไปเพิ่มความดึงดูดโดยรวมในทั้งสองเพศ (แม้ว่าความดึงดูดที่เพิ่มขึ้นจะทำให้การประเมินระดับสติปัญญาโดยรวมของผู้หญิงที่ใช้ฟิลเตอร์ความงามลดลง)

ดังนั้นจึงสามารถกล่าวได้ว่าเทคโนโลยีนี้เป็นที่นิยม; ทำงานได้; และหากมันถูกจำกัดด้านความปลอดภัยหรือห้ามใช้ในหลายบริบทก็จะเป็นการช็อกวัฒนธรรมอย่างมาก

อย่างไรก็ตาม ในช่วงเวลาที่วิดีโอ deepfake อาจกลายเป็นไม่สามารถแยกแยะได้ จากผู้เข้าร่วมวิดีโอจริง ทั้งในด้านรูปลักษณ์และเสียง มีความเป็นไปได้ว่าความ “รบกวน” ระดับโลกจากฟิลเตอร์ความงามอาจต้องได้รับการบรรเทาในอนาคตเพื่อเหตุผลด้านความปลอดภัย

อาชญากรที่เรียบเนียน

ประเด็นนี้ได้รับการตรวจสอบล่าสุดใน บทความใหม่ จากมหาวิทยาลัยคากลิอารีในอิตาลี ชื่อว่า ความงามที่หลอกลวง: การประเมินผลกระทบของฟิลเตอร์ความงามต่อการตรวจจับการโจมตีแบบ Deepfake และ Morphing

ในการศึกษาใหม่ นักวิจัยได้ใช้ฟิลเตอร์ความงามกับใบหน้าจากชุดข้อมูลมาตรฐานสองชุด และทดสอบเครื่องตรวจจับ deepfake และการโจมตีแบบ morphing บนภาพต้นฉบับและภาพที่ผ่านการปรับเปลี่ยน

ในเกือบทุกกรณี ความแม่นยำของการตรวจจับลดลงหลังจากการทำให้สวยงาม; การลดลงที่ชัดเจนที่สุดเกิดขึ้นเมื่อฟิลเตอร์ทำให้ริ้วรอยเรียบขึ้น, ผิวสีสว่างขึ้น, หรือปรับรูปโครงหน้าบางส่วนอย่างละเอียด การเปลี่ยนแปลงเหล่านี้ทำให้สัญญาณที่โมเดลตรวจจับพึ่งพาถูกลบหรือบิดเบือน

ตัวอย่างเช่น โมเดลที่ทำคะแนนดีที่สุดบน MorphDB สูญเสียความแม่นยำมากกว่า 9% หลังจากใช้ฟิลเตอร์ และปัญหานี้ยังคงอยู่ในสถาปัตยกรรมการตรวจจับหลายแบบ แสดงให้เห็นว่าระบบปัจจุบันยังไม่ทนต่อการปรับแต่งความงามทั่วไป

ผู้เขียนสรุปว่า:

‘[Beautification] ฟิลเตอร์เป็นภัยต่อความสมบูรณ์ของระบบการยืนยันตัวตนทางชีวมิติและการวิเคราะห์นิติวิทยาศาสตร์, ทำให้การตรวจจับการโจมตี deepfake และ morph อย่างแข็งแกร่งภายใต้สภาพเช่นนี้เป็นความท้าทายที่เปิดอยู่ที่สำคัญ.’

‘งานในอนาคตควรให้ความสำคัญกับการพัฒนาระบบตรวจจับการดัดแปลงดิจิทัลที่ทนต่อการเปลี่ยนแปลงเล็กน้อยในโลกจริง ไม่ว่าจะเป็นการทำร้ายหรือไม่, เพื่อให้การยืนยันตัวตนและการตรวจสอบเนื้อหาเป็นไปอย่างเชื่อถือได้ในชีวิตประจำวันและบริบทที่ต้องการความปลอดภัยสูง.’

วิธีการและข้อมูล

เพื่อประเมินว่าฟิลเตอร์ความงามส่งผลต่อ deepfake และ การตรวจจับ morph อย่างไร นักวิจัยได้ใช้ฟิลเตอร์ทำให้ผิวเรียบแบบค่อยเป็นค่อยไปและทดสอบผลบนเครือข่ายประสาทเทียมแบบคอนโวลูชันสองตัว (CNNs) ที่เกี่ยวข้องกับปัญหาเป้าหมาย: AlexNet และ VGG19

แต่ละชุดข้อมูลมาตรฐานที่ทดสอบมีตัวอย่างการดัดแปลงใบหน้าที่เหมาะสม ตัวแรกคือ CelebDF ซึ่งเป็นชุดวิดีโอขนาดใหญ่ที่มีคลิปจริง 590 คลิปและคลิปปลอม 5,639 คลิปที่สร้างด้วยเทคนิคการสลับใบหน้าขั้นสูง ชุดนี้มีสภาพแสง, มุมหัว, และอาการแสดงธรรมชาติที่หลากหลายจาก 59 บุคคล ทำให้เหมาะอย่างยิ่งสำหรับการประเมินความทนทานของเครื่องตรวจจับ deepfake ในสภาพแวดล้อมจริง

ตัวอย่างภาพใบหน้าที่ได้รับผลกระทบจาก CelebDF. แหล่งที่มา: https://github.com/yuezunli/celeb-deepfakeforensics

ตัวอย่างภาพใบหน้าที่ได้รับผลกระทบจาก CelebDF. แหล่งที่มา: https://github.com/yuezunli/celeb-deepfakeforensics

ชุดที่สองคือ AMSL (ต้องลงทะเบียน) ซึ่งเป็นชุดข้อมูลการโจมตีแบบ morphing ที่สร้างจาก คอลเลกชัน ของ Face Research Lab London, มีทั้งใบหน้าจริงและใบหน้าที่ผสมผสานอย่างสังเคราะห์ ชุดนี้รวมอาการหน้าเป็นกลางและยิ้มจาก 102 รายบุคคล และถูกออกแบบให้สะท้อนความท้าทายที่เป็นจริงสำหรับระบบการยืนยันตัวตนทางชีวมิติที่ใช้ในบริบทเช่นการตรวจคนเข้าเมือง

ภาพจากชุดข้อมูล Face Research Lab London (FRLL) ที่ใช้ใน AMSL. แหล่งที่มา: https://figshare.com/articles/dataset/Face_Research_Lab_London_Set/5047666?file=8541955

ภาพจากชุดข้อมูล Face Research Lab London (FRLL) ที่ใช้ใน AMSL. แหล่งที่มา: https://figshare.com/articles/dataset/Face_Research_Lab_London_Set/5047666?file=8541955

แต่ละเครือข่ายได้รับการฝึกบน 80% ของชุดข้อมูล deepfake หรือ morphing, ส่วนที่เหลือ 20% ใช้สำหรับ การตรวจสอบ. เพื่อทดสอบความทนทานต่อการทำให้สวยงาม นักวิจัยจึงใช้ฟิลเตอร์ทำให้ผิวเรียบแบบค่อยเป็นค่อยไปกับภาพทดสอบโดยเพิ่มรัศมีเบลอจาก 3% ถึง 5% ของความสูงใบหน้า:

ตัวอย่างใบหน้าจากชุดข้อมูล CelebDF (บน) และ AMSL (ล่าง) แสดงก่อนและหลังการใช้ฟิลเตอร์ความงามแบบทำให้ผิวเรียบ รัศมีฟิลเตอร์ถูกปรับตามความสูงของใบหน้า โดย c = 3% และ c = 5% ให้ผลกระทบที่ค่อยเพิ่มขึ้น

ตัวอย่างใบหน้าจากชุดข้อมูล CelebDF (บน) และ AMSL (ล่าง) แสดงก่อนและหลังการใช้ฟิลเตอร์ความงามแบบทำให้ผิวเรียบ รัศมีฟิลเตอร์ถูกปรับตามความสูงของใบหน้า โดย c = 3% และ c = 5% ให้ผลกระทบที่ค่อยเพิ่มขึ้น.

เกี่ยวกับเมตริกซ์ แต่ละโมเดลได้รับการประเมินโดยใช้อัตราความผิดพลาดเท่ากัน (EER) ทั้งบนชุดทดสอบต้นฉบับและชุดที่ผ่านการทำความสวยงาม การวิเคราะห์ยังรายงานอัตราการจัดประเภทการนำเสนอที่แท้จริง (BPCER) หรืออัตราเชิงบวกเท็จ และอัตราการจัดประเภทการนำเสนอการโจมตี (APCER) หรืออัตราเชิงลบเท็จ โดยใช้เกณฑ์ที่ตั้งค่าบนข้อมูลต้นฉบับ

ใบหน้าที่ถูกดัดแปลงจากชุดข้อมูล AMSL.

เพื่อประเมินประสิทธิภาพเพิ่มเติม พื้นที่ใต้โค้ง ROC (AUC) และการกระจายคะแนนสำหรับภาพจริงและภาพปลอมได้ถูกตรวจสอบ

การทดสอบ

ในผลการตรวจจับดีพเฟก ผลลัพธ์ของทั้งสองเครือข่ายแสดงอัตราความผิดพลาดเท่ากันที่เพิ่มขึ้นเมื่อความเข้มของการทำความสวยงามเพิ่มขึ้น ค่า EER ของ AlexNet เพิ่มจาก 22.3% บนภาพต้นฉบับเป็น 28.1% ที่ระดับการทำความเรียบสูงสุด ในขณะที่ของ VGG19 เพิ่มจาก 30.2% เป็น 35.2% รูปแบบการลดลงของประสิทธิภาพต่างกันในแต่ละกรณีดังนี้:

ผลการตรวจจับดีพเฟกบนชุดข้อมูล CelebDF โดยใช้ AlexNet และ VGG19 ทั้งสองโมเดลถูกทดสอบบนภาพต้นฉบับและภาพที่ผ่านการทำความสวยงามด้วยระดับการเรียบหน้าที่เพิ่มขึ้น เมตริกที่แสดงรวมถึงอัตราความผิดพลาดเท่ากัน (EER) อัตราการจัดประเภทการนำเสนอที่แท้จริง (BPCER) และอัตราการจัดประเภทการนำเสนอการโจมตี (APCER) โดยใช้เกณฑ์ที่กำหนดจากชุดทดสอบต้นฉบับ ความแม่นยำในการตรวจจับลดลงเมื่อความเข้มของการทำความสวยงามเพิ่มขึ้น แม้ว่ารูปแบบการเสื่อมสภาพจะแตกต่างกันระหว่างสถาปัตยกรรม

ผลการตรวจจับดีพเฟกบนชุดข้อมูล CelebDF โดยใช้ AlexNet และ VGG19 ทั้งสองโมเดลถูกทดสอบบนภาพต้นฉบับและภาพที่ผ่านการทำความสวยงามด้วยระดับการเรียบหน้าที่เพิ่มขึ้น เมตริกที่แสดงรวมถึงอัตราความผิดพลาดเท่ากัน (EER) อัตราการจัดประเภทการนำเสนอที่แท้จริง (BPCER) และอัตราการจัดประเภทการนำเสนอการโจมตี (APCER) โดยใช้เกณฑ์ที่กำหนดจากชุดทดสอบต้นฉบับ ความแม่นยำในการตรวจจับลดลงเมื่อความเข้มของการทำความสวยงามเพิ่มขึ้น แม้ว่ารูปแบบการเสื่อมสภาพจะแตกต่างกันระหว่างสถาปัตยกรรม

เมื่อการทำความสวยงามเพิ่มขึ้น AlexNet มีแนวโน้มที่จะพิจารณาหน้าจริงเป็นปลอมมากขึ้น ซึ่งแสดงโดยอัตราเชิงบวกเท็จ (BPCER) ที่ค่อยๆ เพิ่มขึ้น ในขณะที่ VGG19 กลับมีปัญหาในการจับภาพปลอมเองมากกว่า โดยอัตราเชิงลบเท็จ (APCER) เพิ่มขึ้น โมเดลทั้งสองตอบสนองต่อฟิลเตอร์ต่างกัน แสดงให้เห็นว่าแม้สถาปัตยกรรมที่เป็นที่รู้จักก็อาจล้มเหลวในรูปแบบที่แตกต่างกันเมื่อเผชิญกับการปรับเปลี่ยนด้านความงาม

เพื่อทำความเข้าใจผลลัพธ์เหล่านี้ นักวิจัยได้ใช้ฟิลเตอร์ทำความสวยงามแยกต่างหากกับภาพจริงและภาพปลอมและวัดผลกระทบต่อประสิทธิภาพการตรวจจับ การแยกย่อยนี้แสดงในตารางผลลัพธ์ด้านล่าง ช่วยชี้แจงแหล่งที่มาของความอ่อนแอของแต่ละโมเดล:

ความแม่นยำในการตรวจจับสำหรับ AlexNet และ VGG19 ภายใต้การทำความสวยงามบางส่วนบนชุดข้อมูล CelebDF ตารางแสดงสามสถานการณ์: จริงที่ทำความสวยงามเทียบกับปลอมที่ทำความสวยงาม (F-Real vs F-Fake); จริงที่ทำความสวยงามเทียบกับปลอมต้นฉบับ (F-Real vs O-Fake); และจริงต้นฉบับเทียบกับปลอมที่ทำความสวยงาม (O-Real vs F-Fake) โดยการลดลงของความแม่นยำบ่งบอกถึงประสิทธิภาพของตัวตรวจจับที่ลดลง AlexNet ถูกกระทบมากที่สุดเมื่อภาพจริงถูกทำความสวยงาม ในขณะที่ VGG19 มีปัญหามากที่สุดเมื่อการทำความสวยงามถูกนำไปใช้กับภาพปลอม

ความแม่นยำในการตรวจจับสำหรับ AlexNet และ VGG19 ภายใต้การทำความสวยงามบางส่วนบนชุดข้อมูล CelebDF ตารางแสดงสามสถานการณ์: จริงที่ทำความสวยงามเทียบกับปลอมที่ทำความสวยงาม (F-Real vs F-Fake); จริงที่ทำความสวยงามเทียบกับปลอมต้นฉบับ (F-Real vs O-Fake); และจริงต้นฉบับเทียบกับปลอมที่ทำความสวยงาม (O-Real vs F-Fake) โดยการลดลงของความแม่นยำบ่งบอกถึงประสิทธิภาพของตัวตรวจจับที่ลดลง AlexNet ถูกกระทบมากที่สุดเมื่อภาพจริงถูกทำความสวยงาม ในขณะที่ VGG19 มีปัญหามากที่สุดเมื่อการทำความสวยงามถูกนำไปใช้กับภาพปลอม

สำหรับ AlexNet ประสิทธิภาพการตรวจจับลดลงเมื่อภาพจริงถูกทำความสวยงาม แต่เพิ่มขึ้นเมื่อเพียงภาพปลอมเท่านั้นที่ถูกเรียบ ในขณะที่ VGG19 ประสิทธิภาพเพิ่มขึ้นเล็กน้อยเมื่อภาพจริงถูกทำความสวยงามแต่แย่ลงเมื่อดีพเฟกถูกกรอง ในทุกกรณี การทำความสวยงามที่แรงขึ้นทำให้ความแม่นยำลดลง.

กราฟกล่องแสดงการกระจายคะแนนผลลัพธ์ของ AlexNet และ VGG19 บนตัวอย่างจริงและปลอมจากชุดข้อมูล CelebDF ภายใต้ระดับการทำความสวยงามที่เพิ่มขึ้น เมื่อการเรียบหน้ามากขึ้น การกระจายคะแนนของภาพจริงและภาพปลอมจะยากต่อการแยกกันมากขึ้น แสดงถึงความเชื่อถือในการตรวจจับที่ลดลง AlexNet มีความมั่นใจน้อยลงในการระบุหน้าจริง ในขณะที่ VGG19 มีแนวโน้มที่จะจำแนกภาพปลอมผิดพลาดมากขึ้น

กราฟกล่องแสดงการกระจายคะแนนผลลัพธ์ของ AlexNet และ VGG19 บนตัวอย่างจริงและปลอมจากชุดข้อมูล CelebDF ภายใต้ระดับการทำความสวยงามที่เพิ่มขึ้น เมื่อการเรียบหน้ามากขึ้น การกระจายคะแนนของภาพจริงและภาพปลอมจะยากต่อการแยกกันมากขึ้น แสดงถึงความเชื่อถือในการตรวจจับที่ลดลง AlexNet มีความมั่นใจน้อยลงในการระบุหน้าจริง ในขณะที่ VGG19 มีแนวโน้มที่จะจำแนกภาพปลอมผิดพลาดมากขึ้น

การทำความสวยงามทำให้คะแนนผลลัพธ์ของ AlexNet มีความสม่ำเสมอมากขึ้นในทั้งตัวอย่างจริงและปลอม ในขณะที่ VGG19 แสดงการกระจายที่กว้างขึ้นภายในแต่ละคลาส แม้ว่าผลกระทบต่อความแปรผันของคะแนนจะแตกต่างกัน ทั้งสองโมเดลสูญเสียความแม่นยำ สำหรับ AlexNet คะแนนของหน้าจริงเคลื่อนที่เข้าใกล้คะแนนของดีพเฟก สำหรับ VGG19 คะแนนของภาพจริงและปลอมเริ่มทับซ้อนกัน ทำให้โมเดลยากต่อการแยกแยะ

กระดาษระบุว่า:

‘ผลลัพธ์เหล่านี้มีนัยสำคัญและเปิดเผยว่าจำเป็นต้องพิจารณาการใช้ฟิลเตอร์ความสวยงามในการตรวจจับดีพเฟค เนื่องจากอาจส่งผลกระทบที่คาดเดาไม่ได้ต่อประสิทธิภาพ โดยเฉพาะสถาปัตยกรรมต่าง ๆ จะตอบสนองต่อการปรับเปลี่ยนใบหน้าแตกต่างกัน แม้ว่าการปรับเปลี่ยนนั้นไม่ได้มีเจตนาหลอกลวง’

‘เช่น ตัวอย่างหนึ่ง ขึ้นอยู่กับตัวตรวจจับดีพเฟคที่ใช้ ฟิลเตอร์ความสวยงามอาจทำให้ผลลัพธ์เปลี่ยนแปลงอย่างมีนัยสำคัญ ทำให้ภาพจริงถูกระบุว่าเป็นปลอม และที่สำคัญยิ่งกว่านั้น ทำให้ดีพเฟคหลอกลวงการตรวจจับได้’

‘ดังนั้นจึงจำเป็นต้องมุ่งเน้นการพัฒนาตัวตรวจจับที่ทนทานต่อการเปลี่ยนแปลงเล็ก ๆ ที่ไม่ได้มีเจตนามุ่งร้ายเหล่านี้ ซึ่งอาจทำหน้าที่เป็นการปกปิดสำหรับการปรับเปลี่ยนดีพเฟคที่เป็นอันตราย’

ในสถานการณ์การโจมตีแบบมอร์ฟภาพ สร้างภาพสังเคราะห์โดยผสานลักษณะใบหน้าของสองบุคคล ภาพนี้ถูกใช้เพื่อหลอกระบบจดจำใบหน้า ทำให้ทั้งสองอัตลักษณ์ต้นฉบับถูกยืนยันว่าเป็นบุคคลเดียวกัน การโจมตีเช่นนี้ถือว่ามีความสำคัญเป็นพิเศษในสภาพแวดล้อมด้านความปลอดภัย ที่ระบบชีวมิติ อาจถูกหลอก ให้ยอมรับภาพมอร์ฟเป็นการระบุตัวตนอย่างเป็นทางการ

ตารางด้านบนแสดงผลการตรวจจับการโจมตีแบบมอร์ฟบนภาพ AMSL ก่อนและหลังการใช้ฟิลเตอร์ความงาม โดยทั้งสองเครือข่ายแสดงการเพิ่มขึ้นอย่างชันของอัตราความผิดพลาดเมื่อความเข้มของการทำให้เรียบเพิ่มขึ้น。

ตารางด้านบนแสดงผลการตรวจจับการโจมตีแบบมอร์ฟบนภาพ AMSL ก่อนและหลังการใช้ฟิลเตอร์ความสวยงาม โดยทั้งสองเครือข่ายแสดงการเพิ่มขึ้นอย่างชันของอัตราความผิดพลาดเมื่อความเข้มของการทำให้เรียบเพิ่มขึ้น

ในสถานการณ์การโจมตีแบบมอร์ฟ ประสิทธิภาพเสื่อมลงอย่างชัดเจนกว่าการตรวจจับดีพเฟค อัตรา EER ของ AlexNet เพิ่มจาก 27.6% เป็น 41.2% และของ VGG19 จาก 19.0% เป็น 37.3% ส่วนใหญ่เกิดจากผลบวกเท็จ: ใบหน้าจริงถูกจัดประเภทเป็นมอร์ฟ ด้วยรัศมีการทำให้เรียบ 3% อัตราผลบวกเท็จของ VGG19 สูงถึง 90%

รูปแบบนี้ยังคงอยู่เมื่อใช้ฟิลเตอร์แบบเลือกใช้ การทำให้เรียบใบหน้าจริงทำให้การตรวจจับเสื่อมลง ในขณะที่การทำให้เรียบเฉพาะใบหน้ามอร์ฟทำให้ผลลัพธ์ดีขึ้น เมื่อความเข้มของการทำให้เรียบเพิ่มขึ้น ทั้งสองเครือข่ายแสดงการลดลงของการแยกคะแนนระหว่างจริงและปลอม โดย VGG19 มีความไม่เสถียรเป็นพิเศษ

ผลการวิจัยเหล่านี้ ผู้เขียนชี้ให้เห็นว่าฟิลเตอร์ความสวยงามอาจช่วยให้มอร์ฟหลบหลีกการตรวจจับ ได้มีประสิทธิภาพยิ่งกว่าดีพเฟค ซึ่งเป็นความกังวลด้านความปลอดภัยอย่างรุนแรง

ตัวอย่างบางส่วน (เนื่องจากพื้นที่จำกัด) ของการที่การทำให้สวยอย่างน้อยที่สุด (รัศมีการทำให้เรียบ 3%) ทำให้การจำแนกของ AlexNet เปลี่ยนแปลงไป ด้านซ้ายภาพจริงถูกจัดประเภทผิดเป็นการโจมตีหลังจากกรอง และด้านขวาภาพที่มอร์ฟถูกจัดประเภทผิดเป็นของแท้หลังจากกรอง。

ตัวอย่างบางส่วน (เนื่องจากพื้นที่จำกัด) ของการที่การทำให้สวยงามระดับน้อย (รัศมีการทำให้เรียบ 3%) ทำให้การจัดประเภทของ AlexNet เปลี่ยนแปลง โดยด้านซ้ายภาพจริงถูกจัดประเภทเป็นการโจมตีหลังการกรอง และด้านขวาภาพมอร์ฟถูกจัดประเภทเป็นของแท้หลังการกรอง

สุดท้าย นักวิจัยพบว่าถึงแม้ฟิลเตอร์ความสวยงามระดับเบา ๆ ก็สามารถทำให้ประสิทธิภาพของตัวตรวจจับดีพเฟคและมอร์ฟขั้นสูงสุดเสื่อมลงอย่างมีนัยสำคัญ

ผลกระทบแตกต่างตามสถาปัตยกรรม โดย AlexNet แสดงการลดลงอย่างค่อยเป็นค่อยไป ส่วน VGG19 พังทลายเมื่อมีการทำให้สวยงามระดับน้อย เนื่องจากฟิลเตอร์เหล่านี้เป็นที่นิยมและไม่ได้มีเจตนามุ่งร้าย ความสามารถในการปกปิดการโจมตีจึงเป็นภัยคุกคามที่ผู้เขียนชี้ว่าเป็นภัยเชิงปฏิบัติ โดยเฉพาะในระบบชีวมิติ บทความเน้นย้ำความจำเป็นของโมเดลตรวจจับที่ทนทานต่อการปรับเปลี่ยนภาพเล็ก ๆ นี้

สรุป

เหตุผลหนึ่งที่ทำให้การฝึกระบบตรวจจับดีพเฟคที่สามารถละเลยฟิลเตอร์ความสวยงามได้ยาก คือ ขาดข้อมูลเปรียบเทียบ; ในที่สุดเวอร์ชัน ‘ที่ผ่านการสวยงาม’ จะเป็นเวอร์ชันที่แพร่หลายอย่างกว้างขวาง และต่างจากวิดีโอที่เราแทรกไว้ก่อนหน้านี้เป็นภาพประกอบ การมีภาพ ‘ก่อน’ ที่ถูกนำมาใช้จริง ๆ นั้นหายากมาก

อุปสรรคอีกประการคือ ฟิลเตอร์หลายตัวทำการทำให้เรียบที่เหมือนกับการบีบอัดภาพหรือวิดีโอ (ซึ่งเป็นประโยชน์ต่อผู้ให้บริการในด้านแบนด์วิดท์ นอกจากนี้ยังเป็นการทำให้ผิวดิจิทัลใหม่สำหรับผู้ใช้ฟิลเตอร์)

ภาคส่วนการวิจัยการตรวจจับดีพเฟคได้มีส่วนร่วมอย่างลึกซึ้งในการต่อสู้กับการเสื่อมสภาพของภาพในโลกจริงที่เกิดจากกล้องคุณภาพต่ำ การบีบอัดเกินขนาด หรือการเชื่อมต่อเครือข่ายที่ขัดข้อง – สภาพเหล่านี้เป็นประโยชน์โดยตรงต่อผู้หลอกลวงดีพเฟคที่ต้องพยายามอย่างมากขึ้นในสถานการณ์ที่มีคุณภาพและความละเอียดสูง

ว่าฟิลเตอร์ความสวยงามจะกลายเป็นความเสี่ยงด้านความปลอดภัยหรือไม่ ดูเหมือนว่าจะขึ้นอยู่กับระดับที่ฟิลเตอร์เหล่านี้เป็นอุปสรรคต่อวิธีการคัดกรองดีพเฟค หรือกลายเป็น de facto ไฟร์วอลล์ที่ให้ประโยชน์แก่ผู้กระทำความผิดมากกว่าผู้ต่อสู้กับพวกเขา

 

เผยแพร่ครั้งแรกวันพุธที่ 24 กันยายน 2025

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai