GOTCHA– ระบบ CAPTCHA สำหรับ Deepfakes แบบเรียลไทม์

การวิจัยใหม่จากมหาวิทยาลัยนิวยอร์กบ่งชี้ว่าเราอาจต้องผ่านการทดสอบ ‘deepfake’ เพื่อยืนยันตัวตน ourselves ก่อนที่จะเริ่มการโทรวิดีโอแบบละเอียด เช่น การประชุมวิดีโอที่เกี่ยวข้องกับการทำงาน หรือสถานการณ์อื่นๆ ที่อาจมีการฉ้อโกงโดยใช้ซอฟต์แวร์สตรีมมิ่ง deepfake แบบเรียลไทม์

ตัวอย่างความท้าทายที่ใช้ในการทดสอบ GOTCHA Source: http://export.arxiv.org/pdf/2210.06186

ระบบที่เสนอชื่อว่า GOTCHA – เป็นการยกย่องระบบ CAPTCHA ที่ได้กลายเป็นอุปสรรคต่อการบราวซ์เว็บในช่วง 10-15 ปีที่ผ่านมา โดยระบบอัตโนมัติจะขอให้ผู้ใช้ทำงานที่เครื่องจักรทำได้ยาก เช่น การระบุสัตว์หรือการอ่านข้อความที่บิดเบือน (และในทางกลับกัน ความท้าทายเหล่านี้มักจะเปลี่ยนผู้ใช้ให้เป็นคนงานอิสระที่ไม่ได้รับค่าจ้าง)

โดยหลักการแล้ว GOTCHA ขยายผลงานของกระดาษในเดือนสิงหาคม 2022 DF-Captcha จากมหาวิทยาลัย Ben-Gurion ซึ่งเป็นกระดาษแรกที่เสนอให้บุคคลที่อยู่ปลายทางของการโทรต้องผ่านความท้าทายบางอย่างเพื่อแสดงความถูกต้อง

กระดาษในเดือนสิงหาคม 2022 จากมหาวิทยาลัย Ben Gurion เสนอการทดสอบแบบโต้ตอบสำหรับผู้ใช้ รวมถึงการบดบังใบหน้าหรือการกดหน้าผาก – งานที่ระบบ deepfake ที่ได้รับการฝึกฝนอย่างดีอาจไม่ได้คาดการณ์หรือสามารถจัดการได้อย่างถูกต้อง Source: https://arxiv.org/pdf/2208.08524.pdf

นอกจากนี้ GOTCHA ยังเพิ่มวิธีการ ‘passive’ เข้าไปในลำดับการทดสอบ รวมถึงการซ้อนทับองค์ประกอบที่ไม่จริงเหนือใบหน้าผู้ใช้ และการ ‘overload’ เฟรมที่ผ่านระบบต้นกำเนิด

การแสดงภาพการโต้ตอบระหว่างผู้เรียกและระบบใน GOTCHA

นักวิจัยได้ทดสอบระบบนี้กับชุดข้อมูลใหม่ที่มีเฟรมวิดีโอมากกว่า 2.5 ล้านเฟรมจากผู้เข้าร่วม 47 คน ซึ่งผ่านการทดสอบ 13 ครั้งจาก GOTCHA

ความท้าทายหลายรูปแบบ

โดยหลักการแล้ว ความท้าทายที่ผู้ใช้ต้องเผชิญถูกแบ่งออกเป็นหลายประเภท

สำหรับการบดบัง ผู้ใช้ต้องบดบังใบหน้าด้วยมือหรือวัตถุอื่นๆ หรือแสดงใบหน้าในมุมที่ไม่น่าจะได้รับการฝึกฝนในโมเดล deepfake

นอกเหนือจากการที่ผู้ใช้สามารถทำได้ตามคำแนะนำ GOTCHA สามารถซ้อนทับใบหน้าแบบสุ่มได้ รวมถึงสติกเกอร์และฟิลเตอร์ความเป็นจริงเสมือนที่จะ ‘ทำลาย’ สตรีมใบหน้าที่โมเดล deepfake ที่ได้รับการฝึกฝนอย่างดีอาจคาดหวัง

ต่อไป ผู้ใช้อาจถูกขอให้แสดงใบหน้าในน้ำเสียงที่ไม่ธรรมดา ซึ่งมักจะไม่มีอยู่หรือมีจำนวนไม่เพียงพอในเซตข้อมูลฝึก

ในฐานะส่วนหนึ่งของการทดสอบนี้ ผู้ใช้อาจถูกขอให้อ่านข้อความหรือพูดคุยที่ออกแบบมาเพื่อท้าทายระบบ deepfake ที่มีชีวิต

สุดท้าย (และดูเหมือนว่าจะท้าทายทักษะการแสดงของคนรับ) ในประเภทนี้ ผู้ใช้อาจถูกขอให้แสดง ‘micro-expression’ – น้ำเสียงที่สั้นและไม่สมัครใจที่แสดงถึงอารมณ์

กระดาษไม่ได้อธิบายวิธีการดึง micro-expression ออกมา แต่ด้วยตรรกะแล้ว วิธีเดียวที่จะทำได้คือการสร้างอารมณ์ที่เหมาะสมในผู้ใช้ปลายทาง อาจเป็นเนื้อหาที่น่าประหลาดใจที่นำเสนอให้กับพวกเขาในระหว่างการทดสอบ

การบิดเบือนใบหน้า แสง และแขกที่ไม่คาดคิด

นอกจากนี้ ตามคำแนะนำจากกระดาษในเดือนสิงหาคม ใหม่นี้ยังเสนอให้ผู้ใช้ทำการบิดเบือนใบหน้าและจัดการที่ไม่ธรรมดา เช่น การกดนิ้วเข้าไปในแก้ม การโต้ตอบกับใบหน้าและ/หรือเส้นผม และการเคลื่อนไหวอื่นๆ ที่ระบบ deepfake ที่มีชีวิตไม่น่าจะสามารถจัดการได้ดี

รอยยิ้ม แต่ ‘ใบหน้าที่ซบเซา’ นี้ไม่ได้ถูกแปลเป็นระบบ deepfake ที่มีชีวิตอย่างถูกต้อง

ความท้าทายเพิ่มเติมอยู่ที่การเปลี่ยนแปลงสภาพการให้แสงสว่างที่ผู้ใช้อยู่ ซึ่งอาจเป็นไปได้ว่าการฝึกโมเดล deepfake ได้รับการปรับให้เหมาะสมกับสภาพการให้แสงสว่างมาตรฐานหรือแม้แต่สภาพการให้แสงสว่างที่แน่นอนในระหว่างการโทร

ดังนั้นผู้ใช้อาจถูกขอให้ใช้โทรศัพท์มือถือของตนเพื่อจุดไฟบนใบหน้าหรือเปลี่ยนสภาพการให้แสงสว่างในบางวิธี (และคุ้มค่าที่จะทราบว่าวิธีนี้เป็นข้อเสนอหลักของ กระดาษอื่นเกี่ยวกับการตรวจจับ deepfake ที่เผยแพร่ในช่วงฤดูร้อน)

ระบบ deepfake ที่มีชีวิตถูกท้าทายด้วยแสงสว่างที่ไม่คาดคิด – และแม้แต่คนหลายคนในกระแสที่คาดว่าจะมีคนเดียว

ในกรณีที่ระบบที่เสนอสามารถแทรกแซงกระแสของผู้ใช้ได้ (ซึ่งสงสัยว่ามี deepfake ระหว่างกลาง) การเพิ่มรูปแบบที่ไม่คาดคิด (ดูคอลัมน์กลางในภาพด้านบน) สามารถบ่อนทำลายความสามารถของอัลกอริทึม deepfake ในการรักษาสมมติฐาน

นอกจากนี้ แม้ว่าจะไม่สมเหตุสมผลที่จะคาดหวังให้ผู้สื่อข่าวมีคนอื่นอยู่ในมือเพื่อช่วยยืนยันตัวตน ระบบสามารถแทรกแซงใบหน้าเพิ่มเติม (รูปภาพด้านขวาสุด) และดูว่าระบบ deepfake ใดๆ ทำผิดพลาดในการเปลี่ยนความสนใจ – หรือแม้แต่พยายามที่จะ deepfake ทั้งหมด (ระบบ deepfake แบบอัตโนมัติไม่มีความสามารถในการรับรู้ตัวตนซึ่งสามารถรักษาความสนใจไว้ที่บุคคลหนึ่งได้)

สเตกาโนกราฟีและโอเวอร์โหลด

GOTCHA ยังรวมถึงแนวทาง ที่เสนอ โดย UC San Diego ในเดือนเมษายน ซึ่งใช้สเตกาโนกราฟีในการเข้ารหัสข้อความลงในกระแสวิดีโอของผู้ใช้ ระบบ deepfake จะทำลายข้อความนี้อย่างสมบูรณ์ ทำให้เกิดความล้มเหลวในการตรวจสอบสิทธิ์

จากกระดาษในเดือนเมษายน 2022 จากมหาวิทยาลัยแคลิฟอร์เนียซานดิเอโก และมหาวิทยาลัยซานดิเอโกステต วิธีการกำหนดตัวตนโดยการตรวจสอบว่าสัญญาณสเตกาโนกราฟฟิกที่ส่งเข้าไปในกระแสวิดีโอยังคงอยู่หรือไม่ – หากไม่ deepfake อาจมีการหลอกลวง Source: https://arxiv.org/pdf/2204.01960.pdf

นอกจากนี้ GOTCHA ยังมีความสามารถในการโอเวอร์โหลดระบบท้องถิ่น (โดยมีการเข้าถึงและอนุญาต) โดยการคัดลอกกระแสและนำเสนอ ‘ข้อมูลมากเกินไป’ ให้กับระบบท้องถิ่น ซึ่งออกแบบมาเพื่อทำให้เกิดความล้มเหลวในการทำซ้ำในระบบ deepfake ท้องถิ่น

ระบบนี้มีการทดสอบเพิ่มเติม (ดูกระดาษสำหรับรายละเอียด) รวมถึงการทดสอบที่ผู้ใช้จะต้องพลิกโทรศัพท์ไปข้างหลัง ซึ่งจะบิดเบือนระบบ deepfake ท้องถิ่น

ความเป็นไปได้

กระดาษสัมผัสถึงขอบเขตที่การทดสอบประเภทนี้อาจทำให้ผู้ใช้ปลายทางรู้สึกไม่สบายใจหรือไม่สะดวกสบาย เช่น การต้องมีวัตถุหลายอย่างที่อาจจำเป็นสำหรับการทดสอบ

นอกจากนี้ยังยอมรับว่าอาจเป็นเรื่องที่ยากที่จะทำให้ผู้สื่อข่าวที่มีอำนาจตกลงที่จะทำการทดสอบเหล่านี้ ในกรณีของการโทรวิดีโอกับซีอีโอ ผู้เขียนระบุ:

‘ความใช้งานอาจเป็นกุญแจสำคัญที่นี่ ดังนั้นความท้าทายที่ไม่เป็นทางการหรือไม่จริงจัง (เช่น การบิดเบือนใบหน้าหรือน้ำเสียง) อาจไม่เหมาะสม ความท้าทายที่ใช้บทความภายนอกอาจไม่พึงประสงค์ สภาพแวดล้อมที่นี่ได้รับการดัดแปลงและ GOTCHA ปรับชุดความท้าทายของมันตามนั้น’

ข้อมูลและการทดสอบ

GOTCHA ถูกทดสอบกับระบบ deepfake ท้องถิ่นสี่ระบบ รวมถึงสองรูปแบบของเครื่องมือสร้าง deepfake อัตโนมัติที่ได้รับความนิยม DeepFaceLab (‘DFL’)

ระบบเหล่านี้คือ DFL ที่ได้รับการฝึกฝน ‘เบา’ บนบุคคลที่ไม่ชื่อเสียงที่เข้าร่วมการทดสอบ และ DFL ที่ได้รับการฝึกฝนอย่างเต็มที่

สำหรับข้อมูล นักวิจัยได้บันทึกและปรับแต่งคลิปวิดีโอที่มีเฟรมมากกว่า 2.5 ล้านเฟรมจากผู้เข้าร่วม 47 คน ซึ่งผ่านการทดสอบ 13 ครั้งจาก GOTCHA

การตรวจจับความผิดปกติสามารถทำได้โดยผู้สังเกตหรืออัลกอริทึม สำหรับตัวเลือกหลัง ระบบได้รับการฝึกฝนบนใบหน้า 600 ใบจากชุดข้อมูล FaceForensics

ผลลัพธ์หลักจากการทดสอบ GOTCHA

นักวิจัยพบว่าสำหรับการทดสอบทั้งหมดที่ผ่านระบบสี่ระบบ จำนวนและความรุนแรงของความผิดปกติ (เช่น อาร์ติแฟคที่จะแสดงถึงการมีอยู่ของระบบ deepfake) ต่ำที่สุดได้รับจาก DFL ที่ได้รับการฝึกฝนอย่างเต็มที่

ระบบ DFL ที่ได้รับการฝึกฝน ‘เบา’ ต่อสู้เพื่อสร้างการเคลื่อนไหวของ губที่ซับซ้อน (ซึ่งใช้พื้นที่เฟรมน้อยมาก แต่ได้รับความสนใจจากมนุษย์สูง) ในขณะที่ FSGAN อยู่ตรงกลางระหว่างสองรุ่น DFL และ LIA พิสูจน์ให้เห็นว่าไม่เพียงพอสำหรับงานนี้ โดยนักวิจัยระบุว่า LIA จะล้มเหลวในการใช้งานจริง

เผยแพร่ครั้งแรกเมื่อวันที่ 17 ตุลาคม 2022