มุมมองของ Anderson

การตรวจสอบใบหน้าแบบ ‘สร้างสรรค์’ ด้วยเครือข่ายกำเนิดแบบปฏิปักษ์

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญวิธีการ GAN ของ Stanford หลีกเลี่ยงการตรวจสอบใบหน้าของ Tinder และ Bumble…
ดูเพิ่มเติม
  • วิธีการ GAN ของ Stanford หลีกเลี่ยงการตรวจสอบใบหน้าของ Tinder และ Bumble ด้วยภาพที่สลับเพศ
  • StarGAN V2 สร้างใบหน้าที่หลากหลายและมีคุณภาพสูงกว่าซึ่งผ่านการตรวจสอบในพื้นที่ได้ดีกว่า StyleGAN
  • เทคนิคนี้ฉีดคุณลักษณะประจำตัวเข้าไปในใบหน้าที่ถูกดัดแปลง ทำให้สามารถสร้างตัวตนทางเลือกที่สอดคล้องกันสำหรับระบบยืนยันตัวตน

วิจัยใหม่จากมหาวิทยาลัยสแตนฟอร์ดได้เสนอวิธีการหลอกระบบตรวจสอบใบหน้าในแพลตฟอร์ม เช่น แอปหาคู่ โดยใช้ เครือข่าย Generative Adversarial (GAN) เพื่อสร้างภาพใบหน้าที่มีข้อมูล ID เหมือนกับภาพใบหน้าจริง

วิธีนี้สามารถหลอกระบบตรวจสอบใบหน้าในแอปหาคู่ Tinder และ Bumble ได้สำเร็จ ในหนึ่งกรณีแม้แต่การสร้างภาพใบหน้าที่เปลี่ยนเพศ (ชาย) ที่สามารถผ่านการตรวจสอบใบหน้าได้โดยใช้ข้อมูล ID ของต้นตอ (หญิง)

ภาพใบหน้าที่สร้างขึ้นซึ่งมีคุณสมบัติเฉพาะของต้นตอ (ภาพแรกด้านบน) แหล่งที่มา: https://arxiv.org/pdf/2203.15068.pdf

ภาพใบหน้าที่สร้างขึ้นซึ่งมีคุณสมบัติเฉพาะของต้นตอ (ภาพแรกด้านบน) แหล่งที่มา: https://arxiv.org/pdf/2203.15068.pdf

ตามที่ผู้เขียนวิจัยระบุ ผลงานนี้เป็นความพยายามครั้งแรกในการหลอกระบบตรวจสอบใบหน้าโดยใช้ภาพที่สร้างขึ้นซึ่งมีคุณสมบัติเฉพาะของต้นตอ แต่พยายามสร้างตัวตนใหม่ที่แตกต่าง

เทคนิคนี้ได้รับการทดสอบในระบบตรวจสอบใบหน้าแบบกำหนดเอง และได้ผลลัพธ์ที่ดีในการทดสอบแบบ Black Box กับแอปหาคู่สองตัวที่ทำการตรวจสอบใบหน้าในภาพที่ผู้ใช้อัปโหลด

งานวิจัยใหม่ นี้ มีชื่อเรื่องว่า การหลอกระบบตรวจสอบใบหน้า และมาจาก Sanjana Sarda นักวิจัยจากภาควิชาวิศวกรรมไฟฟ้า มหาวิทยาลัยสแตนฟอร์ด

การควบคุมพื้นที่ใบหน้า

แม้ว่าการ “ฉีด” คุณลักษณะเฉพาะของอัตลักษณ์ (เช่น จากใบหน้าหรือป้ายถนน) ลงในภาพที่สร้างขึ้นจะเป็นวิธีหลักของการโจมตีแบบปฏิปักษ์ แต่งานวิจัยใหม่นี้เสนอสิ่งที่ต่างออกไป นั่นคือความสามารถที่เพิ่มขึ้นของวงการวิจัยในการควบคุมปริภูมิแฝงของ GAN อาจทำให้พัฒนาสถาปัตยกรรมที่สร้างตัวตนทางเลือกของผู้ใช้ได้อย่างสอดคล้องกัน และทำให้สามารถดึงคุณลักษณะอัตลักษณ์จากภาพบนเว็บของผู้ใช้ที่ไม่รู้ตัว เพื่อนำไปใส่ในตัวตน “เงา” ที่สร้างขึ้น

ความสอดคล้องและความสามารถในการนำทางเป็นความท้าทายหลักเกี่ยวกับพื้นที่ Latent ของ GAN ตั้งแต่เริ่มใช้ GAN พื้นที่ Latent ของ GAN ที่ได้รับการฝึกอบรมจากชุดข้อมูลไม่มีแผนที่ที่ชัดเจนในการ “ดัน” คุณสมบัติจากหนึ่งคลาสไปอีกคลาสหนึ่ง

ในขณะที่เทคนิคและเครื่องมือ เช่น Gradient-weighted Class Activation Mapping (Grad-CAM) สามารถช่วยในการสร้าง ทิศทาง Latent ระหว่างคลาสที่กำหนดไว้และทำให้เกิดการเปลี่ยนแปลง (ดูภาพด้านล่าง) ความท้าทายเพิ่มเติมของ การพันกันของคุณลักษณะ มักจะทำให้เกิดการเดินทางที่ “ไม่แน่นอน” โดยมีการควบคุมที่จำกัดในการเปลี่ยนแปลง

การเคลื่อนที่โดยประมาณระหว่างเวกเตอร์ที่เข้ารหัสในปริภูมิแฝงของ GAN โดยผลักอัตลักษณ์ชายที่ได้จากข้อมูลไปยังรหัสหญิงอีกฟากหนึ่งของไฮเปอร์เพลนเชิงเส้นหนึ่งในหลายระนาบ ภายในปริภูมิแฝงอันซับซ้อนและลึกลับ ภาพจากเนื้อหาที่ https://www.youtube.com/watch?v=dCKbRCUyop8

การเคลื่อนที่โดยประมาณระหว่างเวกเตอร์ที่เข้ารหัสในปริภูมิแฝงของ GAN โดยผลักอัตลักษณ์ชายที่ได้จากข้อมูลไปยังรหัสหญิงอีกฟากหนึ่งของไฮเปอร์เพลนเชิงเส้นหนึ่งในหลายระนาบ ภายในปริภูมิแฝงอันซับซ้อนและลึกลับ ภาพจากเนื้อหาที่ https://www.youtube.com/watch?v=dCKbRCUyop8

ความสามารถในการ “ตรึง” และปกป้องคุณลักษณะเฉพาะของอัตลักษณ์ พร้อมเคลื่อนย้ายไปยังรหัสที่แปลงได้ในส่วนอื่นของปริภูมิแฝง อาจทำให้สร้างบุคคลที่มีความสอดคล้องกันและแม้แต่ทำให้เคลื่อนไหวได้ โดยระบบเครื่องจักรอ่านอัตลักษณ์ของบุคคลนั้นว่าเป็นคนอื่น

วิธีการ

ผู้เขียนใช้สองชุดข้อมูลเป็นพื้นฐานสำหรับการทดลอง: ชุดข้อมูลผู้ใช้ของมนุษย์ ซึ่งประกอบด้วย 310 ภาพของใบหน้าของเธอเองในช่วงสี่ปี โดยมีการเปลี่ยนแปลงแสง อายุ และมุมมอง) โดยมีใบหน้าที่ถูกตัดออกโดยใช้ Caffe และชุดข้อมูล FairFace ที่สมดุลทางเชื้อชาติซึ่งมี 108,501 ภาพ โดยมีการตัดและจัดเรียงใบหน้าเหมือนกัน

แบบจำลองการตรวจสอบใบหน้าแบบกำหนดเองได้มาจากการนำแบบจำลองพื้นฐานของ FaceNet และ DeepFace ซึ่งฝึกล่วงหน้าบน ConvNet Inception โดยมีการแสดงภาพแต่ละภาพเป็นเวกเตอร์ขนาด 128 มิติ

แนวทางนี้ใช้ภาพใบหน้าจากชุดข้อมูล FairFace ที่ได้รับการฝึกอบรม ในการผ่านการตรวจสอบใบหน้า ระยะห่างที่คำนวณด้วยนอร์ม Frobenius ของภาพจะถูกนำไปเปรียบเทียบกับผู้ใช้เป้าหมายในฐานข้อมูล หากภาพใดๆ มีระยะห่างต่ำกว่า 0.7 จะถือว่าเป็นตัวตนเดียวกัน มิฉะนั้นจะถือว่าการตรวจสอบล้มเหลว

แบบจำลอง StyleGAN ได้รับการปรับละเอียดบนชุดข้อมูลส่วนบุคคลของผู้เขียน โดยสร้างแบบจำลองที่สามารถสร้างภาพใบหน้าที่แตกต่างกันของต้นตอได้ แต่ไม่มีภาพใดที่เหมือนกับข้อมูลฝึกอบรม ซึ่งทำได้โดยตรึงสี่ชั้นแรกของตัวแยกแยะเพื่อหลีกเลี่ยงการ overfitting ของข้อมูลและสร้างผลลัพธ์ที่หลากหลาย

แม้แบบจำลอง StyleGAN พื้นฐานจะสร้างภาพได้หลากหลาย แต่ความละเอียดและความเที่ยงตรงของภาพที่ต่ำทำให้นักวิจัยทดลองอีกครั้งด้วย StarGAN V2 ซึ่งช่วยฝึกภาพเริ่มต้นให้ไปสู่ใบหน้าเป้าหมายได้

แบบจำลอง StarGAN V2 ได้รับการฝึกล่วงหน้าประมาณ 10 ชั่วโมงด้วยชุดตรวจสอบความถูกต้องของ FairFace โดยใช้ขนาดแบตช์สี่และขนาดการตรวจสอบแปด ในแนวทางที่ได้ผลดีที่สุด ชุดข้อมูลส่วนตัวของผู้เขียนถูกใช้เป็นต้นทาง และใช้ข้อมูลฝึกเป็นข้อมูลอ้างอิง

การทดลองการตรวจสอบ

แบบจำลองการตรวจสอบใบหน้าได้รับการสร้างขึ้นโดยใช้ชุดข้อมูลย่อยที่มี 1000 ภาพ โดยมีจุดมุ่งหมายเพื่อตรวจสอบภาพใดๆ ในชุดนั้น ภาพที่ผ่านการตรวจสอบได้สำเร็จจะถูกทดสอบต่อไปกับต้นตอของผู้เขียน

ด้านซ้าย ผู้เขียนวิจัย ภาพจริง; กลาง ภาพใดๆ ที่ล้มเหลวในการตรวจสอบ; ขวา ภาพที่ไม่เกี่ยวข้องจากชุดข้อมูลที่ผ่านการตรวจสอบเป็นต้นตอ

ด้านซ้าย ผู้เขียนวิจัย ภาพจริง; กลาง ภาพใดๆ ที่ล้มเหลวในการตรวจสอบ; ขวา ภาพที่ไม่เกี่ยวข้องจากชุดข้อมูลที่ผ่านการตรวจสอบเป็นต้นตอ

จุดมุ่งหมายของการทดลองคือการสร้างช่องว่างที่กว้างที่สุดเท่าที่จะเป็นไปได้ระหว่างตัวตนภาพที่รับรู้ได้ ในขณะที่ยังคงรักษาคุณสมบัติที่กำหนดของต้นตอไว้ ซึ่งได้รับการประเมินโดยใช้ ระยะห่าง Mahalanobis ซึ่งเป็นมาตรการที่ใช้ในการประมวลผลภาพสำหรับการค้นหาลวดลายและเทมเพลต

สำหรับแบบจำลองกำเนิดพื้นฐาน ผลลัพธ์ความละเอียดต่ำมีความหลากหลายจำกัด แม้จะผ่านการตรวจสอบใบหน้าในระบบภายในแล้ว StarGAN V2 สามารถสร้างภาพที่หลากหลายและผ่านการยืนยันตัวตนได้ดีกว่า

ภาพทั้งหมดผ่านการตรวจสอบใบหน้าในระบบภายใน ด้านบนเป็นภาพที่สร้างด้วย StyleGAN พื้นฐานที่มีความละเอียดต่ำ ส่วนด้านล่างเป็นภาพจาก StarGAN V2 ที่มีความละเอียดและคุณภาพสูงกว่า

ภาพทั้งหมดผ่านการตรวจสอบใบหน้าในระบบภายใน ด้านบนเป็นภาพที่สร้างด้วย StyleGAN พื้นฐานที่มีความละเอียดต่ำ ส่วนด้านล่างเป็นภาพจาก StarGAN V2 ที่มีความละเอียดและคุณภาพสูงกว่า

ภาพสามภาพสุดท้ายข้างต้นใช้ชุดข้อมูลใบหน้าของผู้เขียนเองทั้งเป็นต้นทางและข้อมูลอ้างอิง ส่วนภาพก่อนหน้าใช้ข้อมูลฝึกเป็นข้อมูลอ้างอิง และใช้ชุดข้อมูลของผู้เขียนเป็นต้นทาง

ภาพที่สร้างขึ้นถูกทดสอบกับระบบตรวจสอบใบหน้าของแอปหาคู่ Bumble และ Tinder โดยใช้อัตลักษณ์ของผู้เขียนเป็นเกณฑ์พื้นฐาน และผ่านการตรวจสอบ ภาพใบหน้าของผู้เขียนในเวอร์ชันชายยังผ่านการตรวจสอบของ Bumble แต่ต้องปรับแสงในภาพที่สร้างขึ้นก่อนจึงจะได้รับการยอมรับ ส่วน Tinder ไม่ยอมรับเวอร์ชันชาย

อัตลักษณ์ของผู้เขียนที่เป็นผู้หญิงในเวอร์ชันที่เปลี่ยนเป็นผู้ชาย

อัตลักษณ์ของผู้เขียนที่เป็นผู้หญิงในเวอร์ชันที่เปลี่ยนเป็นผู้ชาย

สรุป

การทดลองเหล่านี้เป็นการทดลองที่สำคัญในเรื่องการฉายภาพตัวตน ในบริบทของการควบคุมพื้นที่ Latent ของ GAN ซึ่งเป็นความท้าทายที่น่าเหลือเชื่อในการสังเคราะห์ภาพและวิจัย Deepfake อย่างไรก็ตาม ผลงานนี้เปิดโอกาสให้เกิดแนวคิดในการฝังคุณสมบัติที่เฉพาะเจาะจงไว้อย่างต่อเนื่องในตัวตนหลากหลาย และการสร้างตัวตน “ทางเลือก” ที่สามารถอ่านได้ว่าเป็นคนอื่น

 

เผยแพร่ครั้งแรกเมื่อวันที่ 30 มีนาคม 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai