มุมมองของ Anderson
‘สร้างสรรค์’ ตรวจสอบใบหน้าด้วยเครือข่าย Generative Adversarial
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
วิจัยใหม่จากมหาวิทยาลัยสแตนฟอร์ดได้เสนอวิธีการหลอกระบบตรวจสอบใบหน้าในแพลตฟอร์ม เช่น แอปหาคู่ โดยใช้ เครือข่าย Generative Adversarial (GAN) เพื่อสร้างภาพใบหน้าที่มีข้อมูล ID เหมือนกับภาพใบหน้าจริง
วิธีนี้สามารถหลอกระบบตรวจสอบใบหน้าในแอปหาคู่ Tinder และ Bumble ได้สำเร็จ ในหนึ่งกรณีแม้แต่การสร้างภาพใบหน้าที่เปลี่ยนเพศ (ชาย) ที่สามารถผ่านการตรวจสอบใบหน้าได้โดยใช้ข้อมูล ID ของต้นตอ (หญิง)
ภาพใบหน้าที่สร้างขึ้นซึ่งมีคุณสมบัติเฉพาะของต้นตอ (ภาพแรกด้านบน) แหล่งที่มา: https://arxiv.org/pdf/2203.15068.pdf[/em>
ตามที่ผู้เขียนวิจัยระบุ ผลงานนี้เป็นความพยายามครั้งแรกในการหลอกระบบตรวจสอบใบหน้าโดยใช้ภาพที่สร้างขึ้นซึ่งมีคุณสมบัติเฉพาะของต้นตอ แต่พยายามสร้างตัวตนใหม่ที่แตกต่าง
เทคนิคนี้ได้รับการทดสอบในระบบตรวจสอบใบหน้าแบบกำหนดเอง และได้ผลลัพธ์ที่ดีในการทดสอบแบบ Black Box กับแอปหาคู่สองตัวที่ทำการตรวจสอบใบหน้าในภาพที่ผู้ใช้อัปโหลด
งานวิจัยใหม่ นี้ มีชื่อเรื่องว่า การหลอกระบบตรวจสอบใบหน้า และมาจาก Sanjana Sarda นักวิจัยจากภาควิชาวิศวกรรมไฟฟ้า มหาวิทยาลัยสแตนฟอร์ด
การควบคุมพื้นที่ใบหน้า
แม้ว่าการ.inject คุณสมบัติเฉพาะของต้นตอ (เช่น ใบหน้า ป้ายถนน ฯลฯ) ลงในภาพที่สร้างขึ้นจะเป็นเทคนิคทั่วไปในการโจมตีแบบ Adversarial แต่ผลงานวิจัยใหม่นี้ชี้ให้เห็นว่ามีอะไรที่แตกต่าง: ความสามารถที่เพิ่มขึ้นของภาควิจัยในการ ควบคุม พื้นที่ Latent ของ GAN จะทำให้เกิดการสร้างตัวตนใหม่ที่สอดคล้องกันซึ่งสามารถอ่านได้ว่าเป็นคนอื่น
ความสอดคล้องและความสามารถในการนำทางเป็นความท้าทายหลักเกี่ยวกับพื้นที่ Latent ของ GAN ตั้งแต่เริ่มใช้ GAN พื้นที่ Latent ของ GAN ที่ได้รับการฝึกอบรมจากชุดข้อมูลไม่มีแผนที่ที่ชัดเจนในการ “ดัน” คุณสมบัติจากหนึ่งคลาสไปอีกคลาสหนึ่ง
ในขณะที่เทคนิคและเครื่องมือ เช่น Gradient-weighted Class Activation Mapping (Grad-CAM) สามารถช่วยในการสร้าง ทิศทาง Latent ระหว่างคลาสที่กำหนดไว้และทำให้เกิดการเปลี่ยนแปลง (ดูภาพด้านล่าง) ความท้าทายเพิ่มเติมของ การแยกส่วน มักจะทำให้เกิดการเดินทางที่ “ไม่แน่นอน” โดยมีการควบคุมที่จำกัดในการเปลี่ยนแปลง
การเดินทางที่ไม่แน่นอนระหว่างเวกเตอร์ที่เข้ารหัสในพื้นที่ Latent ของ GAN การดันเวกเตอร์ชายที่ได้มาจากข้อมูลไปสู่เวกเตอร์หญิงบนอีกฝั่งของไฮเปอร์เพลนที่ซับซ้อนในพื้นที่ Latent ที่ซับซ้อนและลึกลับ
วิธีการ
ผู้เขียนใช้สองชุดข้อมูลเป็นพื้นฐานสำหรับการทดลอง: ชุดข้อมูลผู้ใช้ของมนุษย์ ซึ่งประกอบด้วย 310 ภาพของใบหน้าของเธอเองในช่วงสี่ปี โดยมีการเปลี่ยนแปลงแสง สภาพแวดล้อม และมุมมอง) โดยมีใบหน้าที่ถูกตัดออกโดยใช้ Caffe และชุดข้อมูล FairFace ที่สมดุลทางเชื้อชาติซึ่งมี 108,501 ภาพ โดยมีการตัดและจัดเรียงใบหน้าเหมือนกัน
แบบจำลองการตรวจสอบใบหน้าแบบกำหนดเองได้มาจากการนำแบบจำลอง FaceNet และ DeepFace มาใช้ โดยมีการฝึกอบรมก่อนบน ConvNet Inception โดยมีการแสดงภาพแต่ละภาพเป็นเวกเตอร์ขนาด 128 มิติ
แนวทางนี้ใช้ภาพใบหน้าจากชุดข้อมูล FairFace ที่ได้รับการฝึกอบรม ในการผ่านการตรวจสอบใบหน้า ระยะห่างที่คำนวณจาก Frobenius norm ของภาพจะถูกตั้งค่าให้เท่ากับระยะห่างระหว่างภาพและต้นตอในฐานข้อมูล หากภาพใดๆ มีระยะห่างต่ำกว่า 0.7 จะถือว่าเป็นตัวตนเดียวกัน หากไม่ผ่านการตรวจสอบจะถือว่าล้มเหลว
แบบจำลอง StyleGAN ได้รับการฝึกอบรมบนชุดข้อมูลส่วนบุคคลของผู้เขียน โดยสร้างแบบจำลองที่สามารถสร้างภาพใบหน้าที่แตกต่างกันของต้นตอได้ แต่ไม่มีภาพใดที่เหมือนกับข้อมูลฝึกอบรม ซึ่งทำได้โดยการ การหยุดชั่วคราว ของชั้นแรกสี่ชั้นในตัวจำแนกเพื่อหลีกเลี่ยงการ overfitting ของข้อมูลและสร้างผลลัพธ์ที่หลากหลาย
การทดลองการตรวจสอบ
แบบจำลองการตรวจสอบใบหน้าได้รับการสร้างขึ้นโดยใช้ชุดข้อมูลย่อยที่มี 1000 ภาพ โดยมีจุดมุ่งหมายเพื่อตรวจสอบภาพใดๆ ในชุดนั้น ภาพที่ผ่านการตรวจสอบได้สำเร็จจะถูกทดสอบต่อไปกับต้นตอของผู้เขียน
ด้านซ้าย ผู้เขียนวิจัย ภาพจริง; กลาง ภาพใดๆ ที่ล้มเหลวในการตรวจสอบ; ขวา ภาพที่ไม่เกี่ยวข้องจากชุดข้อมูลที่ผ่านการตรวจสอบเป็นต้นตอ[/em>
จุดมุ่งหมายของการทดลองคือการสร้างช่องว่างที่กว้างที่สุดเท่าที่จะเป็นไปได้ระหว่างตัวตนภาพที่รับรู้ได้ ในขณะที่ยังคงรักษาคุณสมบัติที่กำหนดของต้นตอไว้ ซึ่งได้รับการประเมินโดยใช้ ระยะห่าง Mahalanobis ซึ่งเป็นมาตรการที่ใช้ในการประมวลผลภาพสำหรับการค้นหาลวดลายและเทมเพลต
สรุป
การทดลองเหล่านี้เป็นการทดลองที่สำคัญในเรื่องการฉายภาพตัวตน ในบริบทของการควบคุมพื้นที่ Latent ของ GAN ซึ่งเป็นความท้าทายที่น่าเหลือเชื่อในการสังเคราะห์ภาพและวิจัย Deepfake อย่างไรก็ตาม ผลงานนี้เปิดโอกาสให้เกิดแนวคิดในการฝังคุณสมบัติที่เฉพาะเจาะจงไว้อย่างต่อเนื่องในตัวตนหลากหลาย และการสร้างตัวตน “ทางเลือก” ที่สามารถอ่านได้ว่าเป็นคนอื่น
การควบคุมพื้นที่ใบหน้า ซึ่งเป็นความท้าทายที่ยังคงอยู่ในการสังเคราะห์ภาพและวิจัย Deepfake
เผยแพร่ครั้งแรกเมื่อวันที่ 30 มีนาคม 2022
