DeepFace สำหรับการรับรู้ใบหน้าที่เกิดก้าวหน้า

การรับรู้ใบหน้าเป็นสาขาที่ได้รับความนิยมใน AI และ ML มาหลายปีแล้ว และผลกระทบทางวัฒนธรรมและสังคมของการรับรู้ใบหน้าเป็นเรื่องที่มีผลกระทบอย่างกว้างขวาง อย่างไรก็ตาม ยังมีช่องว่างในการทำงานระหว่างระบบการมองเห็นของมนุษย์และเครื่องจักรที่จำกัดการประยุกต์ใช้ของการรับรู้ใบหน้า

เพื่อแก้ไขปัญหาช่องว่างนี้และให้ความแม่นยำระดับมนุษย์ Meta ได้แนะนำ DeepFace ซึ่งเป็นเฟรมเวิร์กการรับรู้ใบหน้า โมเดล DeepFace ได้รับการฝึกฝนจากชุดข้อมูลใบหน้าที่มีขนาดใหญ่ซึ่งแตกต่างจากชุดข้อมูลที่ใช้ในการสร้างมาตรฐานการประเมิน และมีศักยภาพในการทำงานได้ดีกว่าเฟรมเวิร์กที่มีอยู่โดยมีการปรับเปลี่ยนเพียงเล็กน้อย นอกจากนี้ เฟรมเวิร์ก DeepFace ยังผลิตการแสดงใบหน้าที่กะทัดรัดเมื่อเทียบกับระบบอื่นๆ ที่ผลิตคุณลักษณะการแสดงใบหน้าหลายพันรายการ

เฟรมเวิร์ก DeepFace ที่เสนอใช้ Deep Learning เพื่อฝึกฝนจากชุดข้อมูลขนาดใหญ่ที่ประกอบด้วยรูปแบบข้อมูลต่างๆ รวมถึงรูปภาพ วิดีโอ และกราฟิก โครงสร้างเครือข่าย DeepFace สมมติว่าเมื่อการจัดตำแหน่งเสร็จสิ้น ตำแหน่งของทุกภูมิภาคใบหน้าจะถูกกำหนดไว้ที่ระดับพิกเซล ดังนั้นจึงสามารถใช้ค่า RGB ของพิกเซลโดยไม่ต้องใช้หลายชั้นการกรอง

การทำงานของเฟรมเวิร์กการรับรู้ใบหน้าสมัยใหม่ประกอบด้วยสี่ขั้นตอน ได้แก่ การตรวจจับ การจัดตำแหน่ง การแสดงผล และการจำแนกประเภท เฟรมเวิร์ก DeepFace ใช้การสร้างแบบจำลองใบหน้า 3 มิติอย่างชัดเจนเพื่อใช้การเปลี่ยนแปลงที่ประกอบด้วยชิ้นส่วน และใช้เครือข่ายประสาทเทียมที่มี 9 ชั้นเพื่อสร้างการแสดงใบหน้า เฟรมเวิร์ก DeepFace พยายามที่จะสร้างการมีส่วนร่วมต่อไปนี้

1. พัฒนาโครงสร้าง DNN หรือเครือข่ายประสาทเทียมที่มีประสิทธิภาพซึ่งสามารถใช้ประโยชน์จากชุดข้อมูลขนาดใหญ่เพื่อสร้างการแสดงใบหน้าที่สามารถนำไปใช้กับชุดข้อมูลอื่นๆ ได้
2. ใช้การสร้างแบบจำลอง 3 มิติอย่างชัดเจนเพื่อพัฒนาการจัดตำแหน่งใบหน้าที่มีประสิทธิภาพ

การทำความเข้าใจการทำงานของโมเดล DeepFace

การจัดตำแหน่งใบหน้า

การจัดตำแหน่งใบหน้าเป็นเทคนิคที่หมุนภาพของบุคคลตามมุมของดวงตา การจัดตำแหน่งใบหน้าเป็นแนวปฏิบัติที่ได้รับความนิยมในการประมวลผลข้อมูลสำหรับการรับรู้ใบหน้า และชุดข้อมูลใบหน้าที่จัดตำแหน่งแล้วช่วยให้การทำงานของอัลกอริทึมการรับรู้ใบหน้าแม่นยำขึ้นโดยให้ข้อมูลเข้าที่ปกติ อย่างไรก็ตาม การจัดตำแหน่งใบหน้าในลักษณะที่ไม่มีข้อจำกัดอาจเป็นงานที่ท้าทายเนื่องจากปัจจัยหลายประการ เช่น การแสดงออกที่ไม่แข็งแกร่ง การวางตัว และอื่นๆ

แม้ว่าการจัดตำแหน่งจะเป็นวิธีที่ได้รับความนิยมในการจัดการกับการยืนยันใบหน้าและรับรู้ใบหน้าในลักษณะที่ไม่มีข้อจำกัด แต่ก็ยังไม่มีวิธีแก้ปัญหาที่สมบูรณ์แบบในขณะนี้ โมเดล 3 มิติยังถูกใช้ แต่ความนิยมของมันลดลงอย่างมากในช่วงหลายปีที่ผ่านมา โดยเฉพาะอย่างยิ่งเมื่อทำงานในลักษณะที่ไม่มีข้อจำกัด อย่างไรก็ตาม เนื่องจากใบหน้ามนุษย์เป็นวัตถุ 3 มิติ จึงอาจเป็นแนวทางที่ถูกต้องหากใช้อย่างถูกต้อง โมเดล DeepFace ใช้ระบบที่ใช้จุดอ้างอิงเพื่อสร้างแบบจำลองใบหน้า 3 มิติอย่างชัดเจน

นอกจากนี้ เช่นเดียวกับการจัดตำแหน่งส่วนใหญ่ การจัดตำแหน่ง DeepFace ยังใช้ตัวตรวจจับจุดอ้างอิงเพื่อชี้นำกระบวนการจัดตำแหน่ง แม้ว่าโมเดล DeepFace จะใช้ตัวตรวจจับจุดที่เรียบง่าย แต่ก็ใช้มันหลายครั้งเพื่อปรับปรุงผลลัพธ์ ตัวถอดรหัสจุดอ้างอิงที่ได้รับการฝึกฝนเพื่อสร้างความลำเอียงในการกำหนดค่าจุดอ้างอิงจะถูกดึงออกมาจากตัวอธิบายภาพที่แต่ละครั้ง การอธิบายภาพของ DeepFace ขึ้นอยู่กับฮิสโตแกรม LBP แม้ว่าจะพิจารณาคุณลักษณะอื่นๆ ด้วย

การจัดตำแหน่ง 2 มิติ

โมเดล DeepFace เริ่มต้นกระบวนการจัดตำแหน่งโดยการตรวจจับ 6 จุดอ้างอิงภายในพื้นที่ตรวจจับ ซึ่งมีศูนย์กลางอยู่ที่ตรงกลางของดวงตา ปาก และปลายจมูก จุดอ้างอิงเหล่านี้ใช้ในการหมุน การปรับขนาด และการแปลภาพเข้าไปใน 6 ตำแหน่งยึด และทำซ้ำบนภาพที่ถูกบิดเบือนจนกว่าจะไม่มีการเปลี่ยนแปลงที่เห็นได้ชัดเจน การเปลี่ยนแปลงที่รวมกันจะสร้างการวางแนว 2 มิติ

การจัดตำแหน่ง 3 มิติ

เพื่อจัดตำแหน่งใบหน้าที่มีการหมุนออกจากระนาบ โมเดล DeepFace ใช้แบบจำลองรูปร่าง 3 มิติแบบทั่วไป และลงทะเบียนกล้อง 3 มิติที่สามารถใช้เพื่อห่อภาพ 2 มิติที่จัดตำแหน่งแล้วเข้ากับรูปร่าง 3 มิติในระนาบภาพ

ดังนั้น โมเดลจึงสร้างการวางแนว 3 มิติของการวางแนว ซึ่งทำได้โดยการค้นหาจุดอ้างอิงเพิ่มเติม 67 จุดในพื้นที่ 2 มิติที่จัดตำแหน่งแล้วโดยใช้ตัวถอดรหัสจุดอ้างอิงที่สองหรือ SVR

การทำให้หน้าตรง

เนื่องจากการบิดเบือนไม่แข็งแกร่งและการฉายภาพมุมมองเต็มไม่ได้ถูกสร้างแบบจำลอง กล้อง 3 มิติไป 2 มิติที่เหมาะสมจึงใช้เพียงการประมาณการเท่านั้น ในการลดการบิดเบือนของปัจจัยที่สำคัญต่ออัตลักษณ์ไปยังการบิดเบือนสุดท้าย โมเดล DeepFace จะบวกส่วนต่างที่สอดคล้องกันเข้ากับส่วนประกอบ x-y ของจุดอ้างอิงที่แต่ละจุด

สุดท้าย โมเดลบรรลุการทำให้หน้าตรงโดยใช้การเปลี่ยนแปลงพีชคณิตที่ชี้นำโดยการสามเหลี่ยม Delaunay ที่ได้รับจากจุดอ้างอิง 67 จุด

1. ใบหน้าที่ตรวจจับพร้อมจุดอ้างอิง 6 จุด
2. การวางแนว 2 มิติที่บิดเบือน
3. จุดอ้างอิง 67 จุดในพื้นที่ 2 มิติที่จัดตำแหน่งแล้ว
4. รูปร่าง 3 มิติอ้างอิงที่แปลงเป็นภาพ 2 มิติที่จัดตำแหน่งแล้ว
5. การมองเห็นรูปสามเหลี่ยมที่สัมพันธ์กับกล้อง 3 มิติไป 2 มิติ
6. จุดอ้างอิง 67 จุดที่ได้รับจากแบบจำลอง 3 มิติ
7. การวางแนว 3 มิติของการวางแนวสุดท้าย
8. มุมมองที่สร้างขึ้นใหม่โดยใช้แบบจำลอง 3 มิติ

การแสดงผล

เมื่อปริมาณข้อมูลฝึกเพิ่มขึ้น วิธีการที่อาศัยการเรียนรู้ได้พิสูจน์แล้วว่ามีประสิทธิภาพและแม่นยำมากกว่าคุณลักษณะที่ถูกสร้างขึ้น เนื่องจากวิธีการที่อาศัยการเรียนรู้สามารถค้นพบและปรับให้เหมาะสมคุณลักษณะสำหรับงานเฉพาะได้

โครงสร้าง DNN และการฝึก

เครือข่าย DNN ของ DeepFace ได้รับการฝึกฝนจากงานการรับรู้ใบหน้าหลายคลาสที่จำแนกอัตลักษณ์ของภาพใบหน้า

รูปด้านบนแสดงโครงสร้างโดยรวมของโมเดล DeepFace โมเดลมีชั้นการกรอง (C1) ที่มี 32 ฟิลเตอร์ขนาด 11x11x3 ที่ให้อินพุตเป็นภาพ 3 มิติ RGB ที่จัดตำแหน่ง 3 มิติขนาด 152×152 พิกเซล ซึ่งจะให้ผลลัพธ์เป็น 32 แผนที่คุณลักษณะ แผนที่คุณลักษณะเหล่านี้จะถูกส่งไปยังชั้นการรวมข้อมูลสูงสุด (M2) ที่ใช้ค่าสูงสุดในช่วงพื้นที่ 3×3 และมีการกระโดด 2 โดยแยกสำหรับแต่ละช่องสัญญาณ

การรวมข้อมูลสูงสุดหลายระดับทำให้เครือข่ายมีความทนทานต่อการแปลที่ท้องถิ่นมากขึ้น แต่ก็ทำให้เครือข่ายสูญเสียข้อมูลเกี่ยวกับตำแหน่งที่แน่นอนของโครงสร้างใบหน้าและข้อกำหนดที่ละเอียดอ่อน ดังนั้น โมเดล DeepFace จึงใช้ชั้นการรวมข้อมูลสูงสุดเพียงครั้งเดียวหลังชั้นการกรองแรก

ชั้นต่อๆ ไป L4, L5 และ L6 มีการเชื่อมต่อที่จัดตำแหน่งท้องถิ่น และใช้แบงค์ฟิลเตอร์ที่แต่ละตำแหน่งในแผนที่คุณลักษณะเรียนรู้ชุดฟิลเตอร์ที่ไม่ซ้ำกัน เนื่องจากภูมิภาคต่างๆ ในภาพที่จัดตำแหน่งแล้วมีสถิติท้องถิ่นที่แตกต่างกัน จึงไม่สามารถรักษาความสมมาตรของพื้นที่ได้

โมเดล DeepFace ใช้ชั้นเชื่อมต่อท้องถิ่น 3 ชั้น เนื่องจากมีปริมาณข้อมูลฝึกที่มีฉลากที่มีขนาดใหญ่ การใช้ชั้นเชื่อมต่อท้องถิ่นสามารถอธิบายได้เนื่องจากแต่ละหน่วยผลลัพธ์ของชั้นเชื่อมต่อท้องถิ่นสามารถได้รับผลกระทบจากพื้นที่อินพุตขนาดใหญ่

สุดท้าย ชั้นบนสุดเชื่อมต่อกันอย่างสมบูรณ์ โดยมีหน่วยผลลัพธ์ที่เชื่อมต่อกับอินพุตทั้งหมด ชั้นเหล่านี้สามารถจับข้อสัมพันธ์ระหว่างคุณลักษณะที่จับได้ในส่วนต่างๆ ของภาพใบหน้า เช่น ตำแหน่งและรูปร่างของปาก และตำแหน่งและรูปร่างของดวงตา

ชุดข้อมูล

โมเดล DeepFace ใช้ชุดข้อมูลที่รวมกัน โดยมีชุดข้อมูลการจำแนกใบหน้าทางสังคม (SFC) เป็นชุดข้อมูลหลัก นอกจากนี้ โมเดล DeepFace ยังใช้ชุดข้อมูล LFW และชุดข้อมูล YTF

ชุดข้อมูล SFC

ชุดข้อมูล SFC ได้รับการเรียนรู้จากคอลเลกชันของภาพจาก Facebook (META ) และประกอบด้วยภาพที่มีฉลาก 4.4 ล้านภาพของ 4,030 คน โดยมีภาพใบหน้า 800 ถึง 1,200 ภาพต่อคน รูปภาพใบหน้า 5% ล่าสุดของชุดข้อมูล SFC สำหรับการทดสอบ

ชุดข้อมูล LFW

ชุดข้อมูล LFW ประกอบด้วยภาพ 13,323 ภาพของคนดังมากกว่า 5,000 คน ซึ่งแบ่งออกเป็นคู่ใบหน้า 6,000 คู่ทั่ว 10 ส่วน

ชุดข้อมูล YTF

ชุดข้อมูล YTF ประกอบด้วยวิดีโอ 3,425 วิดีโอของ 1,595 หัวข้อ และเป็นส่วนหนึ่งของคนดังในชุดข้อมูล LFW

ผลลัพธ์

โดยไม่ต้องใช้การทำให้หน้าตรงและใช้การวางแนว 2 มิติเพียงอย่างเดียว โมเดลสามารถบรรลุคะแนนความแม่นยำได้ประมาณ 94.3% เมื่อใช้การวางแนวศูนย์กลางของการตรวจจับใบหน้า โมเดลไม่ได้ใช้การวางแนวใดๆ และในกรณีนี้ โมเดลให้คะแนนความแม่นยำ 87.9% เนื่องจากบางส่วนของภูมิภาคใบหน้าอาจตกออกจากศูนย์กลางการวางแนว

รูปด้านบนเปรียบเทียบการทำงานของโมเดล DeepFace เมื่อเทียบกับโมเดลการรับรู้ใบหน้าที่มีประสิทธิภาพสูงสุดอื่นๆ

รูปด้านบนแสดงเส้นโค้ง ROC บนชุดข้อมูล

สรุป

ในอุดมคติ ระบบการรับรู้ใบหน้าจะสามารถรับรู้ใบหน้าได้ด้วยความแม่นยำของมนุษย์ และสามารถให้ผลลัพธ์ที่แม่นยำสูงโดยไม่คำนึงถึงคุณภาพของภาพ มุมมอง การแสดงออก หรือการฉายภาพ นอกจากนี้ ระบบการรับรู้ใบหน้าที่เหมาะสมยังสามารถนำไปใช้กับการใช้งานที่หลากหลายโดยมีการปรับเปลี่ยนเพียงเล็กน้อย