การบีบอัด JPEG เพิ่มอัตราความผิดพลาดในการรู้จำใบหน้าสำหรับคนผิวสี ศึกษาพบ

การศึกษาใหม่จากสหราชอาณาจักรได้สรุปว่าเทคนิคการบีบอัดที่สูญเสียในภาพ JPEG สามารถมีอิทธิพลที่ไม่พึงประสงค์ต่อประสิทธิภาพของระบบการรู้จำใบหน้า ทำให้ระบบเหล่านี้มีแนวโน้มที่จะระบุตัวตนผิดสำหรับบุคคลที่ไม่ใช่คนผิวขาว

เอกสารระบุว่า:

‘ผ่านการเตรียมการทดลองอย่างกว้างขวาง เราแสดงให้เห็นว่าแนวทางการบีบอัดภาพที่สูญเสียทั่วไปมีผลกระทบเชิงลบต่อประสิทธิภาพการรู้จำใบหน้าสำหรับหมวดหมู่ทางพันธุกรรมบางอย่าง เช่น ผิวสีที่เข้ม (มากถึง 34.55%)’

ผลลัพธ์ยังชี้ให้เห็นว่า การบีบอัดโครมา ซึ่งลดข้อมูลสี (มากกว่าข้อมูลความสว่าง) ทั่วทั้งภาพใบหน้าจะเพิ่มอัตราความผิดพลาดในการจับคู่ (FMR) ทั่วทั้งชุดข้อมูลที่ทดสอบหลายชุด ซึ่งหลายชุดเป็นคลังมาตรฐานสำหรับการมองเห็นของคอมพิวเตอร์

การบีบอัดโครมาแบบต่างๆ บนภาพต้นฉบับ ในอัตราที่แตกต่างกัน มีผลกระทบอย่างชัดเจนต่อการรักษารายละเอียด และการผสมผสานของโทนสี ทำให้สูญเสียรายละเอียดและคุณลักษณะที่กำหนดได้ โปรดทราบว่าภาพนี้อาจถูกบีบอัด และควรอ้างอิงเอกสารต้นฉบับสำหรับการแก้ไขที่ถูกต้อง Source: https://arxiv.org/pdf/2208.07613.pdf

การบีบอัดโครมาถูกนำมาใช้เป็นมาตรการทางเศรษฐกิจเพิ่มเติมในการบีบอัด JPEG เนื่องจากมนุษย์สามารถรับรู้การลดความซับซ้อนและช่วงของสีได้น้อยกว่าระบบการมองเห็นของคอมพิวเตอร์ ซึ่งรับข้อมูล ‘การรวม’ เหล่านี้อย่างเคร่งครัดมากกว่าที่เราทำ

นักวิจัยของการศึกษาใหม่พบว่าการถอดการบีบอัดโครมาจากกระบวนการบีบอัดจะลดผลกระทบเชิงลบดังกล่าวได้มากถึง 15.95% แม้ว่าจะไม่สามารถแก้ปัญหาได้ทั้งหมด

การศึกษายังยืนยันว่าการฝึกอบรมบนข้อมูลที่ไม่ถูกบีบอัด (หรือบีบอัดน้อย) จะ ไม่ แก้ปัญหา หากภาพที่ใช้ในการอนุมานถูกบีบอัด ในทางปฏิบัติ หมายความว่าการฝึกโมเดลการรู้จำใบหน้าบนภาพที่บีบอัดน้อยกว่า จะไม่แก้ปัญหาเรื่องอคติหากโมเดลการผลิตสุดท้ายได้รับภาพที่มีปัญหาเรื่องการบีบอัดดังกล่าว

ผู้เขียนรายงาน*:

‘การใช้การบีบอัดภาพที่สูญเสียในช่วงการอนุมานส่งผลเสียต่อประสิทธิภาพของแนวทางการรู้จำใบหน้าสมัยใหม่บนกลุ่มย่อยของการแบ่งประเภทใบหน้าตามเชื้อชาติ (เช่น ผิวสีที่เข้ม, รูปทรงตาที่มีหนึ่งหน้า) และผลกระทบนี้มีอยู่ไม่ว่าจะใช้ภาพที่บีบอัดสำหรับการฝึกอบรมหรือไม่’

เอกสารเน้นย้ำถึงผลกระทบของการบีบอัดภาพต่อภาคการวิจัยการมองเห็นของคอมพิวเตอร์ ซึ่งได้ถูกอธิบายไว้ในรายละเอียดใน การศึกษาในปี 2021 จากมหาวิทยาลัยแมริแลนด์และ Facebook AI

เป็นปัญหาที่ยากต่อการแก้ไข; แม้ว่าปัญหาเกี่ยวกับการจัดเก็บและแบนด์วิธที่ทำให้การบีบอัดจำเป็นจะหายไปในชั่วข้ามคืน และแม้ว่าภาพที่มีคุณภาพต่ำที่ครอบคลุมสองทศวรรษหรือมากกว่าของชุดข้อมูลในภาคส่วนนี้จะถูกบีบอัดใหม่ในอัตราที่ดีกว่าจากแหล่งที่มาคุณภาพสูง ก็จะแสดงถึง ‘การรีเซ็ต’ ของเครื่องมือมาตรฐานทางวิชาการที่ต่อเนื่องกันในหลายทศวรรษ ชุมชน CV ได้กลายเป็นชินกับปัญหาแล้ว จนกลายเป็นหนี้ทางเทคนิคที่สำคัญ

อคติทางเชื้อชาติในการรู้จำใบหน้า (FR) ได้กลายเป็น หัวข้อ ที่ได้รับความสนใจจากสื่อมวลชนอย่างมากในช่วงไม่กี่ปีที่ผ่านมา ส่งผลให้เกิดความพยายามร่วมกันในภาควิจัยเพื่อกำจัดอคตินี้ออกจากระบบที่ได้รับผลกระทบ อย่างไรก็ตาม การพึ่งพาชุดข้อมูล ‘มาตรฐาน’ ที่จำกัดมากในระดับโลก ซึ่งหลายชุดไม่มีความสมดุลทางเชื้อชาติหรือมีการป้ายกำกับไม่ดีในด้านนี้ ทำให้ความท้าทายยิ่งเพิ่มมากขึ้น

นักวิจัยของเอกสารใหม่ยังชี้ให้เห็นถึงความไม่สอดคล้องกันระหว่างมาตรฐานการได้รับภาพและมาตรฐานที่กำหนดโดยการวัดผลการรู้จำใบหน้า โดยระบุ*:

‘มาตรฐานการได้รับภาพสำหรับระบบการรู้จำใบหน้า เช่น ISO/IEC 19794-5 และ ICAO 9303 เสนอมาตรฐานคุณภาพทั้งแบบอิงภาพ (เช่น การส่องสว่าง, การบดบัง) และแบบอิงวัตถุ (เช่น ท่าทาง, สีผม) เพื่อให้แน่ใจถึงคุณภาพของภาพใบหน้า’

‘ดังนั้น ภาพใบหน้าจึงควรเก็บโดยใช้มาตรฐานการบีบอัดภาพที่สูญเสีย เช่น JPEG หรือ JPEG2000; และสามารถระบุได้สำหรับเพศ, สีผม, สีตา, ท่าทาง, คุณสมบัติ (เช่น แว่นตา), มุมท่าทาง (yaw, pitch, และ roll), และตำแหน่งที่สำคัญ’

‘อย่างไรก็ตาม การวัดผลการรู้จำใบหน้าที่พบทั่วไปไม่สอดคล้องกับมาตรฐาน ISO/IEC 19794-5 และ ICAO 9303 นอกจากนี้ ตัวอย่างในสภาพแวดล้อมจริงมักได้รับภายใต้สภาพแวดล้อมและเงื่อนไขของกล้องที่แตกต่างกันเพื่อท้าทายวิธีแก้ปัญหาที่เสนอ’

‘อย่างไรก็ตาม ตัวอย่างภาพใบหน้าส่วนใหญ่ในชุดข้อมูลเหล่านี้ถูกบีบอัดโดยใช้การบีบอัด JPEG ที่สูญเสีย’

ผู้เขียนของงานใหม่ระบุว่าความพยายามในอนาคตของพวกเขาจะตรวจสอบผลกระทบของการบีบอัดภาพที่สูญเสียต่อเฟรมเวิร์กการรู้จำใบหน้าที่หลากหลาย และเสนอวิธีการที่เป็นไปได้เพื่อปรับปรุงความยุติธรรมของระบบเหล่านี้

เอกสารใหม่ ชื่อ การบีบอัดภาพที่สูญเสียส่งผลต่ออคติทางเชื้อชาติในการรู้จำใบหน้าหรือไม่? มาจากนักวิจัยสามคนจาก Imperial College London ร่วมกับนักวิจัยหนึ่งคนจากห้องสมุดการวิเคราะห์ใบหน้า InsightFace

ข้อมูลและวิธีการ

สำหรับการทดลอง ผู้วิจัยใช้ไลบรารี ImageMagick และ libjpeg ที่เปิดกว้างเพื่อสร้างรูปภาพต้นฉบับในระดับการบีบอัดที่แตกต่างกัน

สำหรับการทบทวนเบื้องต้นเกี่ยวกับผลกระทบของการบีบอัด ผู้เขียนศึกษาการเปลี่ยนแปลงของอัตราสัญญาณสูงสุดต่อเสียงรบกวน (PSNR) ในสี่ระดับการบีบอัด JPEG ที่แตกต่างกันบนชุดข้อมูล Racial Faces in-the-Wild (RFW)

คะแนน PSNR สำหรับชุดข้อมูล Racial Faces-in-the-Wild ซึ่งแสดงถึงการเปลี่ยนแปลงที่การบีบอัดสามารถส่งผลต่อความสามารถในการรู้จำสำหรับภาพที่บีบอัด

ในบรรดาการทดสอบอื่นๆ พวกเขาทำการวิจัยบนชุดข้อมูลที่ไม่สมดุลทางเชื้อชาติ และอีกชุดหนึ่งที่สมดุล สำหรับชุดที่สมดุล พวกเขาใช้ฟังก์ชัน Additive Angular Margin Loss (ArcFace) พร้อมกับ ResNet101v2 บนชุดข้อมูล VGGFace2 ต้นฉบับ ซึ่งมีภาพ 3.3 ล้านภาพที่มีหัวข้อ 8631 หัวข้อที่ไม่สมดุลทางเชื้อชาติ

สำหรับการทดสอบ ผู้วิจัยใช้ชุดข้อมูล RFW ระบบถูกฝึกสี่ครั้ง ในสี่ระดับการบีบอัดที่แตกต่างกัน ส่งผลให้ได้โมเดล ArcFace สี่รุ่น

สำหรับชุดที่สมดุล เฟรมเวิร์กเดียวกันถูกใช้บนชุดข้อมูล BUPT-Balanced ที่จัดเรียงใหม่ ซึ่งมีภาพใบหน้า 28,000 ภาพที่สมดุลข้ามสี่กลุ่ม แอฟริกัน, เอเชีย, อินเดีย, และ คอเคเซียน โดยมีภาพ 7000 ภาพสำหรับแต่ละเชื้อชาติ เช่นเดียวกับชุดข้อมูลที่ไม่สมดุล พวกเขาก็ได้โมเดล ArcFace สี่รุ่นเช่นกัน

นอกจากนี้ ผู้วิจัยยังทำซ้ำผลกระทบของการบีบอัดและไม่บีบอัดในการฝึกอบรม เพื่อวัดผลกระทบต่อประสิทธิภาพ

ผลลัพธ์

อัตราความผิดพลาดในการจับคู่ (FMR) ทั่วชุดข้อมูลที่สร้างขึ้นนั้นถูกศึกษา ผลลัพธ์ที่ผู้วิจัยค้นหาคือ ฟีโนไทป์ ที่กำหนดไว้ล่วงหน้าซึ่งเกี่ยวข้องกับคุณลักษณะทางเชื้อชาติ ประเภทผิว (1, 2, 3, 4, 5 หรือ 6), ประเภทตา (Monolid/อื่นๆ), รูปทรงจมูก (กว้าง/แคบ), รูปทรงปาก (เต็ม/เล็ก), ประเภทผม (ตรง/คลื่น/หยิก/หัวล้าน), และ สีผม – เมตริกที่ดึงมาจาก เอกสารปี 2019 การวัดอคติที่ซ่อนอยู่ภายในการรู้จำใบหน้าผ่านฟีโนไทป์ทางเชื้อชาติ

เอกสารระบุว่า:

‘เราเห็นว่าสำหรับระดับการบีบอัดที่เลือกทั้งหมด q = {5, 10, 15, 95} อัตราความผิดพลาดในการจับคู่จะเพิ่มขึ้นเมื่อมีการบีบอัดที่สูญเสียเพิ่มเติม ซึ่งแสดงให้เห็นว่าระดับการบีบอัด 5 (อัตราการบีบอัดสูงสุด) ส่งผลให้ประสิทธิภาพ FMR ลดลงมากที่สุด ในขณะที่ระดับการบีบอัด 95 (อัตราการบีบอัดต่ำสุด) ไม่ส่งผลต่อความแตกต่างในการแสดงผล FMR อย่างมีนัยสำคัญ’

ตัวอย่างจากแผนภูมิผลลัพธ์ที่กว้างขวางของเอกสาร ซึ่งใหญ่และหลากหลายเกินกว่าจะนำมาแสดงได้ที่นี่ โปรดดูเอกสารต้นฉบับสำหรับการแก้ไขที่ดีกว่าและผลลัพธ์เต็ม

เอกสารสรุปว่า:

‘โดยรวมแล้ว การประเมินของเราพบว่าการใช้ภาพใบหน้าที่บีบอัดที่สูญเสียในช่วงการอนุมานจะลดประสิทธิภาพลงอย่างมีนัยสำคัญสำหรับฟีโนไทป์เฉพาะ รวมถึงผิวสีที่เข้ม รูปทรงจมูกกว้าง ผมที่หยิก และตาที่มีหนึ่งหน้า ทั่วทั้งคุณลักษณะฟีโนไทป์อื่นๆ ‘

‘อย่างไรก็ตาม การใช้ภาพที่บีบอัดในช่วงการฝึกอบรมจะทำให้โมเดลที่ได้รับผลลัพธ์มากกว่าและจำกัดการเสื่อมถอยของประสิทธิภาพ: การแสดงผลที่ต่ำกว่าในกลุ่มย่อยที่มีการจัดเรียงทางเชื้อชาติเฉพาะยังคงอยู่ นอกจากนี้ การถอดการบีบอัดโครมาจะปรับปรุง FMR สำหรับฟีโนไทป์บางประเภทที่ได้รับผลกระทบจากการบีบอัดที่สูญเสียมากขึ้น’

* การแปลงอ้างอิงภายในของผู้เขียนให้เป็นลิงก์โดยผู้แปล

เผยแพร่ครั้งแรกเมื่อวันที่ 22nd สิงหาคม 2022