มุมมองของ Anderson

ผลวิจัยพบว่าการบีบอัด JPEG เพิ่มข้อผิดพลาดในการรู้จำใบหน้าที่ไม่ใช่คนผิวขาว

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Main image: DALL-E 2.
ประเด็นสำคัญการบีบอัดแบบ JPEG เพิ่มอัตราการจับคู่ที่ผิดพลาดสำหรับโทนสีผิวที่เข้มขึ้นได้ถึง 34.55%
ดูเพิ่มเติม
  • การบีบอัดแบบ JPEG เพิ่มอัตราการจับคู่ที่ผิดพลาดสำหรับโทนสีผิวที่เข้มขึ้นได้ถึง 34.55%
  • การกำจัดการสุ่มตัวอย่างสีลดลง (chroma subsampling) ช่วยลดผลกระทบเชิงลบต่ออคติในการจดจำใบหน้าได้ 15.95%
  • การฝึกอบรมด้วยข้อมูลที่ไม่ถูกบีบอัดไม่สามารถแก้ไขอคติได้ หากภาพที่ใช้ในการอนุมานยังคงถูกบีบอัด

การศึกษาใหม่จากสหราชอาณาจักรได้สรุปว่าเทคนิคการบีบอัดที่สูญเสียในภาพ JPEG สามารถมีอิทธิพลที่ไม่พึงประสงค์ต่อประสิทธิภาพของระบบการรู้จำใบหน้า ทำให้ระบบเหล่านี้มีแนวโน้มที่จะระบุตัวตนผิดสำหรับบุคคลที่ไม่ใช่คนผิวขาว

เอกสารระบุว่า:

‘ผ่านการเตรียมการทดลองอย่างกว้างขวาง เราแสดงให้เห็นว่าแนวทางการบีบอัดภาพที่สูญเสียทั่วไปมีผลกระทบเชิงลบต่อประสิทธิภาพการรู้จำใบหน้าสำหรับหมวดหมู่ลักษณะปรากฏทางเชื้อชาติบางประเภท เช่น ผิวสีที่เข้ม (มากถึง 34.55%)’

ผลลัพธ์ยังชี้ให้เห็นว่า การสุ่มตัวอย่างสีแบบย่อย ซึ่งลดข้อมูลสี (ไม่ใช่ข้อมูลความสว่าง) ทั่วทั้งภาพใบหน้าจะเพิ่มอัตราความผิดพลาดในการจับคู่ (FMR) ทั่วทั้งชุดข้อมูลที่ทดสอบหลายชุด ซึ่งหลายชุดเป็นคลังมาตรฐานสำหรับการมองเห็นของคอมพิวเตอร์

การสุ่มตัวอย่างสีแบบย่อยแบบต่างๆ บนภาพต้นฉบับ ในอัตราที่แตกต่างกัน มีผลกระทบอย่างชัดเจนต่อการรักษารายละเอียด และการผสมผสานของโทนสี ทำให้สูญเสียรายละเอียดและคุณลักษณะที่กำหนดได้ โปรดทราบว่าภาพนี้อาจถูกบีบอัด และควรอ้างอิงเอกสารต้นฉบับสำหรับความละเอียดที่ถูกต้อง Source: https://arxiv.org/pdf/2208.07613.pdf

การสุ่มตัวอย่างสีแบบย่อยแบบต่างๆ บนภาพต้นฉบับ ในอัตราที่แตกต่างกัน มีผลกระทบอย่างชัดเจนต่อการรักษารายละเอียด และการผสมผสานของโทนสี ทำให้สูญเสียรายละเอียดและคุณลักษณะที่กำหนดได้ โปรดทราบว่าภาพนี้อาจถูกบีบอัด และควรอ้างอิงเอกสารต้นฉบับสำหรับความละเอียดที่ถูกต้อง Source: https://arxiv.org/pdf/2208.07613.pdf

การสุ่มตัวอย่างสีแบบย่อยถูกนำมาใช้เป็นมาตรการทางเศรษฐกิจเพิ่มเติมในการบีบอัด JPEG เนื่องจากมนุษย์สามารถรับรู้การลดความซับซ้อนและช่วงของสีได้น้อยกว่าระบบการมองเห็นของคอมพิวเตอร์ ซึ่งรับข้อมูล ‘การรวม’ เหล่านี้อย่างเคร่งครัดมากกว่าที่เราทำ

นักวิจัยของการศึกษาใหม่พบว่าการถอดการสุ่มตัวอย่างสีแบบย่อยจากกระบวนการบีบอัดจะลดผลกระทบเชิงลบดังกล่าวได้มากถึง 15.95% แม้ว่าจะไม่สามารถแก้ปัญหาได้ทั้งหมด

การศึกษายังยืนยันว่าการฝึกอบรมบนข้อมูลที่ไม่ถูกบีบอัด (หรือบีบอัดน้อย) จะ ไม่ แก้ปัญหา หากภาพที่ใช้ในการอนุมานถูกบีบอัด ในทางปฏิบัติ หมายความว่าการฝึกโมเดลการรู้จำใบหน้าบนภาพที่บีบอัดน้อยกว่า จะไม่แก้ปัญหาเรื่องอคติหากโมเดลการผลิตสุดท้ายได้รับภาพที่มีปัญหาเรื่องการบีบอัดดังกล่าว

ผู้เขียนรายงาน*:

‘การใช้การบีบอัดภาพที่สูญเสียในช่วงการอนุมานส่งผลเสียต่อประสิทธิภาพของแนวทางการรู้จำใบหน้าสมัยใหม่บนกลุ่มย่อยของการแบ่งประเภทใบหน้าตามเชื้อชาติ (เช่น ผิวสีที่เข้ม, ลักษณะตาชั้นเดียว) และผลกระทบนี้มีอยู่ไม่ว่าจะใช้ภาพที่บีบอัดสำหรับการฝึกอบรมหรือไม่’

เอกสารเน้นย้ำถึงผลกระทบของการบีบอัดภาพต่อภาคการวิจัยการมองเห็นของคอมพิวเตอร์ ซึ่งได้ถูกอธิบายไว้ในรายละเอียดใน การศึกษาในปี 2021 จากมหาวิทยาลัยแมริแลนด์และ Facebook AI

เป็นปัญหาที่ยากต่อการแก้ไข; แม้ว่าปัญหาเกี่ยวกับการจัดเก็บและแบนด์วิธที่ทำให้การบีบอัดจำเป็นจะหายไปในชั่วข้ามคืน และแม้ว่าภาพที่มีคุณภาพต่ำที่ครอบคลุมสองทศวรรษหรือมากกว่าของชุดข้อมูลในภาคส่วนนี้จะถูกบีบอัดใหม่ในอัตราที่ดีกว่าจากแหล่งที่มาคุณภาพสูง ก็จะแสดงถึง ‘การรีเซ็ต’ ของเครื่องมือมาตรฐานทางวิชาการที่ต่อเนื่องกันในหลายทศวรรษ ชุมชน CV คุ้นชินกับปัญหาแล้ว จนกลายเป็นหนี้ทางเทคนิคที่สำคัญ

อคติทางเชื้อชาติในการรู้จำใบหน้า (FR) ได้กลายเป็น หัวข้อที่ได้รับความสนใจจากสื่ออย่างมากในช่วงไม่กี่ปีที่ผ่านมา ส่งผลให้เกิดความพยายามร่วมกันในภาควิจัยเพื่อกำจัดอคตินี้ออกจากระบบที่ได้รับผลกระทบ อย่างไรก็ตาม การพึ่งพาชุดข้อมูล ‘มาตรฐาน’ ที่มีจำนวนจำกัดมากเกินไปในระดับโลก ซึ่งหลายชุดไม่มีความสมดุลทางเชื้อชาติหรือมีการติดป้ายกำกับไม่ดีในด้านนี้ ทำให้ความท้าทายยิ่งเพิ่มมากขึ้น

นักวิจัยของเอกสารใหม่ยังชี้ให้เห็นถึงความไม่สอดคล้องกันระหว่างมาตรฐานการได้รับภาพและมาตรฐานที่กำหนดโดยการวัดผลการรู้จำใบหน้า โดยระบุ*:

‘มาตรฐานการได้รับภาพสำหรับระบบการรู้จำใบหน้า เช่น ISO/IEC 19794-5 และ ICAO 9303 เสนอมาตรฐานคุณภาพทั้งแบบอิงภาพ (เช่น การส่องสว่าง, การบดบัง) และแบบอิงบุคคล (เช่น ท่าทาง สีหน้า และเครื่องประดับ) เพื่อให้แน่ใจถึงคุณภาพของภาพใบหน้า’

‘ดังนั้น ภาพใบหน้าจึงควรเก็บโดยใช้มาตรฐานการบีบอัดภาพที่สูญเสีย เช่น JPEG หรือ JPEG2000; และสามารถระบุได้สำหรับเพศ สีตา สีผม สีหน้า, คุณสมบัติ (เช่น แว่นตา), มุมท่าทาง (yaw, pitch, และ roll), และตำแหน่งที่สำคัญ’

‘อย่างไรก็ตาม การวัดผลการรู้จำใบหน้าที่พบทั่วไปไม่สอดคล้องกับมาตรฐาน ISO/IEC 19794-5 และ ICAO 9303 นอกจากนี้ ตัวอย่างในสภาพแวดล้อมจริงมักได้รับภายใต้สภาพแวดล้อมและเงื่อนไขของกล้องที่แตกต่างกันเพื่อท้าทายวิธีแก้ปัญหาที่เสนอ’

‘อย่างไรก็ตาม ตัวอย่างภาพใบหน้าส่วนใหญ่ในชุดข้อมูลเหล่านี้ถูกบีบอัดโดยใช้การบีบอัด JPEG ที่สูญเสีย’

ผู้เขียนของงานใหม่ระบุว่าความพยายามในอนาคตของพวกเขาจะตรวจสอบผลกระทบของการควอนไทซ์ภาพแบบสูญเสียข้อมูลต่อเฟรมเวิร์กการรู้จำใบหน้าที่หลากหลาย และเสนอวิธีการที่เป็นไปได้เพื่อปรับปรุงความยุติธรรมของระบบเหล่านี้

เอกสารใหม่ ชื่อ การบีบอัดภาพที่สูญเสียส่งผลต่ออคติทางเชื้อชาติในการรู้จำใบหน้าหรือไม่? มาจากนักวิจัยสามคนจาก Imperial College London ร่วมกับนักวิจัยหนึ่งคนจากไลบรารีวิเคราะห์ใบหน้าเชิงลึก InsightFace

ข้อมูลและวิธีการ

สำหรับการทดลอง ผู้วิจัยใช้ไลบรารี ImageMagick และ libjpeg ที่เปิดกว้างเพื่อสร้างรูปภาพต้นฉบับในระดับการบีบอัดที่แตกต่างกัน

สำหรับการทบทวนเบื้องต้นเกี่ยวกับผลกระทบของการบีบอัด ผู้เขียนศึกษาการเปลี่ยนแปลงของอัตราสัญญาณสูงสุดต่อเสียงรบกวน (PSNR) ในสี่ระดับการบีบอัด JPEG ที่แตกต่างกันบนชุดข้อมูล Racial Faces in-the-Wild (RFW)

คะแนน PSNR สำหรับชุดข้อมูล Racial Faces-in-the-Wild ซึ่งแสดงถึงการเปลี่ยนแปลงที่การบีบอัดสามารถส่งผลต่อความสามารถในการรู้จำสำหรับภาพที่บีบอัด

คะแนน PSNR สำหรับชุดข้อมูล Racial Faces-in-the-Wild ซึ่งแสดงถึงการเปลี่ยนแปลงที่การบีบอัดสามารถส่งผลต่อความสามารถในการรู้จำสำหรับภาพที่บีบอัด

ในบรรดาการทดสอบอื่นๆ พวกเขาทำการวิจัยบนชุดข้อมูลที่ไม่สมดุลทางเชื้อชาติ และอีกชุดหนึ่งที่สมดุล สำหรับชุดที่สมดุล พวกเขาใช้ฟังก์ชัน Additive Angular Margin Loss (ArcFace) พร้อมกับ ResNet101v2 บนชุดข้อมูล VGGFace2 ต้นฉบับ ซึ่งมีภาพ 3.3 ล้านภาพของบุคคล 8631 คนที่มีสัดส่วนทางเชื้อชาติไม่สมดุล

สำหรับการทดสอบ ผู้วิจัยใช้ชุดข้อมูล RFW ระบบถูกฝึกสี่ครั้ง ในสี่ระดับการบีบอัดที่แตกต่างกัน ส่งผลให้ได้โมเดล ArcFace สี่รุ่น

สำหรับชุดที่สมดุล เฟรมเวิร์กเดียวกันถูกใช้บนชุดข้อมูล BUPT-Balanced ต้นฉบับที่จัดแนวแล้ว ซึ่งมีภาพใบหน้า 28,000 ภาพที่สมดุลข้ามสี่กลุ่ม แอฟริกัน, เอเชีย, อินเดีย, และ คอเคเซียน โดยมีภาพ 7000 ภาพสำหรับแต่ละเชื้อชาติ เช่นเดียวกับชุดข้อมูลที่ไม่สมดุล พวกเขาก็ได้โมเดล ArcFace สี่รุ่นเช่นกัน

นอกจากนี้ ผู้วิจัยยังทำซ้ำผลกระทบของการบีบอัดและไม่บีบอัดในการฝึกอบรม โดยนำการสุ่มตัวอย่างสีแบบย่อยออก เพื่อวัดผลกระทบต่อประสิทธิภาพ

ผลลัพธ์

อัตราความผิดพลาดในการจับคู่ (FMR) ทั่วชุดข้อมูลที่สร้างขึ้นนั้นถูกศึกษา ผลลัพธ์ที่ผู้วิจัยค้นหาคือ ฟีโนไทป์ ที่กำหนดไว้ล่วงหน้าซึ่งเกี่ยวข้องกับคุณลักษณะทางเชื้อชาติ ประเภทผิว (1, 2, 3, 4, 5 หรือ 6), ประเภทเปลือกตา (Monolid/อื่นๆ), รูปทรงจมูก (กว้าง/แคบ), รูปทรงปาก (เต็ม/เล็ก), ประเภทผม (ตรง/คลื่น/หยิก/หัวล้าน), และ สีผม – เมตริกที่ดึงมาจาก เอกสารปี 2019 การวัดอคติที่ซ่อนอยู่ภายในการรู้จำใบหน้าผ่านฟีโนไทป์ทางเชื้อชาติ

เอกสารระบุว่า:

‘เราเห็นว่าสำหรับระดับการบีบอัดที่เลือกทั้งหมด q = {5, 10, 15, 95} อัตราความผิดพลาดในการจับคู่จะเพิ่มขึ้นเมื่อมีการบีบอัดที่สูญเสียเพิ่มเติม ซึ่งแสดงให้เห็นว่าระดับการบีบอัด 5 (อัตราการบีบอัดสูงสุด) ส่งผลให้ประสิทธิภาพ FMR ลดลงมากที่สุด ในขณะที่ระดับการบีบอัด 95 (อัตราการบีบอัดต่ำสุด) ไม่ส่งผลต่อความแตกต่างในการแสดงผล FMR อย่างมีนัยสำคัญ’

ตัวอย่างจากแผนภูมิผลลัพธ์ที่กว้างขวางของเอกสาร ซึ่งใหญ่และหลากหลายเกินกว่าจะนำมาแสดงได้ที่นี่ โปรดดูเอกสารต้นฉบับสำหรับความละเอียดที่ดีกว่าและผลลัพธ์เต็ม ที่นี่แสดงช่วงประสิทธิภาพ FMR ของ VGGFace2 เมื่อภาพใบหน้าเสื่อมคุณภาพหรือถูกบีบอัดมากขึ้น รวมถึงช่วงคุณภาพที่ไม่บีบอัดหรือบีบอัดเพียงเล็กน้อย

ตัวอย่างจากแผนภูมิผลลัพธ์ที่กว้างขวางของเอกสาร ซึ่งใหญ่และหลากหลายเกินกว่าจะนำมาแสดงได้ที่นี่ โปรดดูเอกสารต้นฉบับสำหรับความละเอียดที่ดีกว่าและผลลัพธ์เต็ม ที่นี่แสดงช่วงประสิทธิภาพ FMR ของ VGGFace2 เมื่อภาพใบหน้าเสื่อมคุณภาพหรือถูกบีบอัดมากขึ้น รวมถึงช่วงคุณภาพที่ไม่บีบอัดหรือบีบอัดเพียงเล็กน้อย

เอกสารสรุปว่า:

‘โดยรวมแล้ว การประเมินของเราพบว่าการใช้ภาพใบหน้าที่บีบอัดที่สูญเสียในช่วงการอนุมานจะลดประสิทธิภาพลงอย่างมีนัยสำคัญสำหรับฟีโนไทป์เฉพาะ รวมถึงผิวสีที่เข้ม รูปทรงจมูกกว้าง ผมที่หยิก และตาชั้นเดียว ทั่วทั้งคุณลักษณะฟีโนไทป์อื่นๆ ‘

‘อย่างไรก็ตาม การใช้ภาพที่บีบอัดในช่วงการฝึกอบรมจะทำให้โมเดลที่ได้ทนทานมากขึ้นและจำกัดการเสื่อมถอยของประสิทธิภาพ: การแสดงผลที่ต่ำกว่าในกลุ่มย่อยที่มีการจัดเรียงทางเชื้อชาติเฉพาะยังคงอยู่ นอกจากนี้ การถอดการสุ่มตัวอย่างสีแบบย่อยจะปรับปรุง FMR สำหรับฟีโนไทป์บางประเภทที่ได้รับผลกระทบจากการบีบอัดที่สูญเสียมากขึ้น’

 

* การแปลงอ้างอิงภายในของผู้เขียนให้เป็นลิงก์โดยผู้เขียนบทความ

เผยแพร่ครั้งแรกเมื่อวันที่ 22 สิงหาคม 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai