การประเมินความถูกต้องทางประวัติศาสตร์ของ ImageNet

การศึกษาใหม่จาก Google Research และ UC Berkeley เพิ่มความวิพากษ์วิจารณ์ที่มีมานานเกี่ยวกับการพึ่งพา ImageNet ในสาขาวิจัยการมองเห็นของคอมพิวเตอร์ (CV) และอนุพันธ์ของมัน หลังจากการประเมินอย่างละเอียดและใช้แรงงานมาก โดยผู้เขียนสรุปว่าเกือบ 50% ของข้อผิดพลาดที่แบบจำลองที่ดีที่สุดทำบนชุดข้อมูล ImageNet ไม่ใช่ข้อผิดพลาดจริงๆ

จากเอกสารวิจัย:

‘การวิเคราะห์ของเราแสดงให้เห็นว่าเกือบครึ่งหนึ่งของข้อผิดพลาดที่ถูกกล่าวหานั้นไม่ใช่ข้อผิดพลาด และเราพบป้ายกำกับหลายรายการใหม่ ซึ่งแสดงให้เห็นว่าหากไม่มีการตรวจสอบอย่างรอบคอบ เรากำลังประเมินผลการทำงานของแบบจำลองเหล่านี้ต่ำเกินไป’

‘ในทางกลับกัน เรายังพบว่าแบบจำลองที่ดีที่สุดในปัจจุบันยังคงทำข้อผิดพลาดจำนวนมาก (40%) ที่ชัดเจนผิดสำหรับผู้ตรวจสอบมนุษย์’

ขอบเขตที่ข้อมูลชุดข้อมูลที่มีป้ายกำกับไม่ถูกต้อง โดยเฉพาะอย่างยิ่งโดยผู้ทำงานแบบฝูงชนที่ไม่มีทักษะ อาจทำให้ภาคส่วนนี้เสียหาย ซึ่งถูกเปิดเผยโดยการวิจัยที่ใช้การประเมินอย่างละเอียดของการผสมผสานภาพและข้อความทั่วประวัติศาสตร์ของ ImageNet

ในแถวบนสุด ตัวอย่างของความรุนแรงของข้อผิดพลาด: ในสองตัวอย่างแรกที่นี่ แบบจำลองใหม่เพียงแค่ทำนายป้ายกำกับไม่ถูกต้อง ในตัวอย่างที่สาม แบบจำลองใหม่ระบุป้ายกำกับหลายรายการก่อนหน้านี้ที่ไม่ได้ระบุ (ป้ายกำกับที่กล่าวถึงการจำแนกประเภทภาพใหม่) ในภาพสุดท้ายในแถวบนสุด การทำนายของแบบจำลองไม่ชัดเจน เพราะภาพเป็นแมลงและไม่ใช่แมลงวัน อย่างไรก็ตาม แมลงวันโดยเฉลี่ยเป็นแมลงในอันดับ Diptera ดังนั้นข้อยกเว้นนี้จึงยากที่จะสังเกตเห็น แม้แต่สำหรับผู้ทำป้ายกำกับแบบผู้เชี่ยวชาญ Source: https://arxiv.org/pdf/2205.04596.pdf

นักวิจัยได้ใช้ผู้ประเมินอิสระจำนวนเล็กน้อยเพื่อตรวจสอบบันทึกข้อผิดพลาดในอดีตของชุดข้อมูล ImageNet อย่างละเอียด และพบว่าข้อผิดพลาดหลายรายการไม่ใช่ข้อผิดพลาดจริงๆ ซึ่งเป็นการค้นพบที่อาจแก้ไขคะแนนไม่ดีที่หลายโครงการได้รับจากมาตรฐานการประเมินของ ImageNet มาหลายปี

เมื่อ ImageNet มีบทบาทสำคัญในカルチャ์ของ CV มากขึ้น นักวิจัยแย้งว่าการปรับปรุงความแม่นยำถือเป็นผลตอบแทนที่ลดลง และแบบจำลองใหม่ที่ทำนายป้ายกำกับใหม่ซึ่งไม่ได้กำหนดไว้ก่อนหน้านี้อาจถูกลงโทษสำหรับการไม่ปฏิบัติตามมาตรฐาน

‘ตัวอย่างเช่น’ ผู้เขียนสังเกตเห็น ‘ควรลงโทษแบบจำลองสำหรับการทำนายว่าขนมปังที่อบแล้วอาจเป็นขนมปังได้หรือไม่ เช่นเดียวกับที่เราตรวจสอบในงานวิจัยนี้’

จากเอกสารวิจัย แบบจำลองใหม่ปฏิเสธการทำนายก่อนหน้านี้ว่าวัตถุในภาพคือแป้ง และเสนอว่าวัตถุเป็นขนมปังจริงๆ

จากมุมมองของคนงานฝูงชนที่ได้รับมอบหมายให้ระบุวัตถุเช่นนี้ นี่เป็นปัญหาทางศัพท์และปรัชญาที่สามารถแก้ไขได้ด้วยการทำป้ายกำกับหลายรายการ (เช่นเดียวกับที่เกิดขึ้นในอนุกรมและอัปเดตของ ImageNet) ในกรณีนี้ วัตถุเป็นทั้งแป้งและขนมปังที่เริ่มก่อตัว

ข้อผิดพลาดหลัก (ด้านบน) และข้อผิดพลาดรอง (ด้านล่าง) ที่ปรากฏขึ้นเมื่อทดสอบแบบจำลองที่กำหนดเองในงานวิจัย

วิธีแก้ปัญหาที่ชัดเจนคือการเพิ่มทรัพยากรในการทำป้ายกำกับ (ซึ่งเป็นความท้าทายภายใต้ข้อจำกัดด้านงบประมาณของโครงการวิจัย CV ส่วนใหญ่) และตามที่ผู้เขียนเน้นย้ำ คือการอัปเดตชุดข้อมูลและชุดย่อยการประเมินป้ายกำกับอย่างสม่ำเสมอ (ซึ่งรวมถึงอุปสรรคต่างๆ เช่น การรักษาความต่อเนื่องทางประวัติศาสตร์ของมาตรฐานการประเมิน และการทำให้เอกสารวิจัยใหม่ๆ มีเงื่อนไขและข้อจำกัด)

เพื่อแก้ไขสถานการณ์นี้ นักวิจัยได้พัฒนาชุดข้อมูลย่อยใหม่ของ ImageNet ที่เรียกว่า ImageNet-Major (ImageNet-M) ซึ่งพวกเขาอธิบายว่าเป็น ‘ชุดข้อมูลขนาด 68 ตัวอย่าง “ข้อผิดพลาดหลัก” ของข้อผิดพลาดที่ชัดเจนที่สุดของแบบจำลองที่ดีที่สุดในปัจจุบัน – ชุดข้อมูลที่แบบจำลองควรทำได้ดี แต่ปัจจุบันยังทำไม่ได้’

เอกสารวิจัย เรื่องนี้ มีชื่อเรื่องว่า เมื่อแป้งกลายเป็นขนมปัง? การวิเคราะห์ข้อผิดพลาดที่เหลืออยู่ใน ImageNet และเขียนโดยผู้เขียนสี่คนจาก Google Research ร่วมกับ Sara Fridovich-Keil จาก UC Berkeley

Technical Debt

ผลการวิจัยมีความสำคัญเพราะข้อผิดพลาดที่เหลือที่ระบุ (หรือระบุไม่ถูกต้อง) ใน ImageNet ในช่วง 16 ปีที่ผ่านมา สามารถเป็นความแตกต่างระหว่างแบบจำลองที่สามารถใช้งานได้และแบบจำลองที่มีข้อผิดพลาดมากจนไม่สามารถใช้งานได้เสมอไป ดังที่เคยกล่าวไว้เสมอ ช่วง ไมล์สุดท้ายมีความสำคัญ

สาขาวิจัยการมองเห็นของคอมพิวเตอร์และสังเคราะห์ภาพได้เลือก ImageNet เป็นมาตรฐานการประเมินโดยอัตโนมัติ เนื่องจากหลายสาเหตุ ไม่ใช่เพียงเพราะผู้ใช้แรกๆ ในช่วงเวลาที่ชุดข้อมูลขนาดใหญ่และป้ายกำกับที่ดีเป็นของหายากกว่าที่เป็นอยู่ในปัจจุบัน ได้ผลิตการวิจัยหลายโครงการที่ทดสอบกับ ImageNet จนกลายเป็นมาตรฐานการประเมินประวัติศาสตร์ที่ใช้กันอย่างกว้างขวาง

Method

ในการค้นหาข้อผิดพลาดที่เหลืออยู่ใน ImageNet นักวิจัยใช้แบบจำลอง ViT มาตรฐาน (ที่สามารถทำได้ถึง 89.5% ความแม่นยำ) ที่มี 3 พันล้านพารามิเตอร์ Vit-3B ที่ได้รับการฝึกฝนล่วงหน้าบน JFT-3B และปรับให้เหมาะสมบน ImageNet-1K

โดยใช้ชุดข้อมูล ImageNet2012_multilabel นักวิจัยบันทึกความแม่นยำหลายป้ายกำกับ (MLA)初始 ของ ViT-3B ที่ 96.3% ในระหว่างที่แบบจำลองทำข้อผิดพลาดที่เห็นได้ชัด 676 ข้อ ซึ่งเป็นข้อผิดพลาด (และข้อผิดพลาดที่ผลิตโดยแบบจำลอง Greedy Soups) ที่ผู้เขียนพยายามจะตรวจสอบ

เพื่อประเมินข้อผิดพลาดที่เหลือ 676 ข้อ ผู้เขียนหลีกเลี่ยงผู้ทำงานฝูงชน โดยสังเกตว่าข้อผิดพลาดประเภทนี้อาจ ยาก สำหรับผู้ทำป้ายกำกับโดยเฉลี่ยที่จะสังเกตเห็น แต่ได้รวบรวมคณะผู้ตรวจสอบผู้เชี่ยวชาญจำนวน 5 คน และสร้างเครื่องมือที่อุทิศให้กับการอนุญาตให้ผู้ตรวจสอบแต่ละคนเห็นป้ายกำกับที่ทำนายได้ คะแนนการทำนาย ป้ายกำกับจริง และภาพเอง

อินเทอร์เฟซที่สร้างขึ้นสำหรับโครงการ

ในบางกรณี การวิจัยเพิ่มเติมจำเป็นต่อการแก้ไขข้อขัดแย้งระหว่างคณะผู้ตรวจสอบ และใช้ Google Image search เป็นเครื่องมือเสริม

‘[ใน] กรณีที่น่าสนใจแต่ไม่โดดเดี่ยว การทำนายรถแท็กซี่ (โดยไม่มีเครื่องหมายรถแท็กซี่ที่ชัดเจนนอกจากสีเหลือง) ปรากฏในภาพ; เราได้พิจารณาว่าการทำนายเป็นรถแท็กซี่อย่างถูกต้องและไม่ใช่รถโดยทั่วไป โดยการระบุสะพานที่มีชื่อเสียงในพื้นหลังเพื่อระบุตำแหน่งเมือง และการค้นหาภาพรถแท็กซี่ในเมืองนั้นให้ภาพรถแท็กซี่แบบเดียวกันและดีไซน์ป้ายทะเบียนที่เหมือนกัน ซึ่งยืนยันการทำนายที่ถูกต้องของแบบจำลอง’

หลังจากการตรวจสอบข้อผิดพลาดเบื้องต้นซึ่งพบในช่วงหลายขั้นตอนของการวิจัย ผู้เขียนได้กำหนดประเภทข้อผิดพลาดใหม่ 4 ประเภท: ข้อผิดพลาดที่ละเอียด โดยที่ชั้นเรียนที่ทำนายมีความคล้ายคลึงกับป้ายกำกับจริง; ข้อผิดพลาดที่ละเอียดพร้อมคำศัพท์นอกพจนานุกรม (OOV) โดยที่แบบจำลองระบุวัตถุที่ชั้นเรียนถูกต้องแต่ไม่มีอยู่ใน ImageNet; ความสัมพันธ์ที่ไม่แท้จริง โดยที่ป้ายกำกับที่ทำนายอ่านออกจากบริบทของภาพ; และ ไม่ตามแบบ โดยที่วัตถุจริงเป็นตัวอย่างที่ไม่แท้จริงของชั้นเรียนที่มีลักษณะคล้ายกับป้ายกำกับที่ทำนาย

ในบางกรณี ป้ายกำกับจริงไม่ใช่ “จริง” เอง:

‘หลังจากการตรวจสอบข้อผิดพลาด 676 ข้อที่พบใน ImageNet เราพบว่า 298 ข้อเป็นข้อผิดพลาดที่ถูกต้องหรือไม่ชัดเจน หรือกำหนดว่าป้ายกำกับจริงเดิมไม่ถูกต้องหรือมีปัญหา’

หลังจากการทดลองที่ใช้เวลาและซับซ้อนหลายรอบทั่วชุดข้อมูล ย่อยชุดข้อมูล และชุดตรวจสอบ ผู้เขียนพบว่าแบบจำลองสองตัวที่ศึกษาได้รับการพิจารณาว่าถูกต้อง (โดยผู้ตรวจสอบมนุษย์) สำหรับครึ่งหนึ่งของ “ข้อผิดพลาด” ที่ทำโดยเทคนิคทั่วไป

เอกสารวิจัยสรุป:

‘ในเอกสารนี้ เราได้วิเคราะห์ข้อผิดพลาดที่เหลือทั้งหมดที่แบบจำลอง ViT-3B และ Greedy Soups ทำบนชุดตรวจสอบป้ายกำกับหลายรายการของ ImageNet’

‘โดยรวมแล้ว เราพบว่า: 1) เมื่อแบบจำลองขนาดใหญ่ที่มีความแม่นยำสูงทำการทำนายใหม่ที่ไม่ได้ทำโดยแบบจำลองอื่น มันจะกลายเป็นป้ายกำกับหลายรายการใหม่ที่ถูกต้องเกือบครึ่งหนึ่งของเวลา; 2) แบบจำลองที่มีความแม่นยำสูงกว่าไม่ได้แสดงรูปแบบที่ชัดเจนในหมวดหมู่และความรุนแรงของข้อผิดพลาดที่พวกมันแก้ไข; 3) แบบจำลอง SOTA ในปัจจุบันโดยทั่วไปสามารถทำได้ดีกว่าหรือเทียบเท่ากับผลการทำงานของมนุษย์ผู้เชี่ยวชาญที่ได้รับการประเมินบนชุดข้อมูลหลายป้ายกำกับ; 4) ข้อมูลการฝึกที่มีเสียงรบกวนและชั้นเรียนที่ไม่ได้กำหนดไว้อย่างชัดเจนอาจเป็นปัจจัยที่จำกัดการวัดความก้าวหน้าในการจำแนกภาพ’

ตีพิมพ์ครั้งแรกเมื่อวันที่ 15 พฤษภาคม 2022