การประเมินความถูกต้องทางประวัติศาสตร์ของ ImageNet

การศึกษาใหม่จาก Google Research และ UC Berkeley สนับสนุนคำวิพากษ์วิจารณ์ที่มีมานานเกี่ยวกับการพึ่งพาชุดข้อมูล ImageNet ในสาขาวิจัยการมองเห็นของคอมพิวเตอร์ (CV) และอนุพันธ์ของมัน หลังจากการประเมินอย่างละเอียดและใช้แรงงานมาก โดยผู้เขียนสรุปว่าเกือบ 50% ของข้อผิดพลาดที่แบบจำลองที่ดีที่สุดทำในการประเมินชุดย่อยแบบหลายป้ายกำกับของ ImageNet ไม่ใช่ข้อผิดพลาดจริง ๆ โดยแบบจำลองชั้นนำในปัจจุบันมีความแม่นยำ top-1 สูงกว่า 97%

จากเอกสารวิจัย:

‘การวิเคราะห์ของเราแสดงให้เห็นว่าเกือบครึ่งหนึ่งของข้อผิดพลาดที่ถูกกล่าวหานั้นไม่ใช่ข้อผิดพลาด และเราพบป้ายกำกับหลายรายการใหม่ ซึ่งแสดงให้เห็นว่าหากไม่มีการตรวจสอบอย่างรอบคอบ เรากำลังประเมินผลการทำงานของแบบจำลองเหล่านี้ต่ำเกินไป’

‘ในทางกลับกัน เรายังพบว่าแบบจำลองที่ดีที่สุดในปัจจุบันยังคงทำข้อผิดพลาดจำนวนมาก (40%) ที่ชัดเจนผิดสำหรับผู้ตรวจสอบมนุษย์’

ขอบเขตที่ข้อมูลชุดข้อมูลที่มีป้ายกำกับไม่ถูกต้อง โดยเฉพาะอย่างยิ่งโดยผู้ปฏิบัติงานแบบคราวด์ซอร์สที่ไม่มีทักษะ อาจทำให้ผลประเมินของวงการนี้บิดเบือนได้ ซึ่งถูกเปิดเผยโดยการวิจัยที่ใช้การประเมินอย่างละเอียดของคู่ภาพและข้อความทั่วประวัติศาสตร์ของ ImageNet

ในแถวบนสุด ตัวอย่างของความรุนแรงของข้อผิดพลาด: ในสองตัวอย่างแรกที่นี่ แบบจำลองใหม่เพียงแค่ทำนายป้ายกำกับไม่ถูกต้อง ในตัวอย่างที่สาม แบบจำลองใหม่ระบุป้ายกำกับหลายรายการก่อนหน้านี้ที่ไม่ได้ระบุ (ป้ายกำกับที่กล่าวถึงการจำแนกประเภทภาพใหม่) ในภาพสุดท้ายในแถวบนสุด การทำนายของแบบจำลองไม่ชัดเจน เพราะภาพเป็นแมลงวันผึ้ง ไม่ใช่แมลงวันทั่วไป อย่างไรก็ตาม ผึ้งทั่วไปเป็นแมลงในอันดับ Diptera ดังนั้นข้อยกเว้นนี้จึงยากที่จะสังเกตเห็น แม้แต่สำหรับผู้ทำป้ายกำกับแบบผู้เชี่ยวชาญ Source: https://arxiv.org/pdf/2205.04596.pdf

นักวิจัยได้ใช้ผู้ประเมินอิสระจำนวนเล็กน้อยเพื่อตรวจสอบบันทึกข้อผิดพลาดในอดีตของชุดข้อมูล ImageNet อย่างละเอียด และพบว่าข้อผิดพลาดหลายรายการไม่ใช่ข้อผิดพลาดจริงๆ ซึ่งเป็นการค้นพบที่อาจแก้ไขคะแนนไม่ดีที่หลายโครงการได้รับจากมาตรฐานการประเมินของ ImageNet มาหลายปี

เมื่อ ImageNet มีบทบาทสำคัญในวัฒนธรรมการวิจัย CV มากขึ้น นักวิจัยแย้งว่าการปรับปรุงความแม่นยำถือเป็นผลตอบแทนที่ลดลง และแบบจำลองใหม่ที่ทำนายป้ายกำกับใหม่ซึ่งไม่ได้กำหนดไว้ก่อนหน้านี้อาจถูกลงโทษสำหรับการไม่ปฏิบัติตามมาตรฐาน

‘ตัวอย่างเช่น’ ผู้เขียนสังเกตเห็น ‘ควรลงโทษแบบจำลองสำหรับการทำนายว่าเบเกิลที่อบไว้ล่วงหน้าอาจเป็นเบเกิลได้หรือไม่ เช่นเดียวกับที่เราตรวจสอบในงานวิจัยนี้’

จากเอกสารวิจัย แบบจำลองใหม่ปฏิเสธการทำนายก่อนหน้านี้ว่าวัตถุในภาพคือแป้งโด และเสนอว่าวัตถุเป็นเบเกิลแล้วจริง ๆ

จากมุมมองของคนงานฝูงชนที่ได้รับมอบหมายให้ระบุวัตถุเช่นนี้ นี่เป็นปัญหาทางศัพท์และปรัชญาที่สามารถแก้ไขได้ด้วยการทำป้ายกำกับหลายรายการ (เช่นเดียวกับที่เกิดขึ้นในอนุกรมและอัปเดตของ ImageNet) ในกรณีนี้ วัตถุเป็นทั้งแป้งโดและเบเกิลที่เริ่มก่อตัว

ข้อผิดพลาดหลัก (ด้านบน) และข้อผิดพลาดรอง (ด้านล่าง) ที่ปรากฏขึ้นเมื่อทดสอบแบบจำลองที่กำหนดเองในงานวิจัย ป้ายกำกับดั้งเดิมของ ImageNet คือภาพแรกทางซ้าย

วิธีแก้ปัญหาที่ชัดเจนคือการเพิ่มทรัพยากรในการทำป้ายกำกับ (ซึ่งเป็นความท้าทายภายใต้ข้อจำกัดด้านงบประมาณของโครงการวิจัย CV ส่วนใหญ่) และตามที่ผู้เขียนเน้นย้ำ คือการอัปเดตชุดข้อมูลและชุดย่อยการประเมินป้ายกำกับอย่างสม่ำเสมอ (ซึ่งรวมถึงอุปสรรคต่างๆ เช่น การทำลายความต่อเนื่องของการเปรียบเทียบย้อนหลังบนฐานเดียวกัน และการทำให้บทความวิจัยใหม่เต็มไปด้วยเงื่อนไขและข้อสงวนเกี่ยวกับความเทียบเท่ากัน)

เพื่อแก้ไขสถานการณ์นี้ นักวิจัยได้พัฒนาชุดข้อมูลย่อยใหม่ของ ImageNet ที่เรียกว่า ImageNet-Major (ImageNet-M) ซึ่งพวกเขาอธิบายว่าเป็น ‘ชุดข้อมูลขนาด 68 ตัวอย่าง “ข้อผิดพลาดหลัก” ของข้อผิดพลาดที่ชัดเจนที่สุดของแบบจำลองที่ดีที่สุดในปัจจุบัน – ชุดข้อมูลที่แบบจำลองควรได้ผลเกือบสมบูรณ์แบบ แต่ปัจจุบันยังห่างไกลจากระดับนั้น’

เอกสารวิจัย เรื่องนี้ มีชื่อเรื่องว่า เมื่อใดแป้งโดจึงกลายเป็นเบเกิล? การวิเคราะห์ข้อผิดพลาดที่เหลืออยู่ใน ImageNet และเขียนโดยผู้เขียนสี่คนจาก Google Research ร่วมกับ Sara Fridovich-Keil จาก UC Berkeley

หนี้ทางเทคนิค

ผลการวิจัยมีความสำคัญเพราะข้อผิดพลาดที่เหลือที่ระบุ (หรือระบุไม่ถูกต้อง) ใน ImageNet ในช่วง 16 ปีที่ผ่านมา สามารถเป็นความแตกต่างระหว่างแบบจำลองที่สามารถใช้งานได้และแบบจำลองที่ผิดพลาดมากจนไม่อาจปล่อยให้ประมวลผลข้อมูลจริงได้ ดังที่เคยกล่าวไว้เสมอ ช่วง ไมล์สุดท้ายมีความสำคัญ

สาขาวิจัยการมองเห็นของคอมพิวเตอร์และสังเคราะห์ภาพได้เลือก ImageNet เป็นมาตรฐานการประเมินโดยอัตโนมัติ เนื่องจากหลายสาเหตุ ไม่ใช่เพียงเพราะผู้ใช้แรกๆ ในช่วงเวลาที่ชุดข้อมูลขนาดใหญ่และป้ายกำกับที่ดีเป็นของหายากกว่าที่เป็นอยู่ในปัจจุบัน ได้ผลิตการวิจัยหลายโครงการที่ทดสอบกับ ImageNet จนการทดสอบกับ ImageNet กลายเป็นมาตรฐานย้อนหลังเพียงมาตรฐานเดียวที่ใช้เปรียบเทียบกรอบงานใหม่ได้อย่างกว้างขวาง

วิธีการ

ในการค้นหาข้อผิดพลาดที่เหลืออยู่ใน ImageNet นักวิจัยใช้แบบจำลอง ViT มาตรฐาน (ที่สามารถทำได้ถึง 89.5% ความแม่นยำ) ที่มี 3 พันล้านพารามิเตอร์ Vit-3B ที่ได้รับการฝึกฝนล่วงหน้าบน JFT-3B และปรับให้เหมาะสมบน ImageNet-1K

โดยใช้ชุดข้อมูล ImageNet2012_multilabel นักวิจัยบันทึกค่าความแม่นยำเริ่มต้นแบบหลายป้ายกำกับ (MLA) ของ ViT-3B ที่ 96.3% ในระหว่างที่แบบจำลองทำข้อผิดพลาดที่ดูเหมือนผิด 676 ข้อ ซึ่งเป็นข้อผิดพลาด (และข้อผิดพลาดที่ผลิตโดยแบบจำลอง Greedy Soups) ที่ผู้เขียนพยายามจะตรวจสอบ

เพื่อประเมินข้อผิดพลาดที่เหลือ 676 ข้อ ผู้เขียนหลีกเลี่ยงผู้ทำงานฝูงชน โดยสังเกตว่าข้อผิดพลาดประเภทนี้อาจ ยาก สำหรับผู้ทำป้ายกำกับโดยเฉลี่ยที่จะสังเกตเห็น แต่ได้รวบรวมคณะผู้ตรวจสอบผู้เชี่ยวชาญจำนวน 5 คน และสร้างเครื่องมือที่อุทิศให้กับการอนุญาตให้ผู้ตรวจสอบแต่ละคนเห็นป้ายกำกับที่ทำนายได้ คะแนนการทำนาย ป้ายกำกับจริง และภาพเอง

อินเทอร์เฟซที่สร้างขึ้นสำหรับโครงการ

ในบางกรณี การวิจัยเพิ่มเติมจำเป็นต่อการแก้ไขข้อขัดแย้งระหว่างคณะผู้ตรวจสอบ และใช้ Google Image search เป็นเครื่องมือเสริม

‘[ใน] กรณีที่น่าสนใจแต่ไม่โดดเดี่ยว การทำนายรถแท็กซี่ (โดยไม่มีเครื่องหมายรถแท็กซี่ที่ชัดเจนนอกจากสีเหลือง) ปรากฏในภาพ; เราได้พิจารณาว่าการทำนายเป็นรถแท็กซี่อย่างถูกต้องและไม่ใช่รถโดยทั่วไป โดยการระบุสะพานที่มีชื่อเสียงในพื้นหลังเพื่อระบุตำแหน่งเมือง และการค้นหาภาพรถแท็กซี่ในเมืองนั้นให้ภาพรถแท็กซี่แบบเดียวกันและดีไซน์ป้ายทะเบียนที่เหมือนกัน ซึ่งยืนยันการทำนายที่ถูกต้องของแบบจำลอง’

หลังจากการตรวจสอบข้อผิดพลาดเบื้องต้นซึ่งพบในช่วงหลายขั้นตอนของการวิจัย ผู้เขียนได้กำหนดประเภทข้อผิดพลาดใหม่ 4 ประเภท: ข้อผิดพลาดที่ละเอียด โดยที่คลาสที่ทำนายมีความคล้ายคลึงกับป้ายกำกับจริง; ข้อผิดพลาดที่ละเอียดพร้อมคำศัพท์นอกพจนานุกรม (OOV) โดยที่แบบจำลองระบุวัตถุที่คลาสถูกต้องแต่ไม่มีอยู่ใน ImageNet; ความสัมพันธ์ที่ไม่แท้จริง โดยที่ป้ายกำกับที่ทำนายถูกตีความโดยไม่คำนึงถึงบริบทของภาพ; และ ไม่ตามแบบ โดยที่วัตถุจริงเป็นตัวอย่างที่ไม่แท้จริงของคลาสที่มีลักษณะคล้ายกับป้ายกำกับที่ทำนาย

ในบางกรณี ป้ายกำกับจริงไม่ใช่ “จริง” เอง:

‘หลังจากการตรวจสอบข้อผิดพลาด 676 ข้อที่พบใน ImageNet เราพบว่า 298 กรณีเป็นการทำนายที่ถูกต้องหรือยังไม่ชัดเจน หรือกำหนดว่าป้ายกำกับจริงเดิมไม่ถูกต้องหรือมีปัญหา’

หลังจากการทดลองที่ใช้เวลาและซับซ้อนหลายรอบทั่วชุดข้อมูล ย่อยชุดข้อมูล และชุดตรวจสอบ ผู้เขียนพบว่าแบบจำลองสองตัวที่ศึกษาได้รับการพิจารณาว่าถูกต้อง (โดยผู้ตรวจสอบมนุษย์) สำหรับครึ่งหนึ่งของ “ข้อผิดพลาด” ที่ทำโดยเทคนิคทั่วไป

เอกสารวิจัยสรุป:

‘ในเอกสารนี้ เราได้วิเคราะห์ข้อผิดพลาดที่เหลือทั้งหมดที่แบบจำลอง ViT-3B และ Greedy Soups ทำบนชุดตรวจสอบป้ายกำกับหลายรายการของ ImageNet’

‘โดยรวมแล้ว เราพบว่า: 1) เมื่อแบบจำลองขนาดใหญ่ที่มีความแม่นยำสูงทำการทำนายใหม่ที่ไม่ได้ทำโดยแบบจำลองอื่น มันจะกลายเป็นป้ายกำกับหลายรายการใหม่ที่ถูกต้องเกือบครึ่งหนึ่งของเวลา; 2) แบบจำลองที่มีความแม่นยำสูงกว่าไม่ได้แสดงรูปแบบที่ชัดเจนในหมวดหมู่และความรุนแรงของข้อผิดพลาดที่พวกมันแก้ไข; 3) แบบจำลอง SOTA ในปัจจุบันโดยทั่วไปสามารถทำได้ดีกว่าหรือเทียบเท่ากับผลการทำงานของผู้เชี่ยวชาญที่ทำได้ดีที่สุดในชุดย่อยหลายป้ายกำกับที่มนุษย์ประเมิน; 4) ข้อมูลการฝึกที่มีเสียงรบกวนและคลาสที่ไม่ได้กำหนดไว้อย่างชัดเจนอาจเป็นปัจจัยที่จำกัดการวัดความก้าวหน้าในการจำแนกภาพ’

ตีพิมพ์ครั้งแรกเมื่อวันที่ 15 พฤษภาคม 2022