กลุ่มชุดข้อมูลที่มีอิทธิพลครอบงำการวิจัยแมชชีนเลิร์นนิง การศึกษาใหม่ชี้ให้เห็น

บทความใหม่จากมหาวิทยาลัยแคลิฟอร์เนียและการวิจัยของ Google พบว่าชุดข้อมูลการเรียนรู้ของเครื่อง 'มาตรฐาน' จำนวนเล็กน้อย ซึ่งส่วนใหญ่มาจากสถาบันตะวันตกที่มีอิทธิพล และบ่อยครั้งจากองค์กรภาครัฐ กำลังครอบงำภาคการวิจัย AI มากขึ้น

นักวิจัยสรุปได้ว่าแนวโน้มที่จะ 'เริ่มต้น' เป็นชุดข้อมูลโอเพ่นซอร์สที่ได้รับความนิยมอย่างสูงเช่น อิมเมจเน็ตนำมาซึ่งเหตุผลเชิงปฏิบัติ จริยธรรม และแม้กระทั่งทางการเมืองที่น่าเป็นห่วง

ท่ามกลางการค้นพบของพวกเขา – จากข้อมูลหลักจากโครงการชุมชนที่นำโดย Facebook เอกสารพร้อมรหัส (PWC) – ผู้เขียนยืนยันว่า 'ชุดข้อมูลที่ใช้กันอย่างแพร่หลายได้รับการแนะนำโดยสถาบันชั้นนำเพียงไม่กี่แห่ง'และ 'การรวมบัญชี' นี้ได้เพิ่มขึ้นเป็น 80% ในช่วงไม่กี่ปีที่ผ่านมา

'[เรา] พบว่ามีความไม่เท่าเทียมกันเพิ่มขึ้นในการใช้ชุดข้อมูลทั่วโลก และมากกว่า 50% ของการใช้ชุดข้อมูลทั้งหมดในตัวอย่าง 43,140 ชุดของเรานั้นสอดคล้องกับชุดข้อมูลที่นำเสนอโดยสถาบันระดับหัวกะทิสิบสองแห่ง โดยส่วนใหญ่เป็นชาวตะวันตก'

แผนที่ของการใช้งานชุดข้อมูลเฉพาะที่ไม่ใช่งานในช่วงสิบปีที่ผ่านมา เกณฑ์สำหรับการรวมคือเมื่อสถาบันหรือบริษัทมีสัดส่วนมากกว่า 50% ของการใช้งานที่รู้จัก แสดงด้านขวาคือ ค่าสัมประสิทธิ์จินี สำหรับความเข้มข้นของชุดข้อมูลในช่วงเวลาหนึ่งสำหรับทั้งสถาบันและชุดข้อมูล ที่มา: https://arxiv.org/pdf/2112.01716.pdf

สถาบันที่โดดเด่น ได้แก่ Stanford University, Microsoft, Princeton, Facebook, Google, Max Planck Institute และ AT&T แหล่งข้อมูลชุดข้อมูลสี่ในสิบอันดับแรกคือสถาบันองค์กร

เอกสารฉบับนี้ยังระบุลักษณะการใช้ชุดข้อมูลชั้นยอดเหล่านี้ที่เพิ่มขึ้นอีกด้วย 'ยานพาหนะสำหรับความไม่เท่าเทียมกันในวิทยาศาสตร์'. ทั้งนี้เนื่องจากทีมวิจัยที่แสวงหาการอนุมัติจากชุมชนมีแรงจูงใจในการบรรลุผลที่ล้ำสมัย (SOTA) เมื่อเทียบกับชุดข้อมูลที่สอดคล้องกันมากกว่าที่พวกเขาจะสร้างชุดข้อมูลดั้งเดิมที่ไม่มีจุดยืนดังกล่าว และต้องการเพื่อนร่วมงานเพื่อปรับให้เข้ากับนวนิยาย เมตริกแทนดัชนีมาตรฐาน

ไม่ว่าในกรณีใด ดังที่บทความรับทราบ การสร้างชุดข้อมูลของตนเองนั้นเป็นความพยายามที่มีค่าใช้จ่ายสูงสำหรับสถาบันและทีมที่มีทรัพยากรน้อย

' prima facie ความถูกต้องทางวิทยาศาสตร์ที่ได้รับจากเกณฑ์มาตรฐาน SOTA มักจะสับสนกับความน่าเชื่อถือทางสังคมที่นักวิจัยได้รับจากการแสดงให้เห็นว่าพวกเขาสามารถแข่งขันกับชุดข้อมูลที่ได้รับการยอมรับอย่างกว้างขวาง แม้ว่าเกณฑ์มาตรฐานเฉพาะบริบทมากกว่าอาจเหมาะสมทางเทคนิคมากกว่า

'เราตั้งสมมติฐานว่าพลวัตเหล่านี้สร้าง "Matthew Effect" (กล่าวคือ "คนรวยยิ่งรวยขึ้น และคนจนยิ่งจนลง") ซึ่งเกณฑ์มาตรฐานที่ประสบความสำเร็จและสถาบันชั้นยอดที่แนะนำพวกเขานั้น

เค้ก กระดาษ มีบรรดาศักดิ์ ลด ใช้ซ้ำ และรีไซเคิล: ชีวิตของชุดข้อมูลในการวิจัยการเรียนรู้ของเครื่องและมาจาก Bernard Koch และ Jacob G. Foster จาก UCLA และ Emily Denton และ Alex Hanna จาก Google Research

งานนี้หยิบยกประเด็นต่างๆ ที่มีแนวโน้มเพิ่มขึ้นไปสู่การรวมบัญชีที่จัดทำเอกสารและได้รับการตอบสนอง การอนุมัติทั่วไป ที่เปิดรีวิว. นักวิจารณ์คนหนึ่งจาก NeurIPS 2021 ให้ความเห็นว่างานนี้ 'เกี่ยวข้องอย่างมากกับทุกคนที่เกี่ยวข้องกับการวิจัยการเรียนรู้ของเครื่อง' และเล็งเห็นถึงการรวมเป็นการอ่านที่ได้รับมอบหมายในหลักสูตรของมหาวิทยาลัย

จากความจำเป็นไปสู่การทุจริต

ผู้เขียนทราบว่าวัฒนธรรมปัจจุบันของ 'การเอาชนะเกณฑ์มาตรฐาน' กลายเป็นวิธีแก้ไขสำหรับการขาดเครื่องมือประเมินที่เป็นกลาง ซึ่งทำให้ความสนใจและการลงทุนใน AI พังทลายลงเป็นครั้งที่สอง กว่าสามสิบปีที่แล้วหลังจากความกระตือรือร้นทางธุรกิจลดลงต่อการวิจัยใหม่ใน 'ระบบผู้เชี่ยวชาญ':

'เกณฑ์มาตรฐานมักจะทำให้งานเฉพาะเป็นแบบแผนผ่านชุดข้อมูลและเมตริกการประเมินเชิงปริมาณที่เกี่ยวข้อง เดิมทีแนวทางปฏิบัตินี้ถูกนำมาใช้กับ [การวิจัยการเรียนรู้ด้วยเครื่อง] หลังจาก "AI Winter" ของทศวรรษ 1980 โดยผู้ให้ทุนของรัฐบาล ซึ่งพยายามประเมินมูลค่าที่ได้รับจากทุนสนับสนุนอย่างแม่นยำยิ่งขึ้น'

เอกสารนี้ระบุว่าข้อได้เปรียบเริ่มต้นของวัฒนธรรมมาตรฐานที่ไม่เป็นทางการนี้ (การลดอุปสรรคในการมีส่วนร่วม เมตริกที่สอดคล้องกัน และโอกาสในการพัฒนาที่คล่องตัวมากขึ้น) กำลังเริ่มถูกกลบด้วยข้อเสียที่เกิดขึ้นตามธรรมชาติเมื่อเนื้อหาของข้อมูลมีพลังมากพอที่จะกำหนดได้อย่างมีประสิทธิภาพ 'เงื่อนไขการใช้งาน' และขอบเขตของอิทธิพล

ผู้เขียนเสนอแนะให้สอดคล้องกับอุตสาหกรรมและความคิดทางวิชาการเมื่อเร็วๆ นี้ว่า ชุมชนการวิจัย ไม่ก่อให้เกิดปัญหาใหม่อีกต่อไป หากสิ่งเหล่านี้ไม่สามารถแก้ไขได้ผ่านชุดข้อมูลมาตรฐานที่มีอยู่

พวกเขายังทราบว่าการยึดมั่นอย่างมืดบอดกับชุดข้อมูล 'ทองคำ' จำนวนน้อยนี้กระตุ้นให้นักวิจัยบรรลุผลลัพธ์ที่เป็น ฟิตเกินไป (กล่าวคือเป็นชุดข้อมูลเฉพาะและไม่น่าจะทำงานได้ทุกที่ใกล้เคียงกับข้อมูลในโลกแห่งความเป็นจริง ในชุดข้อมูลทางวิชาการหรือต้นฉบับใหม่ หรือแม้กระทั่งจำเป็นในชุดข้อมูลที่แตกต่างกันใน 'มาตรฐานทองคำ')

'จากการวิจัยที่มีความเข้มข้นสูงในชุดข้อมูลเกณฑ์มาตรฐานจำนวนน้อย เราเชื่อว่ารูปแบบการประเมินที่หลากหลายมีความสำคัญอย่างยิ่งเพื่อหลีกเลี่ยงการใช้ชุดข้อมูลที่มีอยู่มากเกินไปและบิดเบือนความคืบหน้าในสนาม'

อิทธิพลของรัฐบาลในการวิจัยคอมพิวเตอร์วิทัศน์

จากรายงานดังกล่าว การวิจัยด้าน Computer Vision ได้รับผลกระทบจากกลุ่มอาการดังกล่าวมากกว่าภาคส่วนอื่นๆ โดยผู้เขียนตั้งข้อสังเกตว่างานวิจัยด้านการประมวลผลภาษาธรรมชาติ (NLP) ได้รับผลกระทบน้อยกว่ามาก ผู้เขียนแนะนำว่าอาจเป็นเพราะว่าชุมชน NLP นั้น 'สอดคล้องกันมากขึ้น' และมีขนาดใหญ่ขึ้น และเนื่องจากชุดข้อมูล NLP เข้าถึงได้มากขึ้นและจัดการได้ง่ายกว่า รวมทั้งมีขนาดเล็กลงและใช้ทรัพยากรน้อยลงในแง่ของการรวบรวมข้อมูล

ใน Computer Vision และโดยเฉพาะอย่างยิ่งเกี่ยวกับชุดข้อมูลการจดจำใบหน้า (FR) ผู้เขียนยืนยันว่าผลประโยชน์ขององค์กร รัฐ และเอกชนมักขัดแย้งกัน:

'สถาบันขององค์กรและรัฐบาลมีวัตถุประสงค์ที่อาจขัดแย้งกับความเป็นส่วนตัว (เช่น การสอดแนม) และการให้น้ำหนักของลำดับความสำคัญเหล่านี้มีแนวโน้มที่จะแตกต่างจากที่จัดขึ้นโดยนักวิชาการหรือผู้มีส่วนได้ส่วนเสียทางสังคมในวงกว้างของ AI'

สำหรับงานการจดจำใบหน้า นักวิจัยพบว่าอุบัติการณ์ของชุดข้อมูลทางวิชาการล้วน ๆ ลดลงอย่างมากเมื่อเทียบกับค่าเฉลี่ย:

'[สี่] จากแปดชุดข้อมูล (33.69% ของการใช้งานทั้งหมด) ได้รับการสนับสนุนโดยเฉพาะจากองค์กร กองทัพสหรัฐฯ หรือรัฐบาลจีน (MS-Celeb-1M, CASIA-Webface, IJB-A, VggFace2) ในที่สุด MS-Celeb-1M ถูกถอนออกเนื่องจากการโต้เถียงเกี่ยวกับคุณค่าของความเป็นส่วนตัวสำหรับผู้มีส่วนได้ส่วนเสียต่างๆ'

ชุดข้อมูลยอดนิยมที่ใช้ในชุมชนการวิจัยการสร้างภาพและการจดจำใบหน้า

ในกราฟด้านบน ตามที่ผู้เขียนทราบ เรายังเห็นว่าฟิลด์ล่าสุดของ Image Generation (หรือการสังเคราะห์รูปภาพ) ค่อนข้างพึ่งพิงอย่างมากกับชุดข้อมูลที่มีอยู่ซึ่งเก่ากว่ามาก ซึ่งไม่ได้มีไว้สำหรับการใช้งานนี้

ในความเป็นจริง เอกสารนี้สังเกตแนวโน้มที่เพิ่มขึ้นสำหรับ 'การโยกย้าย' ของชุดข้อมูลให้ห่างไกลจากวัตถุประสงค์ที่ตั้งใจไว้ นำมาซึ่งคำถามเกี่ยวกับความเหมาะสมของชุดข้อมูลเหล่านี้สำหรับความต้องการของภาคส่วนการวิจัยใหม่หรือภายนอก และขอบเขตที่ข้อจำกัดด้านงบประมาณอาจ 'สร้าง' ขอบเขตของความทะเยอทะยานของนักวิจัยในกรอบที่แคบลงทั้งจากวัสดุที่มีอยู่และโดยวัฒนธรรมที่หมกมุ่นอยู่กับการจัดอันดับเกณฑ์มาตรฐานแบบปีต่อปีซึ่งชุดข้อมูลใหม่นั้นยากที่จะดึงดูด

'การค้นพบของเรายังระบุว่าชุดข้อมูลมีการถ่ายโอนระหว่างชุมชนงานต่างๆ อย่างสม่ำเสมอ ในตอนท้ายสุด ชุดข้อมูลเกณฑ์มาตรฐานส่วนใหญ่ที่เผยแพร่สำหรับชุมชนงานบางชุมชนถูกสร้างขึ้นสำหรับงานอื่นๆ'

เกี่ยวกับแสงสว่างของแมชชีนเลิร์นนิง (รวมทั้งแอนดรูว์ อึ้ง) ซึ่งเรียกร้องให้มีความหลากหลายและการดูแลชุดข้อมูลมากขึ้นในช่วงไม่กี่ปีที่ผ่านมา ผู้เขียนสนับสนุนความรู้สึกดังกล่าว แต่เชื่อว่าความพยายามในลักษณะนี้ แม้ว่าจะประสบความสำเร็จ แต่อาจถูกบั่นทอนลงได้ด้วยการพึ่งพาผลลัพธ์ของ SOTA และชุดข้อมูลที่จัดตั้งขึ้นในปัจจุบัน :

'การวิจัยของเราชี้ให้เห็นว่าการเรียกร้องให้นักวิจัย ML พัฒนาชุดข้อมูลมากขึ้น และเปลี่ยนโครงสร้างสิ่งจูงใจเพื่อให้การพัฒนาชุดข้อมูลมีคุณค่าและได้รับรางวัล อาจไม่เพียงพอที่จะกระจายการใช้งานชุดข้อมูลและมุมมองที่จะกำหนดและกำหนดวาระการวิจัย MLR ในท้ายที่สุด

'นอกเหนือจากการสร้างแรงจูงใจในการพัฒนาชุดข้อมูลแล้ว เราสนับสนุนการแทรกแซงนโยบายที่เน้นความเสมอภาค ซึ่งให้ความสำคัญกับการระดมทุนจำนวนมากสำหรับผู้คนในสถาบันที่มีทรัพยากรน้อยเพื่อสร้างชุดข้อมูลคุณภาพสูง สิ่งนี้จะกระจาย - จากมุมมองทางสังคมและวัฒนธรรม - ชุดข้อมูลมาตรฐานที่ใช้ในการประเมินวิธีการ ML สมัยใหม่'

 6 ธันวาคม 2021, 4:49 น. GMT+2 – แก้ไขความเป็นเจ้าของในบรรทัดแรก – ศศ.ม