กองกำลังที่ ‘มองไม่เห็น’ และมักไม่มีความสุข ที่ตัดสินอนาคตของ AI

รายงานสองฉบับใหม่ รวมถึงรายงานที่นำโดย Google Research ซึ่งแสดงความกังวลว่าแนวโน้มปัจจุบันที่จะพึ่งพากองกำลังคนงานกิกออนラインที่ถูกและไม่มีอำนาจในการสร้างความจริงพื้นฐานสำหรับระบบการเรียนรู้ของเครื่องจักรอาจมีผลกระทบทางด้านล่างที่สำคัญต่อ AI

ในบรรดาความคิดเห็นต่างๆ รายงานของ Google พบว่าความลำเอียงของคนงานฝูงชนที่จะฝังตัวลงในระบบ AI ซึ่งความจริงพื้นฐานของระบบจะขึ้นอยู่กับการตอบสนองของพวกเขา ความไม่ยุติธรรมในการทำงานที่แพร่หลาย (รวมถึงในสหรัฐอเมริกา) บนแพลตฟอร์มการทำงานฝูงชนอาจทำให้คุณภาพของการตอบสนองลดลง และระบบ ‘コンเซนซัส’ (โดยพื้นฐานแล้วเป็น ‘การเลือกตั้งขนาดเล็ก’ สำหรับบางส่วนของความจริงพื้นฐานที่จะส่งผลกระทบต่อระบบ AI ลง游) ซึ่งปัจจุบันแก้ไขข้อพิพาทสามารถ ‘ทิ้ง’ การตอบสนองที่ดีที่สุดและ/หรือมีข้อมูลมากที่สุด

นี่คือข่าวร้าย ข่าวร้ายมากขึ้นคือวิธีการแก้ไขปัญหาเกือบทั้งหมดมีราคาแพง ต้องใช้เวลา หรือทั้งสองอย่าง

ความไม่มั่นคง การปฏิเสธแบบสุ่ม และความขุ่นเคือง

รายงานแรก จากนักวิจัยของ Google 5 คน มีชื่อว่า ความจริงพื้นฐานของใคร? การคำนวณอัตลักษณ์ส่วนบุคคลและอัตลักษณ์รวมที่อยู่ภายใต้การทำเครื่องหมายข้อมูล รายงานที่สอง จากนักวิจัย 2 คนจาก Syracuse University ใน New York มีชื่อว่า ต้นกำเนิดและคุณค่าของความไม่เห็นด้วยระหว่างผู้ทำเครื่องหมายข้อมูล: การศึกษากรณีของความแตกต่างระหว่างบุคคลในการทำเครื่องหมายข้อมูลเกี่ยวกับคำพูดที่เกลียดชัง

รายงานของ Google ระบุว่าคนงานฝูงชนที่มีการประเมินบ่อยครั้งซึ่งเป็นพื้นฐานในการกำหนดระบบการเรียนรู้ของเครื่องจักรที่อาจส่งผลกระทบต่อชีวิตของเราในอนาคต มักจะทำงานภายใต้ข้อจำกัดที่อาจส่งผลกระทบต่อวิธีการตอบสนองต่อการมอบหมายงาน

ตัวอย่างเช่น นโยบายปัจจุบันของ Amazon Mechanical Turk อนุญาตให้ผู้ขอ (ผู้ที่มอบหมายงาน) ปฏิเสธงานของคนงานฝูงชนโดยไม่ต้องรับผิดชอบ*:

‘คนงานฝูงชนส่วนใหญ่ (94%) มีงานที่ถูกปฏิเสธหรือไม่ได้รับค่าจ้าง ยังคงให้สิทธิ์ผู้ขอในการควบคุมข้อมูลที่ได้รับโดยไม่คำนึงถึงว่าพวกเขาจะยอมรับหรือปฏิเสธมัน Roberts (2016) อธิบายระบบนี้ว่าเป็น “การขโมยค่าจ้าง”

‘นอกจากนี้ การปฏิเสธงานและถือค่าจ้างเป็นเรื่องที่เจ็บปวด เนื่องจากการปฏิเสธมักเกิดจากคำสั่งที่ไม่ชัดเจนและขาดช่องทางให้ข้อเสนอแนะที่มีความหมาย คนงานฝูงชนหลายคนรายงานว่าการสื่อสารที่ไม่ดีจะส่งผลกระทบต่อการทำงานของพวกเขา’

ผู้เขียนรายงานแนะนำให้นักวิจัยที่ใช้บริการอาสาสมัครเพื่อพัฒนาเซตข้อมูลพิจารณาว่าแพลตฟอร์มการทำงานฝูงชนจะปฏิบัติต่อคนงานอย่างไร พวกเขายังระบุด้วยว่าในสหรัฐอเมริกา คนงานฝูงชนถูกจัดประเภทเป็น ‘ผู้รับจ้างอิสระ’ ซึ่งหมายความว่าการทำงานไม่ได้รับการควบคุมและไม่ได้รับค่าจ้างขั้นต่ำตามที่กฎหมาย Fair Labor Standards Act กำหนด

บริบทมีความสำคัญ

รายงานยังวิพากษ์วิจารณ์การใช้แรงงานทั่วโลกแบบสุ่มสำหรับการทำเครื่องหมายข้อมูลโดยไม่คำนึงถึงภูมิหลังของคนงาน

เมื่อมีงบประมาณ นักวิจัยที่ใช้ AMT และแพลตฟอร์มการทำงานฝูงชนอื่นๆ มักจะให้งานเดียวกันแก่คนงานฝูงชน 4 คน และยึดตาม ‘หลักการ多数’ ในผลลัพธ์

ประสบการณ์เชิงบริบท ซึ่งรายงานโต้แย้งว่าถูกมองข้ามอย่างมาก ตัวอย่างเช่น หากคำถามที่เกี่ยวข้องกับ การเหยียดเพศ ถูกแจกจ่ายแบบสุ่มระหว่างผู้ชาย 3 คนอายุ 18-57 ปี และผู้หญิง 1 คนอายุ 29 ปี ผู้ชาย 3 คนจะชนะ ยกเว้นในกรณีที่นักวิจัยให้ความสำคัญกับคุณสมบัติของคนงานฝูงชน

ในทำนองเดียวกัน หากคำถามเกี่ยวกับ พฤติกรรมของแก๊งใน芝加哥 ถูกแจกจ่ายระหว่างผู้หญิงคนหนึ่งจากชนบทสหรัฐอเมริกา อายุ 36 ปี ผู้ชายคนหนึ่งจาก芝加哥 อายุ 42 ปี และคนงานฝูงชน 2 คนจาก Bangalore และ Denmark คนที่มีแนวโน้มที่จะ受到ผลกระทบมากที่สุดจากปัญหา (ผู้ชายจาก芝加哥) มีเพียง 25% ของส่วนแบ่งในการตัดสินใจ ในการกำหนดค่าแบบสุ่ม

นักวิจัยระบุว่า:

‘แนวคิดเรื่อง “ความจริงเดียว” ในการตอบสนองของคนงานฝูงชนเป็นเพียงความเชื่อเท่านั้น ความไม่เห็นด้วยระหว่างคนงานฝูงชน ซึ่งมักถูกมองว่าเป็นลบ สามารถให้สัญญาณที่มีคุณค่าได้ นอกจากนี้ เนื่องจากคนงานฝูงชนหลายคนมีการกระจายทางสังคมและประชากรที่ไม่สมดุล จึงมีผลกระทบต่อประชากรที่แสดงในเซตข้อมูลและประชากรที่เผชิญกับความท้าทายของการทำงานฝูงชน’

‘การคำนวณความไม่สมดุลในประชากรคนงานฝูงชนเป็นสิ่งสำคัญสำหรับการให้บริบทแก่เซตข้อมูลและรับประกันการใช้งานที่รับผิดชอบต่อไป ตัวอย่างเช่น มีคุณค่าในการยอมรับและคำนวณภูมิหลังทางสังคมและวัฒนธรรมของคนงาน – ทั้งจากมุมมองของคุณภาพข้อมูลและผลกระทบทางสังคม’

ไม่มีมุมมอง ‘เป็นกลาง’ ในหัวข้อที่ร้อนแรง

แม้ว่าความคิดเห็นของคนงานฝูงชน 4 คนจะไม่เอนเอียง ทั้งทางประชากรหรือโดยวิธีการอื่น รายงานของ Google ก็แสดงความกังวลว่านักวิจัยไม่ได้คำนึงถึงประสบการณ์ชีวิตหรือทัศนคติทางปรัชญาของคนงานฝูงชน:

‘ในขณะที่บางงานมักจะถามคำถามที่มีคำตอบที่ถูกต้อง (มีหน้าคนในภาพหรือไม่?) บ่อยครั้งเซตข้อมูลมุ่งหมายที่จะจับคำตัดสินเกี่ยวกับงานที่มีคำตอบที่ไม่มีคำตอบที่ถูกต้องทั่วไป (ข้อความนี้เป็นข้อความที่ไม่เหมาะสมหรือไม่? เป็นสิ่งสำคัญที่จะต้องตัดสินใจว่าจะพึ่งพาความตัดสินใจของคนงานฝูงชนหรือไม่

เกี่ยวกับขอบเขตเฉพาะในการแก้ไขปัญหาในการทำเครื่องหมายข้อมูลเกี่ยวกับคำพูดที่เกลียดชัง รายงานของ Syracuse ระบุว่าคำถามที่มีลักษณะเฉพาะมากกว่า เช่น Is there a cat in this photograph? แตกต่างจากคำถามที่ถามคนงานฝูงชนว่าข้อความนั้นเป็น ‘有害’ หรือไม่:

‘เมื่อพิจารณาความซับซ้อนของความเป็นจริงทางสังคม การรับรู้ของคนต่อความเป็นอันตรายแตกต่างกันอย่างมาก การทำเครื่องหมายข้อมูลเกี่ยวกับเนื้อหาที่เป็นอันตรายของพวกเขาตั้งอยู่บนการรับรู้ของพวกเขาเอง’

การค้นพบว่าบุคลิกภาพและอายุมีผลกระทบอย่างมีนัยสำคัญต่อการทำเครื่องหมายข้อมูลเกี่ยวกับคำพูดที่เกลียดชัง นักวิจัยของ Syracuse สรุปว่า:

‘ผลการวิจัยเหล่านี้ชี้ให้เห็นว่าความพยายามในการรักษาความสอดคล้องในการทำเครื่องหมายข้อมูลระหว่างคนงานที่มีภูมิหลังและบุคลิกที่แตกต่างกันสำหรับคำพูดที่เกลียดชังอาจไม่ประสบความสำเร็จอย่างสมบูรณ์’

ผู้พิพากษาอาจมีความลำเอียงด้วย

การขาดความเป็นกลางนี้มีแนวโน้มที่จะเกิดขึ้นในระดับที่สูงขึ้นตามรายงานของ Syracuse ซึ่งโต้แย้งว่าการแทรกแซงด้วยมือ (หรือนโยบายอัตโนมัติที่ตัดสินโดยมนุษย์) ที่กำหนด ‘ผู้ชนะ’ ของการลงคะแนนเสียงควรมีการตรวจสอบด้วย

การเปรียบเทียบกระบวนการนี้กับการดูแลเว็บบอร์ด ผู้เขียนระบุว่า:

‘ผู้ดูแลเว็บบอร์ดสามารถตัดสินชะตากรรมของโพสต์และผู้ใช้ในเว็บบอร์ดโดยการโปรโมตหรือซ่อนโพสต์ ตลอดจนการยกย่องหรือยอมรับผู้ใช้ การตัดสินใจของผู้ดูแลเว็บบอร์ดมีผลกระทบต่อเนื้อหาที่ส่งไปยัง สมาชิกและผู้ชมในเว็บบอร์ด และโดยการขยายออกไปยังประสบการณ์ของชุมชนในการอภิปราย

‘สมมติว่าผู้ดูแลเว็บบอร์ดเป็นสมาชิกของชุมชนซึ่งมีความเป็นเนื้อเดียวกันกับสมาชิกชุมชนอื่นๆ ดูเหมือนว่าได้ว่าโครงสร้างทางจิตที่พวกเขามีใช้ในการประเมินเนื้อหา จะตรงกับโครงสร้างทางจิตของสมาชิกชุมชนอื่นๆ ‘

สิ่งนี้ให้เบาะแสบางอย่างว่าทำไมนักวิจัยของ Syracuse จึงได้ข้อสรุปที่น่าผิดหวังเกี่ยวกับอนาคตของการทำเครื่องหมายข้อมูลเกี่ยวกับคำพูดที่เกลียดชัง ความหมายคือ นโยบายและการตัดสินใจเกี่ยวกับการพิพากษาของคนงานฝูงชนไม่สามารถใช้ได้โดยการสุ่มตามหลักการ ‘ที่ยอมรับได้’ ที่ไม่ได้กำหนดไว้ที่ไหน (หรือไม่สามารถลดรูปลงเป็นโครงสร้างที่ใช้ได้ แม้ว่ามันจะ tồn tạiจริงๆ)

ผู้ที่ตัดสินใจ (คนงานฝูงชน) มีความลำเอียง และจะไม่มีประโยชน์สำหรับงานเหล่านี้หากพวกเขาไม่มีความลำเอียง เนื่องจากงานนี้ต้องให้การตัดสินใจตามคุณค่า การตัดสินใจของผู้ที่พิพากษาผลงานของคนงานฝูงชนก็เป็นการพิพากษาเช่นกันในการตั้งค่านโยบายสำหรับการพิพากษา

อาจมีนโยบายหลายร้อยข้อในกรอบการตรวจจับคำพูดที่เกลียดชังเพียงอย่างเดียว และหากไม่มีการพิจารณาแต่ละข้อโดยสิ้นเชิงจนถึงศาลสูงสุด ที่ไหนจะมาจาก ‘ความเห็นพ้องกัน’ ที่มีอำนาจ?

นักวิจัยของ Google แนะนำว่า ‘ความไม่เห็นด้วยระหว่างคนงานฝูงชนอาจมีรายละเอียดที่มีคุณค่าเกี่ยวกับงาน’ รายงานเสนอการใช้ข้อมูลอธิบายที่สะท้อนและให้บริบทแก่ความไม่เห็นด้วยในเซตข้อมูล

อย่างไรก็ตาม มันยากที่จะเห็นว่าข้อมูลที่มีบริบทเช่นนี้จะนำไปสู่การวัดที่เหมือนกัน การปรับให้เข้ากับการทดสอบมาตรฐานที่กำหนดไว้ หรือสนับสนุนผลลัพธ์ที่แน่นอน – ยกเว้นในสถานการณ์ที่ไม่สมจริงที่จะใช้กลุ่มนักวิจัยเดียวกันตลอดการทำงานต่อๆ ไป

การคัดเลือกคนงานฝูงชน

ทั้งหมดนี้สมมติว่ามีงบประมาณในโครงการวิจัยสำหรับการทำเครื่องหมายหลายครั้งที่จะนำไปสู่การลงคะแนนเสียงแบบส่วนใหญ่ ในหลายกรณี นักวิจัยพยายาม ‘คัดเลือก’ กลุ่มคนงานฝูงชนได้อย่างถูกต้องโดยการกำหนดคุณลักษณะที่คนงานควรจะมี เช่น ที่ตั้งทางภูมิศาสตร์ เพศ หรือปัจจัยทางวัฒนธรรมอื่นๆ โดยการแลกเปลี่ยนความหลากหลายกับความเฉพาะเจาะจง

รายงานของ Google ระบุว่าทางออกจากความท้าทายเหล่านี้อาจเป็นการสร้างโครงสร้างการสื่อสารที่ขยายใหญ่ขึ้นระหว่างคนงานฝูงชน เช่นเดียวกับการสื่อสารที่น้อยที่สุดซึ่งแอป Uber ระหว่างคนขับและผู้โดยสาร

การคำนึงถึงคนงานฝูงชนอย่างรอบคอบดังกล่าว จะต้องเป็นอุปสรรคต่อการทำเครื่องหมายข้อมูลแบบ Hyperscale ซึ่งนำไปสู่เซตข้อมูลที่มีปริมาณจำกัดและมีเหตุผลที่ดีสำหรับผลลัพธ์ หรือการประเมินคนงานฝูงชนที่ ‘เร่งรีบ’ โดยการได้รับข้อมูลที่จำกัดเกี่ยวกับพวกเขา และจัดให้พวกเขา ‘เหมาะสมกับงาน’ ตามข้อมูลที่ไม่เพียงพอ

นั่นคือ หากคนงานฝูงชนมีความซื่อสัตย์

คนงานฝูงชนที่ ‘ทำให้ผู้อื่นมีความสุข’ ในการทำเครื่องหมายข้อมูล

ด้วยกองกำลังที่มีรายได้น้อยกว่า 40% ของค่าจ้างขั้นต่ำของสหรัฐอเมริกา ภายใต้ การแข่งขันที่รุนแรง สำหรับการมอบหมายงานที่มีอยู่ และถูกกดดันโดย โอกาสในการทำงานที่จำกัด คนงานฝูงชนมีแรงจูงใจที่จะให้ ‘คำตอบที่ถูกต้อง’ อย่างรวดเร็วและดำเนินการต่อการมอบหมายงานต่อไป

หาก ‘คำตอบที่ถูกต้อง’ เป็นอะไรที่ซับซ้อนกว่า มีแมว/ไม่มีแมว รายงานของ Syracuse ระบุว่าคนงานฝูงชนมีแนวโน้มที่จะพยายามอนุมาน ‘คำตอบที่ยอมรับได้’ ตามเนื้อหาและบริบทของคำถาม*:

‘การแพร่กระจายของแนวคิดทางเลือกและการใช้วิธีการทำเครื่องหมายข้อมูลที่เรียบง่ายเป็นสิ่งที่ขัดขวางความก้าวหน้าของการวิจัยเกี่ยวกับคำพูดที่เกลียดชังออนไลน์ ตัวอย่างเช่น Ross และคณะ พบว่า การแสดงคำจำกัดความของ Twitter เกี่ยวกับการกระทำที่เกลียดชังให้กับคนงานฝูงชน ทำให้พวกเขาสามารถจัดตำแหน่งความคิดเห็นของตนเองให้สอดคล้องกับคำจำกัดความได้ ซึ่งนำไปสู่ความน่าเชื่อถือที่ต่ำมากในการทำเครื่องหมายข้อมูล.’

* การแปลงอ้างอิงในรายงานให้เป็นลิงก์

เผยแพร่เมื่อวันที่ 13 ธันวาคม 2021 – อัปเดตเมื่อวันที่ 18 ธันวาคม 2021: เพิ่มแท็ก