มุมมองของ Anderson
Adobe และ Meta วิจารณ์การใช้การศึกษาผู้ใช้อย่างผิดวิธีในการวิจัยคอมพิวเตอร์วิทัศน์

ประเด็นสำคัญการศึกษาผู้ใช้แบบ crowdsourced…
ดูเพิ่มเติม
- การศึกษาผู้ใช้แบบ crowdsourced ในด้านคอมพิวเตอร์วิทัศน์มักถูกหลอกลวงโดยผู้ปฏิบัติงานที่เดาคำตอบที่ต้องการแทนที่จะคิดอย่างมีวิจารณญาณ
- ผู้ตรวจสอบเริ่มเรียกร้องให้มีการศึกษาผู้ใช้เป็นไม้ค้ำยันมากขึ้น โดยกดดันให้ผู้เขียนผลิตการประเมินที่ไร้ความหมายสำหรับบทความที่ด้อยคุณภาพ
- นักวิจัยต้องคัดเลือกผู้ใช้เป้าหมายในสภาพแวดล้อมจริง และหลีกเลี่ยงการระบุผลลัพธ์ว่าเป็น 'วิธีการของเรา' เพื่อป้องกันอคติในผลการศึกษา
แอดโอบี (ADBE ) และ เมต้า ร่วมกับมหาวิทยาลัยวอชิงตัน ได้ตีพิมพ์บทวิจารณ์ที่กว้างขวางเกี่ยวกับสิ่งที่พวกเขาเรียกว่าการใช้การศึกษาผู้ใช้อย่างไม่เหมาะสมและในทางที่ผิดในด้านการมองเห็นของคอมพิวเตอร์ (CV) ที่เพิ่มขึ้น
การวิจัยผู้ใช้เคยจำกัดอยู่ในพื้นที่ใกล้เคียงหรือนักศึกษาในมหาวิทยาลัยที่เข้าร่วมการวิจัย แต่ปัจจุบันได้ย้ายไปสู่แพลตฟอร์มการวิจัยผู้ใช้แบบออนไลน์ เช่น Amazon Mechanical Turk (AMT) เป็นส่วนใหญ่
ในบรรดาคำวิพากษ์วิจารณ์ที่กว้างขวาง บทความวิจัยใหม่โต้แย้งว่าโครงการวิจัยถูกกดดันให้ทำการวิจัยผู้ใช้โดยผู้ที่ตรวจสอบบทความวิจัย บ่อยครั้งการวิจัยผู้ใช้ถูกออกแบบไม่ดี และมีการจ้างการวิจัยผู้ใช้โดยที่ตรรกะของโครงการไม่สนับสนุนแนวทางนี้ และบ่อยครั้งการวิจัยผู้ใช้ถูก ‘โกง’ โดยผู้ทำงานแบบฝูงชน (crowdworkers) ที่ ‘ค้นหาคำตอบที่ต้องการ’ แทนที่จะคิดเกี่ยวกับปัญหาอย่างแท้จริง
บทความวิจัยที่มี 15 หน้า (ชื่อเรื่องว่า การวิจัยผู้ใช้ที่ดีขึ้นในด้านกราฟิกและวิชั่น) ที่ประกอบเป็นเนื้อหาส่วนกลางของบทความวิจัยใหม่นี้ ได้กล่าวถึงคำวิพากษ์วิจารณ์อื่นๆ อีกมากมายเกี่ยวกับวิธีการที่การวิจัยผู้ใช้แบบฝูงชนอาจขัดขวางความก้าวหน้าในด้านการมองเห็นของคอมพิวเตอร์ เช่น การรู้จำภาพและ การสังเคราะห์ภาพ
แม้ว่าบทความจะกล่าวถึงปัญหาที่กว้างขวางเกี่ยวกับการวิจัยผู้ใช้ แต่คำวิพากษ์วิจารณ์ที่รุนแรงที่สุดเกี่ยวกับวิธีการที่การประเมินผลลัพธ์ (output evaluation) ในการวิจัยผู้ใช้ (เช่น เมื่อมีการจ่ายเงินให้ผู้ทำงานแบบฝูงชนในการทำการประเมินมูลค่าของผลลัพธ์จากอัลกอริทึมการสร้างภาพใหม่) อาจส่งผลเสียต่อทั้งอุตสาหกรรม
มาทำความรู้จักกับบางจุดสำคัญจากบทความกัน
การตีความแบบเร้าอารมณ์
ในบรรดาการแนะนำสำหรับผู้ที่ตีพิมพ์ผลงานวิจัยในด้านการมองเห็นของคอมพิวเตอร์ คือการ ‘ตีความผลลัพธ์อย่างระมัดระวัง’ บทความวิจัยอ้างถึงตัวอย่างหนึ่งในปี 2021 เมื่องานวิจัยใหม่ อ้างว่า ‘บุคคลไม่สามารถระบุงานศิลปะที่สร้างโดย AI ได้อย่างแม่นยำ’ และถูกสื่อกระแสหลักนำไปขยายความแบบเร้าอารมณ์อย่างกว้างขวาง

หนึ่งในรายงานสื่อที่มีชื่อเสียงเกี่ยวกับงานวิจัยในปี 2021 ‘บทบาทของความรู้เกี่ยวกับการสร้างงานศิลปะด้วย AI ในการประเมินงานศิลปะ’ โดย Harsha Gangadharbatla ซึ่งถูกอ้างอิงในบทความวิจัยใหม่นี้ ในที่นี้ Daily Mail อ้างอิง The Times ซึ่งอยู่หลังเพย์วอลล์ แหล่งที่มา: Daily Mail (ลิงก์เก็บถาวร) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf
ผู้เขียนระบุว่าเคยเห็นผู้ตรวจสอบและบรรณาธิการกำหนดข้อเรียกร้องการประเมินที่หนักหน่วงต่อบทความที่ส่งมา โดยไม่คำนึงว่าการประเมินนั้นจะมีความหมายหรือคุณค่าจริงหรือไม่
‘ในงานวิจัยหนึ่ง ที่ตีพิมพ์ในวารสารจิตวิทยา ได้รวบรวมภาพงานศิลปะดั้งเดิมและภาพที่สร้างโดยเทคโนโลยี AI จากอินเทอร์เน็ต และให้ผู้ทำงานแบบฝูงชนระบุว่าภาพใดมาจากแหล่งใด จากผลลัพธ์สรุปว่า “บุคคลไม่สามารถระบุงานศิลปะที่สร้างโดย AI ได้อย่างแม่นยำ” ซึ่งเป็นข้อสรุปที่กว้างเกินไปและไม่ได้มาจากการทดลองโดยตรง’
‘นอกจากนี้ บทความวิจัยไม่ได้รายงานรายละเอียดเกี่ยวกับชุดภาพที่รวบรวมหรือใช้ ทำให้การตรวจสอบข้ออ้างและทำซ้ำผลลัพธ์เป็นเรื่องที่ยากหรือเป็นไปไม่ได้’
‘สิ่งที่น่ากังวลมากกว่านั้นคือสื่อมวลชนได้รายงานผลลัพธ์เหล่านี้ด้วยข้อความที่ทำให้เข้าใจผิดว่า AI สามารถสร้างงานศิลปะได้ด้วยตนเองเช่นเดียวกับมนุษย์’
การรับมือกับผู้ทำงานแบบฝูงชนที่โกง
ผู้ทำงานแบบฝูงชนไม่ได้รับค่าจ้างมากนักสำหรับการทำงานของพวกเขา เนื่องจากโอกาสก้าวหน้าของพวกเขามีน้อยมาก และโอกาสที่ดีที่สุดในการได้รับค่าจ้างคือการทำงานให้เสร็จสิ้นจำนวนมาก งานวิจัยชี้ว่า หลายคนจึงมีแนวโน้มที่จะหาวิธี ‘การหลีกเลี่ยง’ เพื่อเพิ่มความเร็วในการทำงานปัจจุบันเพื่อที่จะไปยังงานต่อไป
บทความวิจัยสังเกตว่าผู้ทำงานแบบฝูงชน เช่นเดียวกับระบบการเรียนรู้ของเครื่อง จะเรียนรู้รูปแบบที่ซ้ำกันในการวิจัยผู้ใช้ที่นักวิจัยออกแบบ และเพียงแค่สรุป ‘คำตอบที่ถูกต้อง’ หรือ ‘คำตอบที่ต้องการ’ แทนที่จะให้คำตอบที่แท้จริงต่อเนื้อหาของงาน
เพื่อจุดนี้ บทความวิจัยแนะนำให้ทำการตรวจสอบผู้ทำงานแบบฝูงชน ซึ่งเรียกว่า ‘การทดสอบตรวจสอบความใส่ใจ’ หรือ ‘การตรวจสอบ’ – โดยพื้นฐานแล้ว คือส่วนหนึ่งของการทดสอบที่ออกแบบมาเพื่อดูว่าผู้ทำงานแบบฝูงชนกำลังให้ความสนใจหรือไม่ กำลังคลิกแบบสุ่มหรือไม่ หรือกำลังทำตามรูปแบบที่พวกเขาได้เรียนรู้จากการทดสอบแทนการคิดเกี่ยวกับการเลือกของพวกเขา
ผู้เขียนบทความวิจัยระบุว่า:
‘ตัวอย่างเช่น ในกรณีของภาพที่มีสไตล์หนึ่งภาพในคู่สามารถเป็นผลลัพธ์ที่มีคุณภาพต่ำโดยเจตนาได้ ในระหว่างการวิเคราะห์ข้อมูลจากผู้เข้าร่วมที่ล้มเหลวในการตรวจสอบที่กำหนดไว้ล่วงหน้าสามารถถูกทิ้งได้ โดยถือว่ามาจากผู้เข้าร่วมที่ไม่สนใจหรือไม่สอดคล้องกัน’
‘การตรวจสอบเหล่านี้ควรจะถูกแทรกเข้าไปในงานวิจัยแบบสุ่ม และควรจะดูเหมือนกับการทดสอบอื่นๆ ไม่เช่นนั้น ผู้เข้าร่วมอาจจะรู้ว่าการทดสอบใดที่เป็นการตรวจสอบ’
การรับมือกับนักวิจัยที่โกง
โดยไม่ตั้งใจหรือตั้งใจ นักวิจัยสามารถเป็นส่วนหนึ่งของการ ‘โกง’ นี้ มีหลายวิธีที่นักวิจัยสามารถ ‘ส่งสัญญาณ’ ที่ต้องการให้ผู้ทำงานแบบฝูงชนได้
ตัวอย่างเช่น บทความวิจัยสังเกตว่าโดยการเลือกผู้ทำงานแบบฝูงชนโดยมีประวัติที่อาจจะให้คำตอบ ‘ที่ต้องการ’ ในการวิจัย ซึ่งอาจจะพิสูจน์สมมติฐานที่อาจจะล้มเหลวในกลุ่มที่ไม่ได้เลือก
ภาษาเป็นปัญหาหลัก:
‘คำพูดควรสะท้อนถึงเป้าหมายในระดับสูง เช่น “ภาพไหนมีartifact น้อยกว่า?” แทนที่จะถาม “ภาพไหนมีartifact สีในบริเวณใบหน้าน้อยกว่า?” ในทางกลับกัน คำพูดที่ไม่ชัดเจนจะทำให้เข้าใจผิด เช่น “ภาพไหนดีกว่า?” อาจจะถูกเข้าใจว่า “ภาพไหนสวยกว่า?” ในขณะที่เจตนาอาจจะอยู่ที่การประเมิน “ภาพไหนมีความจริงมากกว่า?”‘
วิธีอื่นในการ ‘มีอิทธิพลต่อผู้เข้าร่วม’ คือการให้พวกเขาได้รับทราบว่าหนึ่งในตัวเลือกที่อยู่ตรงหน้าพวกเขาเป็นวิธีการของนักวิจัย ไม่ใช่วิธีการก่อนหน้าหรือตัวอย่างสุ่ม
ผู้เขียนบทความวิจัยระบุว่า:
‘ผู้เข้าร่วมอาจจะตอบด้วยคำตอบที่นักวิจัยต้องการ โดยไม่ได้ตั้งใจหรือตั้งใจ ซึ่งเรียกว่า “อิทธิพลจากการพยายามเป็นผู้เข้าร่วมที่ดี” อย่าใช้ชื่อผลลัพธ์อย่าง “วิธีการของเรา” หรือ “วิธีการที่มีอยู่” ผู้เข้าร่วมอาจจะถูกมีอิทธิพลจากพลวัตของอำนาจ (เช่น นักวิจัยที่ควบคุมการวิจัย) นักวิจัยที่ใช้ภาษาเพื่อกระตุ้นผู้เข้าร่วม (เช่น “คุณชอบเครื่องมือนี้ที่ฉันสร้างเมื่อวานนี้หรือไม่?”) และความสัมพันธ์ระหว่างนักวิจัยและผู้เข้าร่วม (เช่น ถ้าทั้งสองทำงานในห้องปฏิบัติการหรือบริษัทเดียวกัน)’
การวางรูปแบบของงานในงานวิจัยผู้ใช้สามารถส่งผลต่อความเป็นกลางของงานได้ ผู้เขียนบทความวิจัยสังเกตว่าถ้าในงานนำเสนอแบบข้างๆ กัน (side-by-side) ภาพจากวิธีฐานจะถูกวางไว้ทางซ้ายอย่างสม่ำเสมอ (เช่น ‘ภาพ A’) และผลลัพธ์ของอัลกอริทึมใหม่จะถูกวางไว้ที่ด้านขวา ผู้เข้าร่วมอาจจะสรุปได้ว่า B เป็นตัวเลือก ‘ที่ดีที่สุด’ ตามสมมติฐานที่เพิ่มขึ้นของนักวิจัยเกี่ยวกับผลลัพธ์ที่ต้องการ
“รายละเอียดการนำเสนออื่น ๆ เช่น ขนาดภาพบนจอและระยะห่างระหว่างภาพ อาจมีอิทธิพลต่อคำตอบของผู้เข้าร่วม การทดลองนำร่องโดยใช้การตั้งค่าหลายแบบช่วยตรวจพบปัจจัยกวนเหล่านี้ได้ตั้งแต่เนิ่น ๆ”
คนผิดสำหรับผลิตภัณฑ์ที่ไม่ถูกต้อง
ผู้เขียนบทความวิจัยสังเกตเห็นหลายจุดในบทความว่าผู้ทำงานแบบฝูงชนเป็นทรัพยากรที่ ‘ทั่วไป’ มากกว่าที่คาดไว้ในทศวรรษก่อน เมื่อนักวิจัยถูกบังคับให้ขอความช่วยเหลือจากท้องถิ่น บ่อยครั้งจากนักศึกษาที่หารายได้เสริมจากการเข้าร่วมการศึกษา
ความต้องการการมีส่วนร่วมอย่างแข็งขันทำให้ผู้ทำงานแบบฝูงชนมีเวลาน้อยในการ ‘ไม่แยแส’ กับผลิตภัณฑ์ที่พวกเขาได้รับการทดสอบ และผู้เขียนบทความวิจัยแนะนำให้นักวิจัย ‘ระบุผู้ใช้เป้าหมาย‘ ก่อนพัฒนาและทดสอบผลิตภัณฑ์หรือบริการที่วางแผนไว้ – ไม่เช่นนั้นพวกเขาอาจจะสร้างสิ่งที่ยากที่จะสร้าง แต่ไม่มีใครต้องการจริงๆ
‘แท้จริงแล้ว เราได้เห็นนักวิจัยด้านกราฟิกหรือการมองเห็นพยายามที่จะนำงานวิจัยของตนไปใช้ในอุตสาหกรรม แต่พบว่าไม่ได้ตอบสนองความต้องการของผู้ใช้เป้าหมาย นักวิจัยที่ไม่ได้ทำการค้นหาความต้องการในตอนแรกอาจจะพบว่าผู้ใช้ไม่ต้องการหรือไม่สนใจเครื่องมือที่พวกเขาใช้เวลาหลายเดือนหรือหลายปีในการพัฒนา’
‘เครื่องมือเหล่านี้อาจทำงานไม่ดีในงานศึกษา เนื่องจากผู้ใช้อาจพบว่าเทคโนโลยีสร้างผลลัพธ์ที่ไม่มีประโยชน์ ไม่เกี่ยวข้อง หรือไม่คาดคิด’
ผู้เขียนบทความวิจัยสังเกตเห็นว่าผู้ใช้ที่อาจจะใช้ผลิตภัณฑ์จริงๆ ควรจะถูกเลือกให้เข้าร่วมในงานศึกษา แม้ว่าพวกเขาจะหาตัวได้ยากหรืออาจมีต้นทุนสูงกว่าก็ตาม
แทนที่จะกลับไปหาผู้เข้าร่วมเฉพาะในมหาวิทยาลัย ซึ่งอาจเป็นการถอยหลัง ผู้เขียนเสนอให้นักวิจัยสรรหาผู้ใช้ในบริบทการใช้งานจริงด้วยการติดต่อชุมชนที่เกี่ยวข้อง
‘ตัวอย่างเช่น อาจจะมีกระดานสนทนาออนไลน์หรือชุมชนโซเชียลมีเดียที่เกี่ยวข้องที่สามารถใช้ได้ การพบกับสมาชิกหนึ่งคนของชุมชนอาจจะนำไปสู่การ ‘การสุ่มตัวอย่างแบบลูกโซ่‘ (snowball sampling) ซึ่งผู้ใช้ที่เกี่ยวข้องสามารถแนะนำให้รู้จักกับบุคคลอื่นๆ ในเครือข่ายของพวกเขา’
การขอความคิดเห็น
บทความวิจัยยังแนะนำให้ขอความคิดเห็นเชิงคุณภาพจากผู้ที่เข้าร่วมในงานวิจัยผู้ใช้ ไม่น้อยกว่าการเปิดเผยสมมติฐานที่ผิดของนักวิจัย
‘สิ่งเหล่านี้อาจจะช่วยแก้ไขปัญหาในงานศึกษา แต่พวกเขายังอาจจะเปิดเผยด้านที่ไม่คาดคิดของผลลัพธ์ที่มีอิทธิพลต่อการให้คะแนนของผู้ใช้ ผู้เข้าร่วมไม่พอใจกับผลลัพธ์เพราะไม่สมจริง ไม่สวยงาม มีอคติ หรือเหตุผลอื่น?’
‘หากไม่มีข้อมูลเชิงคุณภาพ นักวิจัยอาจจะพยายามปรับปรุงอัลกอริทึมให้สมจริงมากกว่า แต่ไม่ได้แก้ไขปัญหาเบื้องหลังของผู้ใช้’
เช่นเดียวกับการแนะนำอื่นๆ ในบทความวิจัย การแนะนำนี้ต้องการการลงทุนเวลาและเงินเพิ่มเติมจากนักวิจัย ในวัฒนธรรมที่มีการใช้การวิจัยผู้ใช้แบบฝูงชนอย่างรวดเร็วและแทบเป็นข้อบังคับ ซึ่งมักจะไม่แพง และสอดคล้องกับวัฒนธรรมที่ขับเคลื่อนด้วยการวิจัยที่วิพากษ์วิจารณ์ทั่วทั้งบทความ
การวิจัยที่มากเกินไป
บทความวิจัยชี้ว่าการวิจัยผู้ใช้กำลังจะกลายเป็น ‘ข้อกำหนดขั้นต่ำ’ ในชุมชนการมองเห็นของคอมพิวเตอร์ก่อนการพิมพ์ แม้ว่าจะเป็นกรณีที่การวิจัยไม่สามารถออกแบบได้อย่างสมเหตุสมผล (เช่น กับแนวคิดที่ใหม่หรือไม่สำคัญที่ไม่มีการวิเคราะห์แบบ ‘เหมือนกัน’ ที่จะดำเนินการ และอาจจะไม่เหมาะสมต่อการวัดที่จะให้ผลลัพธ์ที่มีความหมายในงานวิจัยผู้ใช้)
ตัวอย่างเช่น ผู้เขียนบทความวิจัยอ้างถึงกรณีของงานวิจัยที่ได้รับการตรวจสอบจาก ICLR 2022 ซึ่งมีการประเมินจากผู้ตรวจสอบที่ มีให้อ่านออนไลน์ (ภาพถ่ายเก็บถาวรเมื่อวันที่ 24 มิถุนายน 2022; ลิงก์มาจากบทความวิจัยใหม่)
‘ผู้ตรวจสอบสองคนให้คะแนนลบมากเนื่องจากไม่มีการวิจัยผู้ใช้ เป็นต้น บทความได้รับการยอมรับพร้อมสรุปว่าผู้ตรวจสอบใช้ “การวิจัยผู้ใช้” เป็นข้ออ้างในการให้คะแนนลบ และกล่าวหาว่าพวกเขาเป็นคนปิดกั้น’
‘การอภิปรายที่สมบูรณ์คุ้มค่าในการอ่าน การตัดสินใจสุดท้ายระบุว่าการยื่นเสนอแนะซอฟต์แวร์ไลบรารีที่ ได้รับการใช้งานมาหลายปี โดยมีผู้ใช้หลายพันคน (ข้อมูลที่ไม่ได้รับการเปิดเผยต่อผู้ตรวจสอบในการทบทวนแบบไม่ระบุชื่อ) จะถูกปฏิเสธหรือไม่ หากคณะกรรมการไม่มีข้อมูลนี้?
‘และหากผู้เขียนได้ทำการวิจัยผู้ใช้เพิ่มเติม จะมีความหมายหรือไม่? และจะเพียงพอในการโน้มน้าวผู้ตรวจสอบหรือไม่?’
ผู้เขียนบทความวิจัยระบุว่า:
‘เรายังได้เห็นผู้เขียนและผู้ตรวจสอบใช้การประเมิน MTurk เป็นเครื่องมือในการหลีกเลี่ยงการตัดสินใจที่ยาก การวิจารณ์จากผู้ตรวจสอบอย่าง “ฉันไม่สามารถบอกได้ว่าภาพไหนดีกว่า อาจจะช่วยได้หากมีการวิจัยผู้ใช้” เป็นอันตรายและกระตุ้นให้ผู้เขียนทำการวิจัยเพิ่มเติมที่จะไม่ปรับปรุงผลงานที่ไม่ดี’
ผู้เขียนปิดท้ายด้วยการเรียกร้องให้ชุมชนคอมพิวเตอร์วิทัศน์และคอมพิวเตอร์กราฟิกพิจารณาความจำเป็นของการขอศึกษาผู้ใช้อย่างรอบคอบ แทนที่จะปล่อยให้วัฒนธรรมการบังคับทำการศึกษากลายเป็นค่าเริ่มต้นตายตัว เพราะงานที่น่าสนใจบางอย่างในกรณีขอบเขตอาจไม่เข้ากับกระบวนการวิจัยและส่งตีพิมพ์ที่ให้ผลตอบแทนหรือผลผลิตสูงที่สุด
ผู้เขียนบทความวิจัยสรุป:
‘หากเป้าหมายหลักของการวิจัยผู้ใช้คือเพื่อทำให้ผู้ตรวจสอบพอใจมากกว่าที่จะสร้างความรู้ใหม่ๆ ควรตั้งคำถามถึงประโยชน์และความถูกต้องของการวิจัยผู้ใช้เหล่านี้โดยผู้เขียนและผู้ตรวจสอบ การลงโทษงานที่ไม่มีการประเมินผู้ใช้มีผลกระทบโดยไม่ตั้งใจในการกระตุ้นให้ทำการวิจัยผู้ใช้ที่ทำอย่างเร่งรีบและไม่ได้ทำอย่างดี’
‘สิ่งที่ต้องจำไว้คือ “การวิจัยผู้ใช้ที่ไม่ดีนำไปสู่ผลลัพธ์ที่ไม่ดี” และการวิจัยดังกล่าวจะดำเนินต่อไปหากผู้ตรวจสอบยังคงต้องการมัน’
* การแปลงอ้างอิงภายในของบทความวิจัยเป็นลิงก์ที่เกี่ยวข้อง† การเน้นของฉัน ไม่ใช่ของผู้เขียน
ตีพิมพ์ครั้งแรกเมื่อวันที่ 24 มิถุนายน 2022












