แอดโอบี และ เมต้า วิพากษ์วิจารณ์การใช้การวิจัยผู้ใช้ในด้านการมองเห็นของคอมพิวเตอร์อย่างไม่เหมาะสม

แอดโอบี และ เมต้า ร่วมกับมหาวิทยาลัยวอชิงตัน ได้ตีพิมพ์บทวิจารณ์ที่กว้างขวางเกี่ยวกับสิ่งที่พวกเขาเรียกว่าการใช้และการละเมิดการวิจัยผู้ใช้ในด้านการมองเห็นของคอมพิวเตอร์ (CV) ที่เพิ่มขึ้น

การวิจัยผู้ใช้เคยจำกัดอยู่ในพื้นที่ใกล้เคียงหรือนักศึกษาในมหาวิทยาลัยที่เข้าร่วมการวิจัย แต่ปัจจุบันได้ย้ายไปสู่แพลตฟอร์มการวิจัยผู้ใช้แบบออนไลน์ เช่น Amazon Mechanical Turk (AMT) เป็นส่วนใหญ่

ในบรรดาคำวิพากษ์วิจารณ์ที่กว้างขวาง บทความวิจัยใหม่โต้แย้งว่าโครงการวิจัยถูกกดดันให้ทำการวิจัยผู้ใช้โดยผู้ที่ตรวจสอบบทความวิจัย บ่อยครั้งการวิจัยผู้ใช้ถูกออกแบบไม่ดี และมีการจ้างการวิจัยผู้ใช้โดยที่ตรรกะของโครงการไม่สนับสนุนการเข้าใกล้นี้ และบ่อยครั้งการวิจัยผู้ใช้ถูก ‘โกง’ โดยผู้ทำงานแบบฝูงชน (crowdworkers) ที่ ‘ค้นหาคำตอบที่ต้องการ’ แทนที่จะคิดเกี่ยวกับปัญหาอย่างแท้จริง

บทความวิจัยที่มี 15 หน้า (ชื่อเรื่องว่า การวิจัยผู้ใช้ที่ดีขึ้นในด้านกราฟิกและวิชั่น) ที่ประกอบเป็นเนื้อหาส่วนกลางของบทความวิจัยใหม่นี้ ได้กล่าวถึงคำวิพากษ์วิจารณ์อื่นๆ อีกมากมายเกี่ยวกับวิธีการที่การวิจัยผู้ใช้แบบฝูงชนอาจขัดขวางความก้าวหน้าในด้านการมองเห็นของคอมพิวเตอร์ เช่น การรู้จำภาพและ 합成ภาพ

แม้ว่าบทความจะกล่าวถึงปัญหาที่กว้างขวางเกี่ยวกับการวิจัยผู้ใช้ แต่คำวิพากษ์วิจารณ์ที่รุนแรงที่สุดเกี่ยวกับวิธีการที่การประเมินผลลัพธ์ (output evaluation) ในการวิจัยผู้ใช้ (เช่น เมื่อมีการจ่ายเงินให้ผู้ทำงานแบบฝูงชนในการทำการประเมินมูลค่าของผลลัพธ์จากอัลกอริทึมการสร้างภาพใหม่) อาจส่งผลเสียต่อทั้งอุตสาหกรรม

มาทำความรู้จักกับบางจุดสำคัญจากบทความกัน

การวิเคราะห์ที่น่าตื่นตาตื่นใจ

ในบรรดาการแนะนำสำหรับผู้ที่ตีพิมพ์ผลงานวิจัยในด้านการมองเห็นของคอมพิวเตอร์ คือการ ‘ตีความผลลัพธ์อย่างระมัดระวัง’ บทความวิจัยอ้างถึงตัวอย่างหนึ่งในปี 2021 เมื่องานวิจัยใหม่หนึ่งอ้างว่า ‘บุคคลไม่สามารถระบุงานศิลปะที่สร้างโดย AI ได้อย่างแม่นยำ’ และถูกเผยแพร่ในหนังสือพิมพ์ยอดนิยม

หนึ่งในรายงานสื่อที่มีชื่อเสียงเกี่ยวกับงานวิจัยในปี 2021 ‘บทบาทของความรู้เกี่ยวกับการสร้างงานศิลปะด้วย AI ในการประเมินงานศิลปะ’ โดย Harsha Gangadharbatla ซึ่งถูกอ้างอิงในบทความวิจัยใหม่นี้ แหล่งที่มา: Daily Mail (ลิงก์เก็บถาวร) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

ผู้เขียนบทความวิจัยระบุว่า:

‘ในงานวิจัยหนึ่งในปี 2021 ที่ตีพิมพ์ในวารสารจิตวิทยา ได้รวบรวมภาพงานศิลปะดั้งเดิมและภาพที่สร้างโดยเทคโนโลยี AI จากอินเทอร์เน็ต และให้ผู้ทำงานแบบฝูงชนระบุว่าภาพใดมาจากแหล่งใด จากผลลัพธ์สรุปว่า “บุคคลไม่สามารถระบุงานศิลปะที่สร้างโดย AI ได้อย่างแม่นยำ” ซึ่งเป็นข้อสรุปที่กว้างเกินไปและไม่ได้มาจากการทดลองโดยตรง’

‘นอกจากนี้ บทความวิจัยไม่ได้รายงานรายละเอียดเกี่ยวกับชุดภาพที่รวบรวมหรือใช้ ทำให้การอ้างอิงและทำซ้ำผลลัพธ์เป็นเรื่องที่ยากหรือเป็นไปไม่ได้’

‘สิ่งที่น่ากังวลมากกว่านั้นคือสื่อมวลชนได้รายงานผลลัพธ์เหล่านี้ด้วยข้อความที่ทำให้เข้าใจผิดว่า AI สามารถสร้างงานศิลปะได้ด้วยตนเองเช่นเดียวกับมนุษย์’

การรับมือกับผู้ทำงานแบบฝูงชนที่โกง

ผู้ทำงานแบบฝูงชนไม่ได้รับค่าจ้างมากนักสำหรับการทำงานของพวกเขา เนื่องจากโอกาสของพวกเขาเป็นไปไม่มาก และโอกาสที่ดีที่สุดในการได้รับค่าจ้างคือการทำงานให้เสร็จสิ้นจำนวนมาก ดังนั้นหลายคนจึงมีแนวโน้มที่จะหาวิธี ‘การหลีกเลี่ยง’ เพื่อเพิ่มความเร็วในการทำงานปัจจุบันเพื่อที่จะไปยังงานต่อไป

บทความวิจัยสังเกตว่าผู้ทำงานแบบฝูงชน เช่นเดียวกับระบบการเรียนรู้ของเครื่อง จะเรียนรู้รูปแบบที่ซ้ำกันในการวิจัยผู้ใช้ที่นักวิจัยออกแบบ และเพียงแค่สรุป ‘คำตอบที่ถูกต้อง’ หรือ ‘คำตอบที่ต้องการ’ แทนที่จะให้คำตอบที่แท้จริงต่อเนื้อหาของงาน

เพื่อจุดนี้ บทความวิจัยแนะนำให้ทำการตรวจสอบผู้ทำงานแบบฝูงชน ซึ่งเรียกว่า ‘การลองผิด’ หรือ ‘การตรวจสอบ’ – โดยพื้นฐานแล้ว คือส่วนหนึ่งของการทดสอบที่ออกแบบมาเพื่อดูว่าผู้ทำงานแบบฝูงชนกำลังให้ความสนใจหรือไม่ กำลังคลิกแบบสุ่มหรือไม่ หรือกำลังทำตามรูปแบบที่พวกเขาได้เรียนรู้จากการทดสอบแทนการคิดเกี่ยวกับการเลือกของพวกเขา

ผู้เขียนบทความวิจัยระบุว่า:

‘ตัวอย่างเช่น ในกรณีของภาพที่มีสไตล์หนึ่งภาพในคู่สามารถเป็นผลลัพธ์ที่มีคุณภาพต่ำโดยเจตนาได้ ในระหว่างการวิเคราะห์ข้อมูลจากผู้เข้าร่วมที่ล้มเหลวในการตรวจสอบที่กำหนดไว้ล่วงหน้าสามารถถูกทิ้งได้ โดยถือว่ามาจากผู้เข้าร่วมที่ไม่สนใจหรือไม่สอดคล้องกัน’

‘การตรวจสอบเหล่านี้ควรจะถูกแทรกเข้าไปในงานวิจัยแบบสุ่ม และควรจะดูเหมือนกับการทดสอบอื่นๆ ไม่เช่นนั้น ผู้เข้าร่วมอาจจะรู้ว่าการทดสอบใดที่เป็นการตรวจสอบ’

การรับมือกับนักวิจัยที่โกง

โดยไม่ตั้งใจหรือตั้งใจ นักวิจัยสามารถเป็นส่วนหนึ่งของการ ‘โกง’ นี้ มีหลายวิธีที่นักวิจัยสามารถ ‘ส่งสัญญาณ’ ที่ต้องการให้ผู้ทำงานแบบฝูงชนได้

ตัวอย่างเช่น บทความวิจัยสังเกตว่าโดยการเลือกผู้ทำงานแบบฝูงชนโดยมีประวัติที่อาจจะให้คำตอบ ‘ที่ต้องการ’ ในการวิจัย ซึ่งอาจจะพิสูจน์สมมติฐานที่อาจจะล้มเหลวในกลุ่มที่ไม่ได้เลือก

ภาษาเป็นปัญหาหลัก:

‘คำพูดควรสะท้อนถึงเป้าหมายในระดับสูง เช่น “ภาพไหนมีartifact น้อยกว่า?” แทนที่จะถาม “ภาพไหนมีartifact สีในบริเวณใบหน้าน้อยกว่า?” ในทางกลับกัน คำพูดที่ไม่ชัดเจนจะทำให้เข้าใจผิด เช่น “ภาพไหนดีกว่า?” อาจจะถูกเข้าใจว่า “ภาพไหนสวยกว่า?” ในขณะที่เจตนาอาจจะอยู่ที่การประเมิน “ภาพไหนมีความจริงมากกว่า?”‘

วิธีอื่นในการ ‘มีอิทธิพลต่อผู้เข้าร่วม’ คือการให้พวกเขาได้รับทราบว่าหนึ่งในตัวเลือกที่อยู่ตรงหน้าพวกเขาเป็นวิธีการของนักวิจัย ไม่ใช่วิธีการก่อนหน้าหรือตัวอย่างสุ่ม

ผู้เขียนบทความวิจัยระบุว่า:

‘ผู้เข้าร่วมอาจจะตอบด้วยคำตอบที่นักวิจัยต้องการ โดยไม่ได้ตั้งใจหรือตั้งใจ ซึ่งเรียกว่า “ผลกระทบของการเป็นคนดี” อย่าใช้ชื่อผลลัพธ์อย่าง “วิธีการของเรา” หรือ “วิธีการที่มีอยู่” ผู้เข้าร่วมอาจจะถูกมีอิทธิพลจากพลวัตของอำนาจ (เช่น นักวิจัยที่ควบคุมการวิจัย) นักวิจัยที่ใช้ภาษาเพื่อกระตุ้นผู้เข้าร่วม (เช่น “คุณชอบเครื่องมือนี้ที่ฉันสร้างเมื่อวานนี้หรือไม่?”) และความสัมพันธ์ระหว่างนักวิจัยและผู้เข้าร่วม (เช่น ถ้าทั้งสองทำงานในห้องปฏิบัติการหรือบริษัทเดียวกัน)’

‘การวางรูปแบบของงานในงานวิจัยผู้ใช้สามารถส่งผลต่อความเป็นกลางของงานได้ ผู้เขียนบทความวิจัยสังเกตว่าถ้าในงานนำเสนอแบบข้างๆ กัน (side-by-side) ฐานข้อมูลจะถูกวางไว้ที่ด้านซ้าย (เช่น ‘ภาพ A’) และผลลัพธ์ของอัลกอริทึมใหม่จะถูกวางไว้ที่ด้านขวา ผู้เข้าร่วมอาจจะสรุปได้ว่า B เป็นตัวเลือก ‘ที่ดีที่สุด’ ตามสมมติฐานที่เพิ่มขึ้นของนักวิจัยเกี่ยวกับผลลัพธ์ที่ต้องการ’

คนผิดสำหรับผลิตภัณฑ์ที่ไม่ถูกต้อง

ผู้เขียนบทความวิจัยสังเกตเห็นหลายจุดในบทความว่าผู้ทำงานแบบฝูงชนเป็นทรัพยากรที่ ‘ทั่วไป’ มากกว่าที่คาดไว้ในทศวรรษก่อน เมื่อนักวิจัยถูกบังคับให้ขอความช่วยเหลือจากท้องถิ่น บ่อยครั้งจากนักศึกษาที่ได้รับการสนับสนุนจากมหาวิทยาลัย

ความต้องการการมีส่วนร่วมอย่างแข็งขันทำให้ผู้ทำงานแบบฝูงชนมีเวลาน้อยในการ ‘ไม่แยแส’ กับผลิตภัณฑ์ที่พวกเขาได้รับการทดสอบ และผู้เขียนบทความวิจัยแนะนำให้นักวิจัย ‘ระบุผู้ใช้เป้าหมาย’ ก่อนที่จะพัฒนาและทดสอบผลิตภัณฑ์หรือบริการที่อาจจะไม่เหมาะสม – ไม่เช่นนั้นพวกเขาอาจจะสร้างสิ่งที่ยากที่จะสร้าง แต่ไม่มีใครต้องการจริงๆ

‘แท้จริงแล้ว เราได้เห็นนักวิจัยด้านกราฟิกหรือการมองเห็นพยายามที่จะนำงานวิจัยของตนไปใช้ในอุตสาหกรรม แต่พบว่าไม่ได้ตอบสนองความต้องการของผู้ใช้เป้าหมาย นักวิจัยที่ไม่ได้ทำการค้นหาความต้องการในตอนแรกอาจจะพบว่าผู้ใช้ไม่ต้องการหรือไม่สนใจเครื่องมือที่พวกเขาใช้เวลาหลายเดือนหรือหลายปีในการพัฒนา’

‘เครื่องมือเหล่านี้อาจทำงานไม่ดีในงานศึกษา เนื่องจากผู้ใช้อาจพบว่าเทคโนโลยีสร้างผลลัพธ์ที่ไม่มีประโยชน์ ไม่เกี่ยวข้อง หรือไม่คาดคิด’

ผู้เขียนบทความวิจัยสังเกตเห็นว่าผู้ใช้ที่อาจจะใช้ผลิตภัณฑ์จริงๆ ควรจะถูกเลือกให้เข้าร่วมในงานศึกษา แม้ว่าพวกเขาจะไม่容易พบก็ตาม

‘ตัวอย่างเช่น อาจจะมีกระดานสนทนาออนไลน์หรือชุมชนโซเชียลมีเดียที่เกี่ยวข้องที่สามารถใช้ได้ การพบกับสมาชิกหนึ่งคนของชุมชนอาจจะนำไปสู่การ ‘การค้นหาแบบหิมะ’ (snowball sampling) ซึ่งผู้ใช้ที่เกี่ยวข้องสามารถแนะนำให้รู้จักกับบุคคลอื่นๆ ในเครือข่ายของพวกเขา’

การขอความคิดเห็น

บทความวิจัยยังแนะนำให้ขอความคิดเห็นเชิงคุณภาพจากผู้ที่เข้าร่วมในงานวิจัยผู้ใช้ ไม่น้อยกว่าการเปิดเผยสมมติฐานที่ผิดของนักวิจัย

‘สิ่งเหล่านี้อาจจะช่วยแก้ไขปัญหาในงานศึกษา แต่พวกเขายังอาจจะเปิดเผยด้านที่ไม่คาดคิดของผลลัพธ์ที่มีอิทธิพลต่อการให้คะแนนของผู้ใช้ ผู้เข้าร่วมไม่พอใจกับผลลัพธ์เพราะไม่สมจริง ไม่สวยงาม มีอคติ หรือเหตุผลอื่น?’

‘หากไม่มีข้อมูลเชิงคุณภาพ นักวิจัยอาจจะพยายามปรับปรุงอัลกอริทึมให้สมจริงมากกว่า แต่ไม่ได้แก้ไขปัญหาเบื้องหลังของผู้ใช้’

เช่นเดียวกับการแนะนำอื่นๆ ในบทความวิจัย การแนะนำนี้ต้องการการลงทุนเวลาและเงินเพิ่มเติมจากนักวิจัย ในวัฒนธรรมที่มีการใช้การวิจัยผู้ใช้แบบฝูงชนอย่างรวดเร็วและเป็นปกติ ซึ่งมักจะไม่แพง และสอดคล้องกับวัฒนธรรมที่ขับเคลื่อนด้วยการวิจัยที่วิพากษ์วิจารณ์ทั่วทั้งบทความ

การวิจัยที่มากเกินไป

บทความวิจัยชี้ว่าการวิจัยผู้ใช้กำลังจะกลายเป็น ‘ข้อกำหนดขั้นต่ำ’ ในชุมชนการมองเห็นของคอมพิวเตอร์ก่อนการพิมพ์ แม้ว่าจะเป็นกรณีที่การวิจัยไม่สามารถออกแบบได้อย่างสมเหตุสมผล (เช่น กับแนวคิดที่ใหม่หรือไม่สำคัญที่ไม่มีการวิเคราะห์แบบ ‘เหมือนกัน’ ที่จะดำเนินการ และอาจจะไม่เหมาะสมต่อการวัดที่จะให้ผลลัพธ์ที่มีความหมายในงานวิจัยผู้ใช้)

ตัวอย่างเช่น ผู้เขียนบทความวิจัยอ้างถึงกรณีของงานวิจัยที่ได้รับการตรวจสอบจาก ICLR 2022 ซึ่งมีการวิจารณ์จากผู้ตรวจสอบที่มีอยู่ออนไลน์ (ภาพถ่ายเก็บถาวรเมื่อวันที่ 24 มิถุนายน 2022; ลิงก์มาจากบทความวิจัยใหม่)

‘ผู้ตรวจสอบสองคนให้คะแนนลบมากเนื่องจากไม่มีการวิจัยผู้ใช้ เป็นต้น บทความได้รับการยอมรับพร้อมสรุปว่าผู้ตรวจสอบใช้ “การวิจัยผู้ใช้” เป็นข้ออ้างในการให้คะแนนลบ และกล่าวหาว่าพวกเขาเป็นคนปิดกั้น’

‘การอภิปรายที่สมบูรณ์คุ้มค่าในการอ่าน การตัดสินใจสุดท้ายระบุว่าการยื่นเสนอแนะซอฟต์แวร์ไลบรารีที่ได้รับการใช้งานมาหลายปี โดยมีผู้ใช้หลายพันคน (ข้อมูลที่ไม่ได้รับการเปิดเผยต่อผู้ตรวจสอบในการทบทวนแบบไม่ระบุชื่อ) จะถูกปฏิเสธหรือไม่ หากคณะกรรมการไม่มีข้อมูลนี้?

‘และหากผู้เขียนได้ทำการวิจัยผู้ใช้เพิ่มเติม จะมีความหมายหรือไม่? และจะเพียงพอในการ說服ผู้ตรวจสอบหรือไม่?’

ผู้เขียนบทความวิจัยระบุว่า:

‘เรายังได้เห็นผู้เขียนและผู้ตรวจสอบใช้การประเมิน MTurk เป็นเครื่องมือในการหลีกเลี่ยงการตัดสินใจที่ยาก การวิจารณ์จากผู้ตรวจสอบอย่าง “ฉันไม่สามารถบอกได้ว่าภาพไหนดีกว่า อาจจะช่วยได้หากมีการวิจัยผู้ใช้” เป็นอันตรายและกระตุ้นให้ผู้เขียนทำการวิจัยเพิ่มเติมที่จะไม่ปรับปรุงผลงานที่ไม่ดี’

ผู้เขียนบทความวิจัยสรุป:

‘หากเป้าหมายหลักของการวิจัยผู้ใช้คือเพื่อทำให้ผู้ตรวจสอบพอใจมากกว่าที่จะสร้างความรู้ใหม่ๆ ควรตั้งคำถามถึงประโยชน์และความถูกต้องของการวิจัยผู้ใช้เหล่านี้โดยผู้เขียนและผู้ตรวจสอบ การลงโทษงานที่ไม่มีการประเมินผู้ใช้มีผลกระทบโดยไม่ตั้งใจในการกระตุ้นให้ทำการวิจัยผู้ใช้ที่ทำอย่างเร่งรีบและไม่ได้ทำอย่างดี’

‘สิ่งที่ต้องจำไว้คือ “การวิจัยผู้ใช้ที่ไม่ดีนำไปสู่ผลลัพธ์ที่ไม่ดี” และการวิจัยดังกล่าวจะดำเนินต่อไปหากผู้ตรวจสอบยังคงต้องการมัน’

* การแปลงอ้างอิงภายในของบทความวิจัยเป็นลิงก์ที่เกี่ยวข้อง^† การเน้นของฉัน ไม่ใช่ของผู้เขียน

ตีพิมพ์ครั้งแรกเมื่อวันที่ 24 มิถุนายน 2022