แผนภูมิที่หรูหราสามารถทำให้การวิจัยที่ ‘ชั่วร้าย’ ดูเหมือนน่าเชื่อถือ

การวิจัยใหม่พบว่าการเพิ่มแผนภูมิที่ซับซ้อนและซับซ้อนสามารถทำให้ผู้คนเชื่อใจการตัดสินใจที่มีอคติของ AI แม้ว่าจะไม่ยุติธรรมก็ตาม

แม้ว่าการปฏิบัติที่จะ ‘ทำให้คนตาบอดด้วยวิทยาศาสตร์’ จะมีมาก่อนยุค AI ปัจจุบัน แต่ก็ถูกทำให้สมบูรณ์ในยุคนี้ – ไม่น้อยเพราะการเติบโตของ การยื่นบทความวิทยาศาสตร์ ในปัจจุบัน ทำให้อัตราสัญญาณต่อเสียงรบกวนไม่เอื้ออำนวย และ ‘กลยุทธ์ที่ไม่ซับซ้อน’ อาจเป็นที่นิยม

ตามคำพูดที่ว่า ‘ความเท็จ ความเท็จอีกครั้ง และสถิติ‘ เครื่องมือหลักที่ใช้ในการหลอกลวงหรือทำให้ผู้อ่านเข้าใจผิด เมื่อนำเสนอระบบใหม่ๆ และหลักฐานทางวิทยาศาสตร์ที่อธิบายหรือให้เหตุผลในการอ้างสิทธิ์เกี่ยวกับพวกมัน คือ กราฟและภาพแสดงข้อมูล

ในงานศึกษาในปี 2019 หนึ่ง ของผลกระทบของกราฟต่อผู้เข้าร่วมในเพนซิลเวเนียชนบท ผู้เขียนของงานศึกษาพบว่า:

‘ผู้ที่ได้รับผลกระทบจากความผิดหรือการเสพติดมักจะถูกดึงดูดโดยกราฟที่แสดงถึงสิ่งเหล่านั้น ผู้คนมักจะพิจารณาคุณภาพของกราฟที่มีข้อมูลทางภูมิศาสตร์ตามความง่ายหรือความยากในการค้นหาสถานที่บ้านของตน

‘ผู้อื่นมักจะให้คุณค่ากับกราฟไม่ตามความเข้าใจของตนเอง แต่ตามความสามารถที่รับรู้ในการสื่อสารกับ ผู้อื่น คนอื่นๆ

‘สุดท้าย ผู้เข้าร่วมหนึ่งคนแนะนำว่าพวกเขาจะให้ความสนใจกับการแสดงภาพจากแหล่งข่าวท้องถิ่นมากกว่าระดับชาติ’

บางส่วนของกราฟที่แสดงให้กับประชาชนในเพนซิลเวเนียชนบทในการศึกษาในปี 2019 แหล่งที่มา

ผลกระทบของกราฟข้อมูลที่ทำให้คนหลงใหลกำลัง变得เกี่ยวข้องมากขึ้นในยุคการเรียนรู้ของเครื่องใหม่ๆ ซึ่งความมั่นใจเป็นสิ่งสำคัญสำหรับการรักษาเศรษฐกิจ AI (และอาจจะชะลอการ การล่มสลาย)

การร่วมมือระหว่างสหรัฐฯ และสหราชอาณาจักรในปี 2024 นำเสนอ ความคิดของ Trust Junk: การแสดงภาพ XAI ที่ไม่มีความเชื่อมโยงที่มีความหมายกับโมเดลหรือข้อมูลที่ซ่อนอยู่ และถูกใช้เพื่อเพิ่มความเชื่อถือ:

จากเอกสาร ‘Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization’ ตัวอย่างของข้อมูลที่ถูกบิดเบือนเพื่อใช้ในการให้บริการจุดประสงค์ก่อน (ด้านขวา) แทนที่จะแสดงอย่างชัดเจน (ด้านซ้าย) วิธีการนี้ ‘ส่งเสริมการพึ่งพาและทำให้ผู้ใช้หมดหวังในขณะให้ภาพลวงว่ามีการควบคุม’ ตามเอกสาร แหล่งที่มา

การศึกษาสั้นๆ

ตั้งแต่แนวคิดของ Trust Junk ถูกเสนอขึ้น มันไม่ได้รับการทดสอบ – การละเลยที่ได้รับการแก้ไขโดยเอกสารใหม่จากสหรัฐฯ ซึ่งผู้เข้าร่วมได้รับการนำเสนอผลลัพธ์จากการศึกษาที่ถูกกล่าวหาว่า AI เกี่ยวกับเรื่องของการคาดการณ์ว่าใครจะผ่านการสอบบาร์ข้อบังคับในสหรัฐฯ

หากคุณดูอย่างรอบคอบ คุณจะสังเกตเห็นว่าเกณฑ์การกรองคือ ก) ผู้ชายดำทั้งหมด และ ข) ทุกคนอื่น – โดยคาดการณ์ว่า ผู้ชายดำทั้งหมดจะไม่ผ่านการสอบ:

จากเอกสารใหม่: สิ่งเร้ากระตุ้นที่ใช้ในการทดลองของนักวิจัย โดยแสดงการตัดสินใจของโมเดล (C) เกี่ยวกับการที่ผู้สมัคร (B) จะผ่านการสอบบาร์ข้อบังคับ ร่วมกับส่วนประกอบที่อธิบายการทำงานเป็น ‘Trust Junk’ (A, D, E, F) โมเดลนี้มีการเลือกปฏิบัติ แต่การเพิ่มปริมาณข้อมูลที่ไม่เกี่ยวข้องมากขึ้น ทำให้ผู้เข้าร่วมเห็นด้วยกับผลลัพธ์ของโมเดลและพิจารณาว่ามันยุติธรรม แหล่งที่มา

ผู้เข้าร่วมส่วนใหญ่เห็นด้วยกับการคาดการณ์ของโมเดลและให้คะแนนมันว่า ยุติธรรม และ เชื่อถือได้ โดยมีการเห็นด้วย การเชื่อถือ และการรับรู้ถึงความยุติธรรมที่เพิ่มขึ้นเมื่อมีการเพิ่มกราฟและรายละเอียดที่ไม่เกี่ยวข้อง – แม้ว่าจะมีน้อยคนที่สังเกตเห็นอคติที่ชัดเจนและไม่ยุติธรรม

บางผู้ใช้ไม่เห็นด้วยกับการศึกษา แต่ไม่ใช่เนื่องจากปัญหาหลัก:

‘เราได้บันทึก 19 กรณีที่ผู้เข้าร่วมอธิบายโมเดลว่าเป็น ‘ยุติธรรม’ (เช่น [ผู้เข้าร่วม] กล่าวว่า ‘มันไม่มีอคติทางเชื้อชาติหรือเพศ’) อย่างไรก็ตาม ผู้เข้าร่วมบางคนแสดงความไม่สบายใจต่อโมเดล [ผู้เข้าร่วม] กล่าวว่า ‘ฉันไม่สบายใจกับสิ่งที่คนอาจใช้มันเพื่อ’

อย่างไรก็ตาม ผู้เข้าร่วมทั้งสามกลุ่มไม่สามารถระบุปัญหาได้

วิธีการ

ผู้เขียนดำเนินการทดลองระหว่างกลุ่มผู้เข้าร่วมที่มีการกระจายตัว (กล่าวคือ ผู้เข้าร่วมที่แตกต่างกันถูกกำหนดให้อยู่ในเงื่อนไขที่แตกต่างกัน) เกี่ยวกับ ‘Trust Junk’ ในการอธิบาย XAI โดยทดสอบว่าการเพิ่มปริมาณรายละเอียดทางเทคนิคที่ถูกต้องแต่ไม่เกี่ยวข้องสามารถชักชวนให้ผู้ใช้เชื่อว่าโมเดลที่มีอคติเป็นโมเดลที่ยุติธรรมและเป็นประโยชน์ได้หรือไม่

สิ่งเร้ากระตุ้งนี้อ้างอิงจาก งานก่อนหน้า โดยได้รับการรวมเข้ากับเทคนิคการอธิบายหลายอย่างในอินเทอร์เฟซ XAI เดียว

สำหรับการทดลองที่มีอคติอย่างมากนี้ ผู้วิจัยได้พัฒนาการอธิบาย ‘จัง’ สำหรับการศึกษา โดยมีการอธิบายที่ตั้งใจจะทำให้ผู้เข้าร่วมทดลองสับสนโดยการแสดงข้อมูลที่ซับซ้อนแต่ไม่เกี่ยวข้อง:

‘เราให้ข้อมูลที่มากเกินไปสำหรับการจำแนกประเภททวินามของโมเดล เราได้เพิ่มปริมาณข้อมูลที่ซับซ้อนแต่ไม่เกี่ยวข้องเพื่อให้ผู้เข้าร่วมทดลองสับสน

‘เทคนิคนี้ [อุปมาอุปไมย] ทำให้ผู้ใช้ไม่สามารถเข้าใจข้อมูลได้ […]’

การศึกษานี้อ้างอิงจาก ข้อขัดแย้งก่อนหน้า เกี่ยวกับการให้คะแนน AI ในการสอบ International Baccalaureate และ General Certificate of Education Advanced Level โดยใช้ ชุดข้อมูล Law School Admissions Bar Passage ซึ่งมีข้อมูลประชากรศาสตร์ การศึกษา และผลลัพธ์สำหรับผู้สมัคร 20,000 คนในช่วงปี 1991-1997

ข้อมูลนี้ถูกใช้เพื่อสร้างโมเดลที่มีอคติซึ่งทำนายว่าผู้สมัครชายดำจะไม่ผ่านการสอบ โดยที่โมเดลนี้ยังคงมีความแม่นยำ 93.7% เนื่องจาก ความไม่สมดุลของชั้นเรียน ทั้งเชื้อชาติและเพศ

กลยุทธ์การอ้างอิงอำนาจถูกทดสอบด้วย โดยมีการเพิ่มสัญญาณที่น่าประทับใจ เช่น สังกัดมหาวิทยาลัยที่มีชื่อเสียง ขนาดของชุดข้อมูล และความแม่นยำที่ทำให้เข้าใจผิด และการเพิ่มผลลัพธ์ที่ดีเพียงอย่างเดียว

เพื่อชี้แจงวิธีการที่ผู้เข้าร่วมตีความระบบนี้ ข้อมูลถูกนำเสนอในลักษณะที่ชักชวนให้พวกเขาพัฒนาการอธิบายที่ง่ายแต่ทำให้เข้าใจผิดเกี่ยวกับวิธีการทำงานของโมเดล

เหยื่อ

ในกลุ่มทดลอง แต่ละการอธิบายถูกกำหนดให้อยู่ในระดับ Trust Junk ที่แตกต่างกันสามระดับ: ผู้เข้าร่วมในกลุ่ม Baseline เห็นเพียงประวัติเบื้องต้น โปรไฟล์ผู้สมัคร และการตัดสินใจของโมเดล ผู้เข้าร่วมในกลุ่ม Model เห็นข้อมูลเหล่านี้และสถิติความแม่นยำด้วย ในขณะที่ผู้เข้าร่วมในกลุ่ม Everything เห็นฮิสโตแกรมของคุณลักษณะและโปรไฟล์ของผู้สมัครที่คล้ายกันจากชุดข้อมูลการฝึกอบรม

การศึกษานี้ได้รับการอนุมัติจากคณะกรรมการที่ปรึกษาด้านจริยธรรม และดำเนินการผ่าน Prolific โดยผู้เข้าร่วมได้รับค่าจ้าง $15 ต่อชั่วโมง และถูกกำหนดให้อยู่ในเงื่อนไขต่างๆ อย่างสุ่ม

ผู้เข้าร่วมแต่ละคนได้รับการทดสอบเกี่ยวกับโปรไฟล์ของผู้สมัครสอบบาร์ข้อบังคับ 8 คนในลำดับแบบสุ่ม และตัดสินว่าพวกเขาจะผ่านหรือไม่ โดยใช้การเห็นด้วยเป็นมาตรการในการพึ่งพา ติดตามด้วยแบบสอบถามเพื่อประเมินความเชื่อถือ และตัวอย่างสุดท้ายของ 28, 27 และ 28 ผู้เข้าร่วมในกลุ่ม Baseline, Model และ Everything ตามลำดับ

ผู้เขียนเสนอว่าการเพิ่มปริมาณข้อมูลที่ดูเหมือนจะให้ข้อมูลมากขึ้นแต่ไม่เกี่ยวข้องอาจ ทำให้โมเดลดูยุติธรรม โดยการสร้างความมั่นใจที่ไม่สมเหตุสมผลในผลลัพธ์ของโมเดล พวกเขาคาดหวังว่าผู้เข้าร่วมในกลุ่ม Model และ Everything จะเห็นด้วยและเชื่อถือโมเดลมากกว่าผู้เข้าร่วมในกลุ่ม Baseline พวกเขายังคงวิเคราะห์คำอธิบายที่เขียนโดยผู้เข้าร่วมเพื่อดูว่าพวกเขาสังเกตเห็นอคติหรือช่องว่างในการให้ข้อมูลหรือไม่

ผลการทดสอบ

ในแง่ของการเห็นด้วยกับโมเดล ผู้เข้าร่วมทดลองระบุผลลัพธ์ที่ถูกต้อง 66.6% ของเวลา แต่เห็นด้วยกับโมเดล 73.9% ของเวลา – แสดงให้เห็นว่าพวกเขามีแนวโน้มที่จะทำตามการตัดสินใจของโมเดลแม้ว่าจะไม่ถูกต้องก็ตาม การเห็นด้วยนี้ เพิ่มขึ้นเมื่อมีการเพิ่มรายละเอียดอธิบายมากขึ้น โดยเงื่อนไขที่มีรายละเอียดมากที่สุดทำให้การเห็นด้วยเพิ่มขึ้นถึง 82.6% และเพิ่มความน่าจะเป็นที่ผู้เข้าร่วมจะยอมรับโมเดลโดยไม่ถูกต้อง:

คะแนนรวมสำหรับการเห็นด้วย (ซ้าย) ความเชื่อถือ (กลาง) และความพึงพอใจ (ขวา) ผู้เข้าร่วมในกลุ่ม ‘Everything’ ที่ได้รับการนำเสนอเนื้อหาอธิบายที่ไม่เกี่ยวข้องเพิ่มเติม รายงานคะแนนที่สูงขึ้นอย่างมีนัยสำคัญในมาตรการทั้งหมด แม้ว่าโมเดลจะยังคงไม่ยุติธรรมและเหมือนเดิม

คะแนนความเชื่อถือแตกต่างกันอย่างมีนัยสำคัญตามเงื่อนไข โดยผู้เข้าร่วมในกลุ่ม Everything รายงานความเชื่อถือที่สูงกว่า (M = 25.3) เมื่อเทียบกับผู้เข้าร่วมในกลุ่ม Baseline (M = 16.8) ในขณะที่กลุ่ม Model (M = 20.1) ไม่แตกต่างอย่างมีนัยสำคัญจากทั้งสองกลุ่ม

ความพึงพอใจต่อการอธิบายแตกต่างกันอย่างมีนัยสำคัญตามเงื่อนไข โดยผู้เข้าร่วมในกลุ่ม Everything รายงานความพึงพอใจที่สูงกว่า (M = 34.2) เมื่อเทียบกับผู้เข้าร่วมในกลุ่มอื่นๆ (M = 26.4)

ผู้เข้าร่วมให้คะแนน ความยุติธรรม โดยใช้คำถามสี่ข้อในมาตราส่วนเจ็ดจุด ซึ่งครอบคลุมถึงอคติทางเพศ อคติโดยรวม และจริยธรรม โดยไม่มีความแตกต่างที่มีนัยสำคัญระหว่างเงื่อนไขในมาตรการเหล่านี้:

การกระจายคะแนนของผู้เข้าร่วมทดลองตามเงื่อนไขสำหรับการรับรู้ถึงความยุติธรรมทั้งเชื้อชาติและเพศ การไม่มีอคติ และจริยธรรมโดยรวม การเพิ่มรายละเอียดอธิบายที่สูงขึ้นพบว่ามีการจัดอันดับความยุติธรรมและอคติที่ไม่มีมากขึ้น โดยที่โมเดลที่ซ่อนอยู่ยังคงไม่เปลี่ยนแปลงและไม่ยุติธรรม

ความแตกต่างปรากฏในเรื่องความยุติธรรมทั้งเชื้อชาติและเพศ โดยที่กลุ่ม Baseline ให้คะแนนความยุติธรรมของโมเดลต่ำที่สุด (M = 3.9) ในขณะที่กลุ่ม Model และ Everything ให้คะแนนสูงกว่า (M = 4.8) สิ่งที่น่ากังวลมากกว่านั้นคือผู้เข้าร่วมที่ให้คะแนนโมเดลที่ไม่ยุติธรรมที่สุดว่าเป็น ยุติธรรม มาจากกลุ่มที่ได้รับการนำเสนอเนื้อหาอธิบายที่มีรายละเอียดมากที่สุด – ซึ่งเป็นกลุ่มที่น้อยที่สุดที่จะสังเกตเห็นอคติ

การควบคุมคุณภาพ

การให้คำตอบที่มีคุณภาพแสดงให้เห็นว่าผู้เข้าร่วมที่ได้รับข้อมูล น้อยที่สุด มีแนวโน้มที่จะสังเกตเห็นปัญหาในการทำงานของโมเดล – โดยเฉพาะการอาศัยเชื้อชาติและเพศ พวกเขายังมีแนวโน้มที่จะพูดว่าข้อมูลสำคัญ หายไป

ในทางกลับกัน ผู้เข้าร่วมที่ได้รับการอธิบายที่มีรายละเอียดมากขึ้น มีแนวโน้มที่จะแสดงความกังวลเหล่านี้น้อยลง

แม้ว่าจะมีผู้เข้าร่วมเพียงสามคนเท่านั้นที่แสดงให้เห็นถึงความเข้าใจบางส่วนเกี่ยวกับปัจจัยสำคัญที่ขับเคลื่อนการตัดสินใจของโมเดล และไม่มีใครสามารถระบุได้อย่างถูกต้องว่ามันทำงานอย่างไร

กราฟที่แสดงถึงความถี่ที่ผู้เข้าร่วมรายงานอคติที่อาจเกิดขึ้นและข้อมูลอธิบายที่หายไปตามเงื่อนไข โดยที่ระดับรายละเอียดอธิบายที่สูงขึ้นเกี่ยวข้องกับผู้เข้าร่วมที่น้อยลงซึ่งรายงานอคติหรือข้อมูลที่หายไป – แม้ว่าโมเดลจะอาศัยเพียงเชื้อชาติและเพศ

ผู้เข้าร่วมหลายคนอธิบายโมเดลว่าเป็น ยุติธรรม โดยมีการตอบสนอง 19 รายการดังกล่าว บันทึกไว้ แม้ว่ามันจะแสดงอคติอย่างชัดเจน

ในเวลาเดียวกัน ความไม่สบายใจบางอย่างก็ปรากฏขึ้น โดยผู้เข้าร่วมหลายคนแสดงความกังวลเกี่ยวกับวิธีการที่ระบบดังกล่าวอาจถูกนำไปใช้ และมีการตอบสนอง 15 รายการที่ตั้งคำถามว่าโมเดลสามารถจับข้อมูลที่ซับซ้อนของแต่ละบุคคลได้อย่างมีความหมายหรือไม่

ผู้เขียนระบุว่า:

‘เพียงผู้เข้าร่วมจำนวนน้อยที่อธิบายโมเดลว่าเป็นโมเดลที่ไม่ยุติธรรมหรือมีอคติ ผู้เข้าร่วมที่รายงานความกังวลเกี่ยวกับโมเดลไม่สามารถอธิบายได้อย่างถูกต้องว่าทำไมโมเดลจึงมีข้อบกพร่อง และในความไม่มีข้อมูลสำคัญของโมเดล จึงต้องอาศัยการให้เหตุผลที่ไม่เป็นทางการและบ่อยครั้งที่ไม่ถูกต้องเพื่ออธิบายว่าทำไมโมเดลจึงผิดหรือไม่ยุติธรรม’

เอกสารสรุป*^†:

‘แม้ว่าปัญหาบางอย่างที่เราเปิดเผยสามารถแก้ไขได้ด้วยการเพิ่มความเข้าใจข้อมูลในผู้ฟัง แต่การศึกษาลone ไม่เพียงพอ (แม้ว่าผู้เชี่ยวชาญด้าน AI ที่อธิบายตัวเองก็เข้าใจผิดหรือไม่เข้าใจเทคนิค XAI)

‘เราย้ำยืนยันคำกล่าวของ Hullman et al.: ความสำเร็จของการอธิบาย AI สามารถประเมินได้อย่างยุติธรรมเมื่อพิจารณาจากเป้าหมายของการอธิบายเหล่านั้น

‘เราขอเตือนชุมชนให้สนใจเป้าหมายเชิงสุนทรีย์ของการอธิบาย XAI และอำนาจการชักชวนให้เข้าใจของพวกเขาในฐานะสิ่งประดิษฐ์ที่มีพลังในการชักชวนให้เข้าใจ’

สรุป

เมื่อเห็นถึงความเต็มใจของโมเดลแนวหน้าที่จะ ‘ตกแต่ง’ ข้อความด้วยกราฟที่ไม่แท้จริง และผลกระทบที่อาจเกิดขึ้นจาก ‘ผลกระทบโดยรวม’ ของการแสดงภาพที่มักจะทำให้คนเชื่อใจ มันชัดเจนว่ากราฟที่สร้างโดย AI ไม่ควรพึ่งพาเพื่อเสริมสร้างอำนาจ และผลกระทบโดยรวมของการแสดงภาพควรเริ่มถูกมองในแง่ของการลดความน่าเชื่อถือ – เช่นเดียวกับความเชื่อมั่นในภาพถ่ายที่ถูกทำลายโดยการมาถึงของ ภาพปลอม

สิ่งนี้อาจเป็นการพัฒนาที่น่ากังวล เนื่องจากเป็นอีกจุดหนึ่งในการ ‘เหนื่อยล้า’ ของความเต็มใจของสาธารณชนที่จะประเมินสิ่งที่พวกเขาเห็นและได้ยินในสื่ออย่างเข้มงวด และมีความเสี่ยงต่อการ ‘ยอมรับโดยสิ้นเชิง’ ในข้อมูลที่ไม่ถูกต้อง

* การแทนที่การอ้างอิงในบรรทัดของนักเขียนด้วยลิงก์

^† รูปแบบดั้งเดิมของนักเขียน ไม่ใช่ของฉัน

เผยแพร่ครั้งแรกวันจันทร์ที่ 20 กรกฎาคม พ.ศ. 2569