มุมมองของ Anderson

DeepMind: AI อาจมีข้อจำกัดด้านการให้เหตุผลเชิงนามธรรมเหมือนมนุษย์ และอาจได้รับประโยชน์จาก ‘การศึกษาทางการ’

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญDeepMind และ Stanford แสดงให้เห็นว่า AI…
ดูเพิ่มเติม
  • DeepMind และ Stanford แสดงให้เห็นว่า AI สะท้อนอคติความเชื่อของมนุษย์ในงานการใช้เหตุผลเชิงตรรกะ
  • โมเดลภาษามีปัญหาในการใช้ตรรกะเชิงนามธรรม แต่ทำงานได้ดีในงานคัดเลือก Wason ที่สมจริง
  • นักวิจัยเสนอการฝึกอบรมล่วงหน้าแบบการศึกษาในระบบเพื่อพัฒนาทักษะการใช้เหตุผลเชิงนามธรรมของ AI

การทำงานร่วมกันใหม่ระหว่าง DeepMind และ Stanford University แสดงให้เห็นว่า AI อาจไม่ได้ดีกว่ามนุษย์ในการให้เหตุผลเชิงนามธรรม เนื่องจากโมเดลการเรียนรู้ของเครื่องได้รับโครงสร้างการให้เหตุผลจากตัวอย่างในโลกแห่งความเป็นจริงที่มีพื้นฐานมาจากบริบทเชิงปฏิบัติ (ซึ่ง AI ไม่สามารถสัมผัสได้) แต่ก็ถูกขัดขวางโดยข้อบกพร่องด้านการรับรู้ของเราเอง

หากพิสูจน์ได้แล้วว่านี่อาจเป็นอุปสรรคต่อการคิดสร้างสรรค์อย่างอิสระและคุณภาพของความคิดริเริ่มทางปัญญาที่เหนือกว่าซึ่งหลายคนหวังว่าจะได้รับจากระบบการเรียนรู้ของเครื่อง และแสดงให้เห็นถึงระดับที่ AI สะท้อนถึงประสบการณ์ของมนุษย์และมีแนวโน้มที่จะคิดและให้เหตุผลภายในขอบเขตที่มนุษย์ได้กำหนดไว้

นักวิจัยแนะนำว่าโมเดล AI อาจได้รับประโยชน์จากการฝึกอบรมเชิงนามธรรมก่อนที่จะถูกกำหนดให้ทำงานในภารกิจในโลกแห่งความเป็นจริง โดยเปรียบเทียบกับการ “ศึกษาทางการ” ก่อนที่จะเริ่มทำงาน

รายงานระบุว่า:

มนุษย์เป็นผู้ให้เหตุผลที่ไม่สมบูรณ์แบบ เราให้เหตุผลได้ดีที่สุดเกี่ยวกับสิ่งที่สอดคล้องกับความเข้าใจของเราเกี่ยวกับโลก

การทดลองของเราแสดงให้เห็นว่าโมเดลภาษาแสดงรูปแบบการให้เหตุผลที่คล้ายกัน โมเดลภาษาให้เหตุผลไม่สมบูรณ์แบบในงานการให้เหตุผลเชิงตรรกะ แต่นี่ขึ้นอยู่กับเนื้อหาและบริบท โดยเฉพาะอย่างยิ่ง โมเดลเหล่านี้มักล้มเหลวในสถานการณ์ที่มนุษย์ล้มเหลว – เมื่อสิ่งเร้ากลายเป็นนามธรรมหรือขัดแย้งกับความเข้าใจของเราเกี่ยวกับโลก

เพื่อทดสอบระดับที่โมเดล NLP ระดับไฮเปอร์สเกลอาจได้รับผลกระทบจากข้อจำกัดเหล่านี้ นักวิจัยได้ดำเนินการทดสอบสามครั้งบนโมเดลที่เหมาะสม โดยสรุปว่า*:

เราพบว่าโมเดลภาษาขนาดใหญ่แบบสเตต-ออฟ-ดิ-อาร์ต (ที่มี 7 หรือ 70 พันล้านพารามิเตอร์) สะท้อนรูปแบบการให้เหตุผลที่คล้ายกับมนุษย์ในการทำงานเหล่านี้ – เช่นเดียวกับมนุษย์ โมเดลให้เหตุผลได้ดีกว่าเกี่ยวกับสถานการณ์ที่เชื่อถือได้มากกว่าสถานการณ์ที่ไม่สมจริงหรือนามธรรม

ผลการวิจัยของเรามีผลกระทบต่อการทำความเข้าใจทั้งผลกระทบด้านการรับรู้และปัจจัยที่มีส่วนช่วยในการทำงานของโมเดลภาษา

รายงานชี้ให้เห็นว่าการสร้างทักษะการให้เหตุผลใน AI โดยไม่ให้ประโยชน์จากประสบการณ์เชิงปฏิบัติในโลกแห่งความเป็นจริงที่ให้ความหมายแก่ทักษะเหล่านั้น อาจจำกัดศักยภาพของระบบเหล่านี้ โดยสังเกตว่า ประสบการณ์ที่มีพื้นฐาน…อาจเป็นพื้นฐานของความเชื่อและเหตุผลบางอย่างของมนุษย์

ผู้เขียนเสนอว่า AI รับประสบการณ์ทางภาษาอย่างเป็นฝ่ายรับ ในขณะที่มนุษย์สัมผัสภาษาในลักษณะที่มีปฏิสัมพันธ์และเป็นศูนย์กลางของการสื่อสารทางสังคม และว่าการมีส่วนร่วมอย่างกระตือรือร้น (ซึ่งรวมถึงระบบทางสังคมของการลงโทษและรางวัล) อาจเป็น ‘กุญแจ’ ในการทำความเข้าใจความหมายในลักษณะเดียวกับมนุษย์

นักวิจัยสังเกตเห็นว่า:

ความแตกต่างบางอย่างระหว่างโมเดลภาษาและมนุษย์อาจเกิดจากความแตกต่างระหว่างประสบการณ์ของมนุษย์ที่รุ่มรวย เชื่อมโยงกับโลกจริง และมีปฏิสัมพันธ์ กับประสบการณ์อันจำกัดของโมเดล

พวกเขาชี้ให้เห็นว่าวิธีแก้ปัญหาหนึ่งอาจเป็นการฝึกอบรมก่อนที่จะเรียนรู้เชิงนามธรรม ซึ่งคล้ายกับระบบการศึกษาในโรงเรียนและมหาวิทยาลัย ก่อนที่จะเรียนรู้ข้อมูลที่จะสร้างโมเดลภาษาที่มีประโยชน์และหลากหลาย

ช่วงเวลานี้ของ ‘การศึกษาทางการ’ (ตามที่นักวิจัยเปรียบเทียบ) จะแตกต่างจากกระบวนการฝึกอบรมก่อนที่จะเรียนรู้ของเครื่องจักรทั่วไป (ซึ่งเป็นวิธีการลดเวลาในการฝึกอบรมโดยการนำโมเดลที่ฝึกแล้วบางส่วนกลับมาใช้ หรือการนำค่าน้ำหนักจากโมเดลที่ฝึกสมบูรณ์แล้วมาใช้ เพื่อเพิ่มกระบวนการฝึกอบรม)

แต่จะแทนการเรียนรู้ที่ยั่งยืนซึ่งออกแบบมาเพื่อพัฒนาทักษะการให้เหตุผลเชิงตรรกะของ AI ในลักษณะที่เป็นนามธรรม และพัฒนาความสามารถในการวิพากษ์วิจารณ์ในลักษณะเดียวกับที่นักศึกษามหาวิทยาลัยจะถูกกระตุ้นให้ทำตลอดการเรียน

‘ผลลัพธ์หลายอย่าง’ ผู้เขียนระบุ ‘ชี้ให้เห็นว่านี่อาจไม่ใช่เรื่องที่ไม่สมจริงเหมือนที่ดูเหมือนจะเป็น’

รายงาน เรื่องนี้ มีชื่อเรื่องว่า โมเดลภาษาแสดงผลกระทบด้านเนื้อหาที่คล้ายกับมนุษย์ในการให้เหตุผล และมาจากนักวิจัยหกคนจาก DeepMind และอีกหนึ่งคนที่สังกัดทั้ง DeepMind และ Stanford University

การทดสอบ

มนุษย์เรียนรู้แนวคิดเชิงนามธรรมผ่านตัวอย่างเชิงปฏิบัติ โดยใช้วิธีการที่คล้ายกับการเรียนรู้ภาษาโดยใช้เทคนิคการจำ โดยตัวอย่างง่ายๆ คือการสอนหลักการทางฟิสิกส์ที่ซับซ้อนโดยใช้ ‘สถานการณ์การเดินทาง’ สำหรับรถไฟและรถยนต์

เพื่อทดสอบความสามารถในการให้เหตุผลเชิงนามธรรมของโมเดลภาษาขนาดใหญ่ นักวิจัยได้สร้างชุดการทดสอบทางภาษาและเชิงความหมายที่สามารถท้าทายทั้งมนุษย์และ AI ได้ การทดสอบเหล่านี้ถูกนำไปใช้ ‘ซีโร่-ช็อต’ (โดยไม่มีตัวอย่างที่แก้ไขแล้ว) และ ‘ไฟว์-ช็อต’ (โดยมีตัวอย่างที่แก้ไขแล้วห้าตัวอย่าง)

งานที่หนึ่งเกี่ยวข้องกับการอนุมานภาษาเชิงธรรมชาติ (NLI) โดยที่ผู้ทำการทดสอบ (มนุษย์หรือในกรณีนี้คือโมเดลภาษา) ได้รับประโยคสองประโยค ได้แก่ ‘ข้ออ้างตั้งต้น’ และ ‘สมมติฐาน’ ที่ดูเหมือนอนุมานมาจากข้ออ้างตั้งต้น ตัวอย่างเช่น X มีขนาดเล็กกว่า Y, สมมติฐาน: Y มีขนาดใหญ่กว่า X (ถูกอนุมาน)

สำหรับงาน NLI นักวิจัยได้ประเมินโมเดลภาษา Chinchilla (โมเดล 70 พันล้านพารามิเตอร์) และ 7B (โมเดล 7 พันล้านพารามิเตอร์) พบว่าสำหรับตัวอย่างที่สอดคล้องกัน (เช่น ตัวอย่างที่ไม่ไร้สาระ) มีเพียงโมเดล Chinchilla ที่ใหญ่กว่าเท่านั้นที่ได้ผลดีกว่าการเดาสุ่ม และพวกเขาสังเกตเห็นว่า

นี่แสดงถึงความลำเอียงด้านเนื้อหาที่แข็งแกร่ง: โมเดลต้องการที่จะเติมประโยคในลักษณะที่สอดคล้องกับความคาดหวังในอดีตมากกว่าในลักษณะที่สอดคล้องกับกฎของตรรกะ

ผลการทำงานของ Chinchilla ขนาด 70 พันล้านพารามิเตอร์ในงาน NLI ทั้งโมเดลนี้และรุ่นเล็กกว่าอย่าง 7B แสดงอคติจากความเชื่ออย่างมากตามที่นักวิจัยระบุ

ผลการทำงานของ Chinchilla ขนาด 70 พันล้านพารามิเตอร์ในงาน NLI ทั้งโมเดลนี้และรุ่นเล็กกว่าอย่าง 7B แสดงอคติจากความเชื่ออย่างมากตามที่นักวิจัยระบุ Source: https://arxiv.org/pdf/2207.07051.pdf

สิลโลจิซึม

งานที่สองนำเสนอความท้าทายที่ซับซ้อนกว่า สิลโลจิซึม – การให้เหตุผลที่สองประโยคที่แท้จริงดูเหมือนจะบ่งบอกถึงประโยคที่สาม (ซึ่งอาจเป็นข้อสรุปเชิงตรรกะที่อนุมานจากสองประโยคก่อนหน้าหรือไม่ก็ได้)

จากวัสดุทดสอบของรายงาน สิลโลจิซึมทั้งแบบสมจริง แบบขัดแย้งในตัวเอง และแบบไร้สาระ

ที่นี่ มนุษย์เปราะบางมาก และโครงสร้างที่ออกแบบมาเพื่อแสดงหลักการเชิงตรรกะกลายเป็นปัญหาและยุ่งเหยิงโดย ‘ความเชื่อ’ ของมนุษย์เกี่ยวกับสิ่งที่คำตอบที่ถูกต้องควรเป็น

ผู้เขียนสังเกตเห็นว่าการศึกษาในปี 1983 แสดงให้เห็นว่าผู้เข้าร่วมการทดสอบมีความลำเอียงโดยความเชื่อของตนเองเกี่ยวกับข้อสรุปของสิลโลจิซึม โดยสังเกตเห็นว่า

ผู้เข้าร่วมการทดสอบมีแนวโน้มที่จะบอกผิดว่าสิลโลจิซึมที่ไม่ถูกต้องนั้นถูกต้องถึง 90% ของกรณี หากข้อสรุปน่าเชื่อถือ และโดยทั่วไปอาศัยความเชื่อมากกว่าการให้เหตุผลเชิงนามธรรม

ในการทดสอบ Chinchilla กับสิลโลจิซึมที่หลากหลายหลายรูปแบบ รวมถึงข้อสรุปที่ไม่ถูกต้องหลายข้อ ผู้วิจัยพบว่า ความลำเอียงด้านความเชื่อขับเคลื่อนการตัดสินใจแบบซีโร่-ช็อตเกือบทั้งหมด หากโมเดลภาษาเห็นว่าข้อสรุปไม่สอดคล้องกับความเป็นจริง โมเดลจะมีแนวโน้มอย่างมากที่จะตัดสินว่าอาร์กิวเมนต์สุดท้ายไม่ถูกต้อง แม้ว่าจะเป็นผลสืบเนื่องเชิงตรรกะจากข้อความก่อนหน้าก็ตาม

ผลลัพธ์แบบซีโร่-ช็อตสำหรับ Chinchilla ซึ่งเป็นการให้โจทย์โดยไม่มีตัวอย่างที่แก้แล้วหลังอธิบายกฎพื้นฐาน แสดงช่องว่างระหว่างกำลังคำนวณของคอมพิวเตอร์กับความสามารถของโมเดล NLP ในการแก้โจทย์ตรรกะขั้นต้นเช่นนี้

ผลลัพธ์แบบซีโร่-ช็อตสำหรับ Chinchilla ซึ่งเป็นการให้โจทย์โดยไม่มีตัวอย่างที่แก้แล้วหลังอธิบายกฎพื้นฐาน แสดงช่องว่างระหว่างกำลังคำนวณของคอมพิวเตอร์กับความสามารถของโมเดล NLP ในการแก้โจทย์ตรรกะขั้นต้นเช่นนี้

งานวาซอน

สำหรับการทดสอบครั้งที่สาม ปัญหาเชิงตรรกะที่ท้าทายมากขึ้น คือ งานคัดเลือกของวาซอน ถูกสร้างขึ้นใหม่ในหลายรูปแบบสำหรับโมเดลภาษาเพื่อแก้ไข

งานวาซอนซึ่งถูกสร้างขึ้นในปี 1968 ดูเหมือนจะง่ายมาก: ผู้เข้าร่วมการทดสอบถูกแสดงบัตรสี่ใบและถูกบอกว่ากฎแบบสมมุติ เช่น ‘ถ้าบัตรมี “D” บนหนึ่งด้าน แล้วมันจะมี “3” บนอีกด้านหนึ่ง’ ด้านหน้าของบัตรที่มองเห็นได้แสดง “D”, “F”, “3” และ “7”

ผู้เข้าร่วมการทดสอบถูกขอให้เลือกบัตรที่ต้องการพลิกเพื่อยืนยันว่ากฎนั้นเป็นจริงหรือเท็จ

คำตอบที่ถูกต้องในตัวอย่างนี้คือการพลิกบัตร “D” และ “7” ในการทดสอบครั้งแรกพบว่าผู้เข้าร่วมการทดสอบส่วนใหญ่จะเลือก “D” อย่างถูกต้อง แต่พวกเขามีแนวโน้มที่จะเลือก “3” มากกว่า “7” โดยสับสนระหว่าง บทแย้งสลับที่ ของกฎ (‘ไม่ใช่ 3 หมายถึงไม่ใช่ D’) และ การกลับกัน (‘3 หมายถึง D’ ซึ่งไม่ได้บ่งบอกถึงความสัมพันธ์เชิงตรรกะ)

ผู้เขียนสังเกตเห็นว่าความสามารถในการแทรกแซงของความเชื่อของมนุษย์เข้ามาในกระบวนการให้เหตุผล และสังเกตเห็นว่าแม้กระทั่งนักคณิตศาสตร์และนักศึกษาคณิตศาสตร์ระดับอุดมศึกษาก็มีคะแนนต่ำกว่า 50% ในงานนี้

อย่างไรก็ตาม เมื่อโครงสร้างของงานวาซอนในบางวิธีสะท้อนถึงประสบการณ์เชิงปฏิบัติของมนุษย์ ผลลัพธ์จะเพิ่มขึ้นตามลำดับ

ผู้เขียนสังเกตเห็น โดยอ้างอิงจากการทดลองก่อนหน้า:

ถ้าบัตรแสดงอายุและเครื่องดื่ม และกฎคือ “ถ้าพวกเขาดื่มเครื่องดื่มแอลกอฮอล์ พวกเขาต้องมีอายุ 21 ปีขึ้นไป” และแสดงบัตรที่มี “เบียร์” “โซดา” “25” และ “16” ส่วนใหญ่ของผู้เข้าร่วมการทดสอบเลือกที่จะตรวจสอบบัตรที่มี “เบียร์” และ “16” อย่างถูกต้อง

เพื่อทดสอบประสิทธิภาพของโมเดลภาษาในงานวาซอน ผู้วิจัยสร้างกฎที่หลากหลายทั้งแบบสมจริงและแบบสมมุติ โดยบางกฎมีคำที่ไม่สมเหตุสมผล เพื่อดูว่า AI สามารถเข้าใจบริบทของเนื้อหาและกำหนดว่าจะพลิก “บัตรเสมือน” ใด

ปัญหาหลายอย่างของงานวาซอน

ปัญหาหลายอย่างของงานวาซอน

สำหรับการทดสอบวาซอน โมเดลทำงานได้ใกล้เคียงกับมนุษย์ในงาน “สมจริง” (ไม่ใช่สมมุติ)

ผลลัพธ์งานคัดเลือกของวาซอนสำหรับ Chinchilla แบบซีโร่-ช็อต โดยโมเดลทำได้ดีกว่าการเดาสุ่มอย่างชัดเจน อย่างน้อยสำหรับกฎที่สมจริง

ผลลัพธ์งานคัดเลือกของวาซอนสำหรับ Chinchilla แบบซีโร่-ช็อต โดยโมเดลทำได้ดีกว่าการเดาสุ่มอย่างชัดเจน อย่างน้อยสำหรับกฎที่สมจริง

รายงานระบุว่า:

สิ่งนี้สะท้อนผลการวิจัยในวรรณกรรมของมนุษย์: มนุษย์มีความแม่นยำมากขึ้นในการตอบงานวาซอนเมื่อมันถูกกำหนดให้เป็นสถานการณ์ที่สมจริงมากกว่ากฎแบบสมมุติเกี่ยวกับคุณลักษณะที่ไม่มีจริง

การศึกษาทางการ

ผลการวิจัยของรายงานนี้แสดงให้เห็นถึงศักยภาพในการให้เหตุผลของระบบ NLP ระดับไฮเปอร์สเกลในบริบทของข้อจำกัดของเราเอง ซึ่งดูเหมือนว่าเรากำลังส่งต่อไปยังโมเดลเหล่านี้ผ่านชุดข้อมูลในโลกแห่งความเป็นจริงที่ใช้ฝึกโมเดล เนื่องจากพวกเราส่วนใหญ่ไม่ได้เป็นอัจฉริยะ โมเดลที่เรียนรู้พารามิเตอร์จากข้อมูลของเราก็เช่นกัน

นอกจากนี้ การวิจัยใหม่นี้สรุปได้ว่าเรามีข้อได้เปรียบของช่วงเวลาการศึกษาทางการ และแรงจูงใจทางสังคม การเงิน และแม้กระทั่งทางเพศที่ประกอบเป็นแรงผลักดันของมนุษย์ ทั้งหมดที่โมเดลภาษาได้รับคือผลจากการกระทำของปัจจัยสิ่งแวดล้อมเหล่านี้ และดูเหมือนว่าพวกมันจะยึดตามมาตรฐานทั่วไปมากกว่าความเป็นเยี่ยมยอดของมนุษย์

ผู้เขียนระบุว่า:

ผลการวิจัยของเราชี้ให้เห็นว่าผลกระทบด้านเนื้อหาสามารถเกิดขึ้นจากการฝึกโมเดล transformer ขนาดใหญ่เพียงอย่างเดียวเพื่อเลียนแบบภาษาที่มนุษย์สร้างขึ้น โดยไม่ต้องรวมกลไกภายในของมนุษย์เหล่านั้น

ในอีกคำหนึ่ง โมเดลภาษาและมนุษย์ทั้งคู่มาถึงความลำเอียงด้านเนื้อหาที่คล้ายกัน – แต่มาจากโครงสร้าง ประสบการณ์ และวัตถุประสงค์การฝึกอบรมที่ดูเหมือนจะแตกต่างกัน

ดังนั้นพวกเขาจึงแนะนำการฝึกอบรมเชิงอุปนัยในเชิงการให้เหตุผลที่บริสุทธิ์ ซึ่งมีหลักฐานแสดงว่าสามารถปรับปรุงประสิทธิภาพของโมเดลด้านคณิตศาสตร์และการให้เหตุผลทั่วไปได้ พวกเขายังระบุด้วยว่าโมเดลภาษาได้รับการฝึกอบรมหรือปรับให้เหมาะสม ในการปฏิบัติตามคำสั่ง ในระดับที่เป็นนามธรรมและทั่วไป และในการ ตรวจสอบ แก้ไข หรือกำจัดความลำเอียง ในผลลัพธ์ของตนเอง

 

* การแปลงอ้างอิงภายในให้เป็นลิงก์

เผยแพร่ครั้งแรกเมื่อวันที่ 15 กรกฎาคม 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai