DeepMind: AI อาจมีข้อจำกัดด้านการให้เหตุผลเชิงนามธรรมเหมือนมนุษย์ และอาจได้รับประโยชน์จาก ‘การศึกษาทางการ’

การทำงานร่วมกันใหม่ระหว่าง DeepMind และ Stanford University แสดงให้เห็นว่า AI อาจไม่ได้ดีกว่ามนุษย์ในการให้เหตุผลเชิงนามธรรม เนื่องจากโมเดลการเรียนรู้ของเครื่องได้รับโครงสร้างการให้เหตุผลจากตัวอย่างในโลกแห่งความเป็นจริงที่มีพื้นฐานมาจากบริบทเชิงปฏิบัติ (ซึ่ง AI ไม่สามารถสัมผัสได้) แต่ก็ถูกขัดขวางโดยข้อบกพร่องด้านการรับรู้ของเราเอง

หากพิสูจน์ได้แล้วว่านี่อาจเป็นอุปสรรคต่อการคิดเชิงนามธรรมและคุณภาพของการสร้างสรรค์ทางปัญญาที่เหนือกว่าซึ่งหลายคนหวังว่าจะได้รับจากระบบการเรียนรู้ของเครื่อง และแสดงให้เห็นถึงระดับที่ AI สะท้อนถึงประสบการณ์ของมนุษย์และมีแนวโน้มที่จะคิดและให้เหตุผลภายในขอบเขตที่มนุษย์ได้กำหนดไว้

นักวิจัยแนะนำว่าโมเดล AI อาจได้รับประโยชน์จากการฝึกอบรมเชิงนามธรรมก่อนที่จะถูกกำหนดให้ทำงานในภารกิจในโลกแห่งความเป็นจริง โดยเปรียบเทียบกับการ “ศึกษาทางการ” ก่อนที่จะเริ่มทำงาน

รายงานระบุว่า:

มนุษย์เป็นผู้ให้เหตุผลที่ไม่สมบูรณ์แบบ เราให้เหตุผลได้ดีที่สุดเกี่ยวกับสิ่งที่สอดคล้องกับความเข้าใจของเราเกี่ยวกับโลก

การทดลองของเราแสดงให้เห็นว่าโมเดลภาษาแสดงรูปแบบการให้เหตุผลที่คล้ายกัน โมเดลภาษาให้เหตุผลไม่สมบูรณ์แบบในงานการให้เหตุผลเชิงตรรกะ แต่นี่ขึ้นอยู่กับเนื้อหาและบริบท โดยเฉพาะอย่างยิ่ง โมเดลเหล่านี้มักล้มเหลวในสถานการณ์ที่มนุษย์ล้มเหลว – เมื่อสิ่งเร้ากลายเป็นนามธรรมหรือขัดแย้งกับความเข้าใจของเราเกี่ยวกับโลก

เพื่อทดสอบระดับที่โมเดล NLP ระดับไฮเปอร์สเกลอาจได้รับผลกระทบจากข้อจำกัดเหล่านี้ นักวิจัยได้ดำเนินการทดสอบสามครั้งบนโมเดลที่เหมาะสม โดยสรุปว่า*:

เราพบว่าโมเดลภาษาขนาดใหญ่แบบสเตต-ออฟ-ดิ-อาร์ต (ที่มี 7 หรือ 70 พันล้านพารามิเตอร์) สะท้อนรูปแบบการให้เหตุผลที่คล้ายกับมนุษย์ในการทำงานเหล่านี้ – เช่นเดียวกับมนุษย์ โมเดลให้เหตุผลได้ดีกว่าเกี่ยวกับสถานการณ์ที่เชื่อถือได้มากกว่าสถานการณ์ที่ไม่สมจริงหรือนามธรรม

ผลการวิจัยของเรามีผลกระทบต่อการทำความเข้าใจทั้งผลกระทบด้านการรับรู้และปัจจัยที่มีส่วนช่วยในการทำงานของโมเดลภาษา

รายงานชี้ให้เห็นว่าการสร้างทักษะการให้เหตุผลใน AI โดยไม่ให้ประโยชน์จากประสบการณ์เชิงปฏิบัติในโลกแห่งความเป็นจริงที่ให้ความหมายแก่ทักษะเหล่านั้น อาจจำกัดศักยภาพของระบบเหล่านี้ โดยสังเกตว่า ประสบการณ์ที่มีพื้นฐาน…อาจเป็นพื้นฐานของความเชื่อและเหตุผลบางอย่างของมนุษย์

ผู้เขียนเสนอว่า AI สัมผัสภาษาในลักษณะที่ไม่เกี่ยวข้อง ในขณะที่มนุษย์สัมผัสภาษาในลักษณะที่มีปฏิสัมพันธ์และเป็นศูนย์กลางของการสื่อสารทางสังคม และว่าการมีส่วนร่วมอย่างกระตือรือร้น (ซึ่งรวมถึงระบบทางสังคมของการลงโทษและรางวัล) อาจเป็น ‘กุญแจ’ ในการทำความเข้าใจความหมายในลักษณะเดียวกับมนุษย์

นักวิจัยสังเกตเห็นว่า:

ความแตกต่างบางอย่างระหว่างโมเดลภาษาและมนุษย์อาจเกิดจากความแตกต่างระหว่างประสบการณ์ที่มีฐานะดี มีปฏิสัมพันธ์ และมีประสบการณ์ของมนุษย์ และประสบการณ์ที่ไม่ดีของโมเดล

พวกเขาชี้ให้เห็นว่าวิธีแก้ปัญหาหนึ่งอาจเป็นการฝึกอบรมก่อนที่จะเรียนรู้เชิงนามธรรม ซึ่งคล้ายกับระบบการศึกษาในโรงเรียนและมหาวิทยาลัย ก่อนที่จะเรียนรู้ข้อมูลที่จะสร้างโมเดลภาษาที่มีประโยชน์และหลากหลาย

ช่วงเวลานี้ของ ‘การศึกษาทางการ’ (ตามที่นักวิจัยเปรียบเทียบ) จะแตกต่างจากกระบวนการฝึกอบรมก่อนที่จะเรียนรู้ของเครื่องจักรทั่วไป (ซึ่งเป็นวิธีการลดเวลาในการฝึกอบรมโดยการนำโมเดลที่ฝึกอบรมครึ่งหนึ่งหรือโมเดลที่ฝึกอบรมเต็มที่มาใช้ใหม่ เพื่อเพิ่มกระบวนการฝึกอบรม)

แต่จะแทนการเรียนรู้ที่ยั่งยืนซึ่งออกแบบมาเพื่อพัฒนาทักษะการให้เหตุผลเชิงตรรกะของ AI ในลักษณะที่เป็นนามธรรม และพัฒนาความสามารถในการวิพากษ์วิจารณ์ในลักษณะเดียวกับที่นักศึกษามหาวิทยาลัยจะถูกกระตุ้นให้ทำตลอดการเรียน

‘ผลลัพธ์หลายอย่าง’ ผู้เขียนระบุ ‘ชี้ให้เห็นว่านี่อาจไม่ใช่เรื่องที่ไม่สมจริงเหมือนที่ดูเหมือนจะเป็น’

รายงาน เรื่องนี้ มีชื่อเรื่องว่า โมเดลภาษาแสดงผลกระทบด้านเนื้อหาที่คล้ายกับมนุษย์ในการให้เหตุผล และมาจากนักวิจัยหกคนจาก DeepMind และหนึ่งคนจาก DeepMind และ Stanford University

การทดสอบ

มนุษย์เรียนรู้แนวคิดเชิงนามธรรมผ่านตัวอย่างเชิงปฏิบัติ โดยใช้วิธีการที่คล้ายกับการเรียนรู้ภาษาโดยใช้เทคนิคการจำ โดยตัวอย่างง่ายๆ คือการสอนหลักการทางฟิสิกส์ที่ซับซ้อนโดยใช้ ‘สถานการณ์การเดินทาง’ สำหรับรถไฟและรถยนต์

เพื่อทดสอบความสามารถในการให้เหตุผลเชิงนามธรรมของโมเดลภาษาขนาดใหญ่ นักวิจัยได้สร้างชุดการทดสอบทางภาษาและเชิงว义ที่สามารถท้าทายทั้งมนุษย์และ AI ได้ การทดสอบเหล่านี้ถูกนำไปใช้ ‘ซีโร่-ช็อต’ (โดยไม่มีตัวอย่างที่แก้ไขแล้ว) และ ‘ไฟว์-ช็อต’ (โดยมีตัวอย่างที่แก้ไขแล้วห้าตัวอย่าง)

งานที่หนึ่งเกี่ยวข้องกับการอนุมานภาษาเชิงธรรมชาติ (NLI) โดยที่ผู้ทำการทดสอบ (มนุษย์หรือในกรณีนี้คือโมเดลภาษา) ได้รับสองประโยค ‘สมมติฐาน’ และ ‘สมมติฐาน’ ที่ดูเหมือนจะถูกอนุมานจากสมมติฐาน ตัวอย่างเช่น X มีขนาดเล็กกว่า Y, สมมติฐาน: Y มีขนาดใหญ่กว่า X (ถูกอนุมาน)

สำหรับงาน NLI นักวิจัยได้ประเมินโมเดลภาษา Chinchilla (โมเดล 70 พันล้านพารามิเตอร์) และ 7B (โมเดล 7 พันล้านพารามิเตอร์) พบว่าสำหรับตัวอย่างที่สอดคล้องกัน (เช่น ตัวอย่างที่ไม่ไร้สาระ) โมเดล Chinchilla ที่ใหญ่กว่าได้รับผลลัพธ์ที่สูงกว่าความน่าจะเป็นเพียงอย่างเดียว และพวกเขาสังเกตเห็นว่า

นี่แสดงถึงความลำเอียงด้านเนื้อหาที่แข็งแกร่ง: โมเดลต้องการที่จะเติมประโยคในลักษณะที่สอดคล้องกับความคาดหวังในอดีตมากกว่าในลักษณะที่สอดคล้องกับกฎของตรรกะ

ผลการทำงานของ Chinchilla ในงาน NLI Source: https://arxiv.org/pdf/2207.07051.pdf

สิลโลจิซึม

งานที่สองนำเสนอความท้าทายที่ซับซ้อนกว่า สิลโลจิซึม – การให้เหตุผลที่สองประโยคที่แท้จริงดูเหมือนจะบ่งบอกถึงประโยคที่สาม (ซึ่งอาจเป็นข้อสรุปเชิงตรรกะที่อนุมานจากสองประโยคก่อนหน้าหรือไม่ก็ได้)

จากวัสดุทดสอบของรายงาน สิลโลจิซึม ‘สมจริง’ และเป็นไปได้หรือไม่สมจริง

ที่นี่ มนุษย์เปราะบางมาก และโครงสร้างที่ออกแบบมาเพื่อแสดงหลักการเชิงตรรกะกลายเป็นปัญหาและยุ่งเหยิงโดย ‘ความเชื่อ’ ของมนุษย์เกี่ยวกับคำตอบที่ถูกต้อง

ผู้เขียนสังเกตเห็นว่าการศึกษาในปี 1983 แสดงให้เห็นว่าผู้เข้าร่วมการทดสอบมีความลำเอียงโดยความเชื่อของตนเองเกี่ยวกับข้อสรุปของสิลโลจิซึม โดยสังเกตเห็นว่า

ผู้เข้าร่วมการทดสอบมีแนวโน้มที่จะบอกว่าสิลโลจิซึมที่ไม่ถูกต้องเป็นถูกต้องถ้าข้อสรุปนั้นเชื่อถือได้ และโดยทั่วไปอาศัยความเชื่อมากกว่าการให้เหตุผลเชิงนามธรรม

ในการทดสอบ Chinchilla กับสิลโลจิซึมที่หลากหลายหลายรูปแบบ รวมถึงข้อสรุปที่ไม่ถูกต้องหลายข้อ ผู้วิจัยพบว่า ความลำเอียงด้านความเชื่อขับเคลื่อนการตัดสินใจแบบซีโร่-ช็อตเกือบทั้งหมด

ผลลัพธ์แบบซีโร่-ช็อตสำหรับ Chinchilla

งานวาซอน

สำหรับการทดสอบครั้งที่สาม ปัญหาเชิงตรรกะที่ท้าทายมากขึ้น คือ งานวาซอน ถูกสร้างขึ้นใหม่ในหลายรูปแบบสำหรับโมเดลภาษาเพื่อแก้ไข

งานวาซอนซึ่งถูกสร้างขึ้นในปี 1968 ดูเหมือนจะง่ายมาก: ผู้เข้าร่วมการทดสอบถูกแสดงบัตรสี่ใบและถูกบอกว่ากฎแบบสมมุติ เช่น ‘ถ rebัตรมี “D” บนหนึ่งด้าน แล้วมันจะมี “3” บนอีกด้านหนึ่ง’ ด้านหน้าของบัตรที่มองเห็นได้แสดง “D”, “F”, “3” และ “7”

ผู้เข้าร่วมการทดสอบถูกขอให้เลือกบัตรที่ต้องการพลิกเพื่อยืนยันว่ากฎนั้นเป็นจริงหรือเท็จ

คำตอบที่ถูกต้องในตัวอย่างนี้คือการพลิกบัตร “D” และ “7” ในการทดสอบครั้งแรกพบว่าผู้เข้าร่วมการทดสอบส่วนใหญ่จะเลือก “D” อย่างถูกต้อง แต่พวกเขามีแนวโน้มที่จะเลือก “3” มากกว่า “7” โดยสับสนระหว่าง การพลิก ของกฎ (‘ไม่ใช่ 3 หมายถึงไม่ใช่ D’) และ การกลับกัน (‘3 หมายถึง D’ ซึ่งไม่ได้บ่งบอกถึงความสัมพันธ์เชิงตรรกะ)

ผู้เขียนสังเกตเห็นว่าความสามารถในการแทรกแซงของความเชื่อของมนุษย์เข้ามาในกระบวนการให้เหตุผล และสังเกตเห็นว่าแม้กระทั่งนักคณิตศาสตร์และนักศึกษาคณิตศาสตร์ระดับอุดมศึกษาก็มีคะแนนต่ำกว่า 50% ในงานนี้

อย่างไรก็ตาม เมื่อโครงสร้างของงานวาซอนในบางวิธีสะท้อนถึงประสบการณ์เชิงปฏิบัติของมนุษย์ ผลลัพธ์จะเพิ่มขึ้นตามลำดับ

ผู้เขียนสังเกตเห็น โดยอ้างอิงจากการทดลองก่อนหน้า:

ถ้าบัตรแสดงอายุและเครื่องดื่ม และกฎคือ “ถ้าพวกเขาดื่มเครื่องดื่มแอลกอฮอล์ พวกเขาต้องมีอายุ 21 ปีขึ้นไป” และแสดงบัตรที่มี “เบียร์” “โซดา” “25” และ “16” ส่วนใหญ่ของผู้เข้าร่วมการทดสอบเลือกที่จะตรวจสอบบัตรที่มี “เบียร์” และ “16” อย่างถูกต้อง

เพื่อทดสอบประสิทธิภาพของโมเดลภาษาในงานวาซอน ผู้วิจัยสร้างกฎที่หลากหลายทั้งแบบสมจริงและแบบสมมุติ โดยบางกฎมีคำที่ไม่สมเหตุสมผล เพื่อดูว่า AI สามารถเข้าใจบริบทของเนื้อหาและกำหนดว่าจะพลิก “บัตรเสมือน” ใด

ปัญหาหลายอย่างของงานวาซอน

สำหรับการทดสอบวาซอน โมเดลทำงานได้ดีกว่ามนุษย์ในงาน “สมจริง” (ไม่ใช่สมมุติ)

ผลลัพธ์ของงานวาซอน

รายงานระบุว่า:

สิ่งนี้สะท้อนผลการวิจัยในวรรณกรรมของมนุษย์: มนุษย์มีความแม่นยำมากขึ้นในการตอบงานวาซอนเมื่อมันถูกกำหนดให้เป็นสถานการณ์ที่สมจริงมากกว่ากฎแบบสมมุติเกี่ยวกับคุณลักษณะที่ไม่มีจริง

การศึกษาทางการ

ผลการวิจัยของรายงานนี้แสดงให้เห็นถึงศักยภาพในการให้เหตุผลของระบบ NLP ระดับไฮเปอร์สเกลในบริบทของข้อจำกัดของเราเอง ซึ่งดูเหมือนว่าเรากำลังส่งต่อไปยังโมเดลเหล่านี้ผ่านชุดข้อมูลในโลกแห่งความเป็นจริงที่ใช้พลังงานพวกมัน

นอกจากนี้ การวิจัยใหม่นี้สรุปได้ว่าเรามีข้อได้เปรียบของช่วงเวลาการศึกษาทางการ และแรงจูงใจทางสังคม การเงิน และแม้กระทั่งทางเพศที่ประกอบเป็นแรงผลักดันของมนุษย์ ทั้งหมดที่โมเดลภาษาได้รับคือผลจากการกระทำของปัจจัยสิ่งแวดล้อมเหล่านี้ และดูเหมือนว่าพวกมันจะยึดตามมาตรฐานทั่วไปมากกว่าความเป็นเยี่ยมยอดของมนุษย์

ผู้เขียนระบุว่า:

ผลการวิจัยของเราชี้ให้เห็นว่าผลกระทบด้านเนื้อหาสามารถเกิดขึ้นจากการฝึกอบรมโมเดลภาษาขนาดใหญ่เพียงอย่างเดียวเพื่อเลียนแบบภาษาที่มนุษย์สร้างขึ้น โดยไม่ต้องรวมกลไกภายในของมนุษย์เหล่านั้น

ในอีกคำหนึ่ง โมเดลภาษาและมนุษย์ทั้งคู่มาถึงความลำเอียงด้านเนื้อหาที่คล้ายกัน – แต่มาจากโครงสร้าง ประสบการณ์ และวัตถุประสงค์การฝึกอบรมที่ดูเหมือนจะแตกต่างกัน

ดังนั้นพวกเขาจึงแนะนำการฝึกอบรมเชิงอุปนัยในเชิงการให้เหตุผลที่บริสุทธิ์ ซึ่งได้แสดงให้เห็นแล้วว่าสามารถปรับปรุงประสิทธิภาพของโมเดลได้สำหรับ数学และเหตุผลทั่วไป พวกเขายังระบุด้วยว่าโมเดลภาษาได้รับการฝึกอบรมหรือปรับให้เหมาะสม ในการปฏิบัติตามคำสั่ง ในระดับที่เป็นนามธรรมและทั่วไป และในการ ตรวจสอบ แก้ไข หรือกำจัดความลำเอียง ของการผลิตของตนเอง

* การแปลงอ้างอิงภายในให้เป็นลิงก์

เผยแพร่ครั้งแรกเมื่อวันที่ 15 กรกฎาคม 2022