โมเดล AI ที่ดีที่สุดกำลังหลงทางในเอกสารยาว

การศึกษาที่ตีพิมพ์ใหม่โดยนักวิจัยจาก LMU Munich, Munich Center for Machine Learning และ Adobe (ADBE ) Research ได้เปิดเผยจุดอ่อนของโมเดลภาษา AI: พวกมันพยายามที่จะเข้าใจเอกสารยาวในลักษณะที่อาจทำให้คุณประหลาดใจ การวิจัยพบว่าแม้แต่โมเดล AI ที่ทันสมัยที่สุดก็มีปัญหาในการเชื่อมโยงสารสนเทศเมื่อไม่สามารถพึ่งพาการจับคู่คำพื้นฐานได้

ปัญหาเชิงซ่อนเร้นของทักษะการอ่าน AI

ลองนึกภาพว่าคุณกำลังพยายามค้นหาข้อมูลเฉพาะในเอกสารวิจัยที่ยาวมาก คุณอาจจะ扫ผ่านมันโดยการสร้างความเชื่อมโยงระหว่างส่วนต่างๆ เพื่อสร้างข้อมูลที่คุณต้องการ โมเดล AI หลายรุ่นไม่ทำงานในลักษณะนี้เลย แต่พวกมัน thườngพึ่งพาการค้นหาคำที่ตรงกันอย่างง่ายๆ เช่นการใช้ Ctrl+F บนคอมพิวเตอร์ของคุณ

ทีมวิจัยได้พัฒนาเกณฑ์มาตรฐานใหม่ที่เรียกว่า NOLIMA (No Literal Matching) เพื่อทดสอบโมเดล AI ต่างๆ ผลการวิจัยพบว่าเมื่อโมเดล AI จัดการกับข้อความที่ยาวกว่า 2,000 คำ ประสิทธิภาพของมันจะลดลงอย่างมาก เมื่อถึง 32,000 คำ (หรือประมาณความยาวของหนังสือขนาดเล็ก) โมเดลส่วนใหญ่จะทำงานได้เพียงครึ่งหนึ่งของความสามารถปกติ ซึ่งรวมถึงการทดสอบโมเดลที่สำคัญๆ เช่น GPT-4o, Gemini 1.5 Pro และ Llama 3.3 70B

ลองพิจารณานักวิจัยด้านการแพทย์ที่ใช้ AI เพื่อวิเคราะห์ประวัติผู้ป่วย หรือทีมกฎหมายที่ใช้ AI เพื่อตรวจสอบเอกสารคดี หาก AI พลาดการเชื่อมโยงที่สำคัญเนื่องจากข้อมูลที่เกี่ยวข้องใช้คำที่แตกต่างจากคำค้นหา ผลที่ตามมาอาจจะสำคัญมาก

ทำไมการค้นหาคำพื้นฐานจึงไม่เพียงพอ

โมเดล AI ปัจจุบันประมวลผลข้อความโดยใช้กลไกที่เรียกว่า attention mechanism กลไกนี้ช่วยให้ AI มุ่งเน้นไปที่ส่วนต่างๆ ของข้อความเพื่อเข้าใจความสัมพันธ์ระหว่างคำและแนวคิด เมื่อทำงานกับข้อความที่สั้นกว่านี้ มันทำงานได้ดี แต่การวิจัยพบว่ากลไกนี้จะถูกครอบงำเมื่อข้อความยาวขึ้น โดยเฉพาะอย่างยิ่งเมื่อไม่สามารถพึ่งพาการจับคู่คำพื้นฐานได้

การทดสอบ NOLIMA เปิดเผยข้อจำกัดนี้โดยการถามโมเดล AI คำถามที่คำตอบต้องอาศัยการเข้าใจบริบทมากกว่าการค้นหาคำที่ตรงกัน ผลการวิจัยพบว่าโมเดลทำงานได้ดีกับข้อความสั้น แต่ความสามารถในการสร้างความเชื่อมโยงเหล่านี้จะลดลงอย่างมากเมื่อความยาวของข้อความเพิ่มขึ้น แม้แต่โมเดลที่ออกแบบมาเพื่อทำงานการให้เหตุผลก็ยังได้คะแนนต่ำกว่า 50% เมื่อจัดการกับเอกสารที่ยาวขึ้น

โดยไม่มีการจับคู่คำพื้นฐาน โมเดล AI ต้องดิ้นรนเพื่อ:

• เชื่อมโยงแนวคิดที่เกี่ยวข้องที่ใช้คำศัพท์ที่แตกต่างกัน
• ติดตามเส้นทางการให้เหตุผลหลายขั้นตอน
• ค้นหาข้อมูลที่เกี่ยวข้องเมื่อมันปรากฏหลังบริบทที่สำคัญ
• เพิกเฉยต่อการค้นหาคำที่ไม่เกี่ยวข้องในข้อความที่ไม่เกี่ยวข้อง

ตัวเลขบอกเรื่องราว

ผลการวิจัยวาดภาพที่ชัดเจนเกี่ยวกับวิธีการที่โมเดล AI จัดการกับข้อความที่ยาวขึ้น โมเดล GPT-4o แสดงผลการทำงานที่ดีที่สุด โดยสามารถรักษาความสามารถในการทำงานได้จนถึงประมาณ 8,000 โทเค็น (หรือประมาณ 6,000 คำ) แต่แม้แต่โมเดลที่ดีที่สุดก็ยังแสดงการลดลงอย่างมากเมื่อจัดการกับข้อความที่ยาวขึ้น โมเดลส่วนใหญ่ รวมถึง Gemini 1.5 Pro และ Llama 3.3 70B มีการลดลงอย่างรวดเร็วของประสิทธิภาพระหว่าง 2,000 ถึง 8,000 โทเค็น

การลดลงของประสิทธิภาพกลายเป็นเรื่องที่ชัดเจนมากขึ้นเมื่อทำงานต้องใช้ขั้นตอนการให้เหตุผลหลายขั้นตอน ตัวอย่างเช่น หากโมเดลต้องสร้างความเชื่อมโยงเชิงตรรกะสองขั้นตอน เช่น การเข้าใจว่าตัวละครอาศัยอยู่ใกล้สถานที่สำคัญ และสถานที่สำคัญนั้นอยู่ในเมืองใด การให้เหตุผลประเภทนี้กลายเป็นเรื่องที่ท้าทายมากขึ้นในข้อความที่ยาวกว่า 16,000 โทเค็น แม้จะใช้เทคนิคที่ออกแบบมาเพื่อปรับปรุงการให้เหตุผล เช่น Chain-of-Thought prompting

สิ่งที่ทำให้ผลการวิจัยนี้น่าสนใจเป็นพิเศษคือมันท้าทายคำกล่าวอ้างเกี่ยวกับความสามารถของโมเดล AI ในการจัดการกับบริบทที่ยาว ขณะที่โมเดล AI หลายรุ่นโฆษณาว่าสามารถจัดการกับบริบทที่ยาวได้ แต่การวิจัย NOLIMA แสดงให้เห็นว่าความเข้าใจที่มีประสิทธิภาพจะลดลงอย่างรวดเร็วก่อนที่จะถึงขีดจำกัดที่โฆษณาไว้

Source: Modarressi et al.

เมื่อ AI พลาดที่จะเห็นภาพรวม

ข้อจำกัดเหล่านี้มีผลกระทบอย่างรุนแรงต่อวิธีการที่เราสามารถใช้ AI ในการประยุกต์ใช้จริง ลองพิจารณาระบบ AI ที่ใช้ในการค้นหาข้อกฎหมาย มันอาจพลาดข้อกฎหมายที่เกี่ยวข้องเพียงเพราะใช้คำศัพท์ที่แตกต่างจากคำค้นหา ระบบอาจมุ่งเน้นไปที่คดีที่ไม่เกี่ยวข้องซึ่งมีคำที่ตรงกับคำค้นหา

ผลกระทบต่อการค้นหาและวิเคราะห์เอกสารนั้นเป็นเรื่องที่น่ากังวลเป็นพิเศษ ระบบการค้นหาที่ใช้ AI ที่มีอยู่ในปัจจุบันมักจะพึ่งพาเทคนิคที่เรียกว่า Retrieval-Augmented Generation (RAG) แม้ว่าระบบเหล่านี้จะสามารถค้นหาเอกสารที่มีข้อมูลที่ถูกต้องได้ แต่ AI อาจล้มเหลวในการตระหนักถึงความเกี่ยวข้องหากคำศัพท์ไม่ตรงกับคำค้นหา AI อาจมุ่งเน้นไปที่เอกสารที่ไม่เกี่ยวข้องซึ่งมีคำที่เหมือนกับคำค้นหา

สำหรับผู้ใช้ AI สิ่งเหล่านี้แสดงให้เห็นถึงข้อพิจารณาที่สำคัญหลายประการ:

ประการแรก ควรใช้คำค้นหาและเอกสารที่สั้นกว่าเพื่อให้ได้ผลลัพธ์ที่น่าเชื่อถือมากขึ้น เมื่อทำงานกับเอกสารที่ยาวกว่า การแบ่งออกเป็นช่วงๆ ที่มีจุดมุ่งหมายอาจช่วยรักษาบริบทที่สำคัญ

ประการที่สอง ผู้ใช้ควรระมัดระวังเป็นพิเศษเมื่อขอให้ AI สร้างความเชื่อมโยงระหว่างส่วนต่างๆ ของเอกสารที่ยาวกว่า การวิจัยพบว่าโมเดล AI ต้องดิ้นรนมากที่สุดเมื่อต้องเชื่อมโยงสารสนเทศจากส่วนต่างๆ ที่แตกต่างกัน โดยเฉพาะอย่างยิ่งเมื่อความเชื่อมโยงไม่ชัดเจนผ่านคำศัพท์ที่ใช้ร่วมกัน

ประการที่สาม สิ่งเหล่านี้เน้นย้ำถึงความสำคัญของการดูแลของผู้ใช้คน แม้ว่า AI จะเป็นเครื่องมือที่มีประสิทธิภาพสำหรับการประมวลผลและวิเคราะห์ข้อความ แต่ไม่ควรใช้ AI เป็นเครื่องมือเดียวในการระบุความเชื่อมโยงที่สำคัญในเอกสารที่ซับซ้อนหรือยาว ความสามารถของมนุษย์ในการรักษาบริบทและสร้างความเชื่อมโยงแนวคิดในเอกสารที่ยาวกว่ายังคงเหนือกว่าความสามารถของ AI ปัจจุบัน

ผลการวิจัยเหล่านี้เป็นคำเตือนให้เราเข้าใจว่าแม้จะมีการพัฒนา AI ที่รวดเร็ว แต่ระบบเหล่านี้ยังคงประมวลผลข้อมูลในลักษณะที่แตกต่างจากมนุษย์ การเข้าใจข้อจำกัดเหล่านี้เป็นสิ่งสำคัญสำหรับการใช้เครื่องมือ AI อย่างมีประสิทธิภาพและรู้ว่าเมื่อใดที่การตัดสินใจของมนุษย์ยังคงจำเป็น

สิ่งที่จะเกิดขึ้นต่อไป

การเข้าใจข้อจำกัดของโมเดล AI ในการประมวลผลข้อความที่ยาวกว่านั้นเปิดโอกาสให้เราได้พิจารณาถึงอนาคตของการพัฒนา AI การวิจัยเบื้องหลังเกณฑ์มาตรฐาน NOLIMA ได้แสดงให้เห็นว่าแนวทางปัจจุบันของเราในการประมวลผลข้อความ AI อาจต้องได้รับการปรับปรุงอย่างมาก โดยเฉพาะอย่างยิ่งในการจัดการกับข้อมูลในเอกสารที่ยาวกว่า

วิธีแก้ปัญหาในปัจจุบันแสดงให้เห็นถึงความสำเร็จบางส่วนเท่านั้น เทคนิคการให้เหตุผลแบบ Chain-of-Thought ซึ่งกระตุ้นให้โมเดล AI แบ่งการให้เหตุผลออกเป็นขั้นตอน ช่วยปรับปรุงประสิทธิภาพบ้าง ตัวอย่างเช่น เมื่อใช้เทคนิคนี้ โมเดล Llama 3.3 70B แสดงให้เห็นถึงความสามารถที่ดีขึ้นในการจัดการกับบริบทที่ยาวกว่า แต่วิธีนี้ยังคงไม่เพียงพอเมื่อจัดการกับเอกสารที่ยาวกว่า 16,000 โทเค็น ซึ่งบ่งชี้ว่าเราต้องการวิธีแก้ปัญหาที่พื้นฐานมากกว่านี้

กลไกการดูแล (attention mechanism) ซึ่งเป็นรากฐานของวิธีการที่โมเดล AI ปัจจุบันประมวลผลข้อความ ต้องได้รับการพิจารณาใหม่ ลองนึกภาพว่าคุณกำลังพยายามสนทนในห้องที่มีคนเยอะ – การสนทนาครั้งยาวจะทำให้ยากต่อการรักษาความสำคัญของจุดๆ ที่กล่าวถึงก่อนหน้านี้ โมเดล AI ของเราต้องเผชิญกับความท้าทายที่คล้ายกัน แต่ในระดับที่ใหญ่กว่ามาก

เมื่อมองไปสู่อนาคต นักวิจัยกำลังสำรวจทิศทางที่มีแนวโน้มหลายทางหนึ่ง วิธีหนึ่งเกี่ยวข้องกับการพัฒนาวิธีใหม่ๆ สำหรับ AI ในการจัดระเบียบและจัดลำดับความสำคัญของข้อมูลในเอกสารที่ยาวกว่า โดยการย้ายจากการจับคู่คำพื้นฐานไปสู่การเข้าใจความเชื่อมโยงแนวคิดที่ลึกซึ้งยิ่งขึ้น ซึ่งอาจทำงานในลักษณะที่คล้ายกับวิธีที่มนุษย์สร้างแผนที่จิตของข้อมูล โดยเชื่อมโยงแนวคิดตามความหมายมากกว่าคำศัพท์ที่ใช้ร่วมกัน

อีกพื้นที่หนึ่งที่มีการพัฒนาคือการปรับปรุงวิธีการที่โมเดล AI จัดการกับ “การกระโดดที่ซ่อนอยู่” (latent hops) – ขั้นตอนตรรกะที่จำเป็นในการเชื่อมโยงสารสนเทศที่แตกต่างกัน โมเดลปัจจุบันต้องดิ้นรนในการเชื่อมโยงเหล่านี้ โดยเฉพาะอย่างยิ่งในเอกสารที่ยาวกว่า แต่สถาปัตยกรรมใหม่อาจช่วยข้ามช่องว่างนี้

สำหรับผู้ที่ทำงานกับเครื่องมือ AI ในปัจจุบัน ผลการวิจัยเหล่านี้แนะนำแนวทางปฏิบัติหลายประการ:

พิจารณาแบ่งเอกสารที่ยาวกว่าออกเป็นช่วงๆ ที่มีจุดมุ่งหมายเมื่อทำงานกับ AI สิ่งนี้ช่วยสร้างส่วนๆ ที่มีบริบทที่สำคัญ ตัวอย่างเช่น หากคุณกำลันวิเคราะห์เอกสารวิจัย คุณอาจเก็บส่วนวิธีการและผลลัพธ์ไว้ด้วยกันเนื่องจากมักจะมีข้อมูลที่เกี่ยวข้อง

เมื่อขอให้ AI วิเคราะห์เอกสารที่ยาวกว่า ควรให้คำชี้แจงเกี่ยวกับการเชื่อมโยงที่คุณต้องการให้ AI สร้าง แทนที่จะถามคำถามทั่วไป คุณควรชี้นำ AI ไปยังความสัมพันธ์ที่คุณสนใจ โดยเฉพาะอย่างยิ่งเมื่อต้องเชื่อมโยงระหว่างส่วนต่างๆ ของเอกสาร

สิ่งที่สำคัญที่สุดคือ ควรตั้งค่าความคาดหวังที่เป็นจริงเกี่ยวกับความสามารถของ AI กับเอกสารที่ยาวกว่า แม้ว่าเครื่องมือเหล่านี้จะช่วยได้มากสำหรับหลายงาน แต่ไม่ควรใช้ AI เป็นตัวแทนการวิเคราะห์ของมนุษย์โดยสมบูรณ์สำหรับเอกสารที่ซับซ้อนหรือยาว ความสามารถของมนุษย์ในการรักษาบริบทและสร้างความเชื่อมโยงแนวคิดในเอกสารที่ยาวกว่ายังคงเหนือกว่าความสามารถของ AI ปัจจุบัน

เส้นทางสู่อนาคตสำหรับการพัฒนา AI ในพื้นที่นี้ทั้งท้าทายและน่าตื่นเต้น เมื่อเรามีความเข้าใจที่ดีขึ้นเกี่ยวกับข้อจำกัดเหล่านี้ เราสามารถทำงานต่อเพื่อสร้างระบบ AI ที่เข้าใจเอกสารที่ยาวกว่าจริงๆ แทนที่จะเพียงแค่ประมวลผลมัน จนกว่าจะถึงวันนั้น การใช้ AI อย่างมีประสิทธิภาพหมายถึงการทำงานกับข้อจำกัดปัจจุบันในขณะเดียวกันก็ชื่นชมจุดแข็งของมัน