โมเดล NLP ต้องดิ้นรนเพื่อทำความเข้าใจ Recursive Noun Phrases

นักวิจัยจากสหรัฐอเมริกาและจีนพบว่าไม่มีโมเดลการประมวลผลภาษา自然 (NLP) ที่มีประสิทธิภาพสูงใดที่สามารถทำความเข้าใจประโยคภาษาอังกฤษที่มี Recursive Noun Phrases (NPs) ได้โดยอัตโนมัติ และ ‘ดิ้นรน’ ในการทำความเข้าใจความหมายหลักในตัวอย่างที่เกี่ยวข้อง เช่น ภาพยนตร์ใหม่ที่ฉันชื่นชอบ และ ภาพยนตร์ที่ฉันชื่นชอบ (ซึ่งแต่ละตัวอย่างมีความหมายที่แตกต่างกัน)

ในตัวอย่างที่น่าสนใจจากเอกสารวิจัยนี้ มีปริศนาเล็กๆ ที่เด็กๆ มักจะไม่สามารถแก้ไขได้: ลูกบอลที่สองเป็นสีเขียว แต่ลูกบอลที่ห้าเป็น ‘ลูกบอลสีเขียวที่สอง’ แหล่งที่มา: https://arxiv.org/pdf/2112.08326.pdf

นักวิจัยได้ตั้งค่า Recursive Noun Phrase Challenge (RNPC) สำหรับโมเดลภาษาที่ติดตั้งบนเครื่องของตนเอง รวมถึง OpenAI’s GPT-3*, Google’s BERT, และ Facebook’s RoBERTa และ BART พบว่าโมเดลเหล่านี้มีประสิทธิภาพเพียง ‘โอกาส’ เท่านั้น พวกเขาสรุป^†:

‘ผลการวิจัยแสดงว่าโมเดลภาษาที่มีประสิทธิภาพสูง (SOTA) ที่ได้รับการฝึกอบรมบนมาตรฐาน benchmarks ของรูปแบบเดียวกันล้วนขาดความสามารถในการทำความเข้าใจ RNPC ซึ่งบ่งชี้ว่าความรู้ที่ต้องการไม่สามารถเข้าถึงได้’

ตัวอย่างคู่ใน RNPC challenge ที่โมเดล SOTA มีข้อผิดพลาด

ในตัวอย่างข้างต้น โมเดลเหล่านี้ล้มเหลวในการแยกความแตกต่างระหว่าง สัตว์ป่าเสี่ยงต่อการถูกทำร้ายที่ตายแล้ว (เช่น สัตว์ป่าเสี่ยงต่อการถูกทำร้ายที่ไม่มีอันตรายเพราะตายแล้ว) และ สัตว์ป่าเสี่ยงต่อการถูกทำร้ายที่ตายแล้ว (เช่น สัตว์ป่าเสี่ยงต่อการถูกทำร้ายที่ตายแล้วซึ่งอาจมีไวรัสที่เป็นอันตรายและยังคงเป็นอันตรายอยู่)

(นอกจากนี้ แม้ว่าเอกสารวิจัยจะไม่ได้กล่าวถึง แต่ ‘ตาย’ ยังใช้เป็นคำกริยา ซึ่งไม่เกี่ยวข้องกับทั้งสองกรณี)

อย่างไรก็ตาม นักวิจัยพบว่าการฝึกอบรมเพิ่มเติมหรือการฝึกอบรมเสริมที่รวม RNPC สามารถแก้ไขปัญหานี้ได้:

‘โมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าด้วยประสิทธิภาพ SOTA บนมาตรฐาน NLU มีความสามารถที่ไม่ดีนักในการทำความเข้าใจความรู้นี้ แต่สามารถเรียนรู้ได้เมื่อได้รับข้อมูลจาก RNPC ในปริมาณเล็กน้อย’

นักวิจัยให้เหตุผลว่าความสามารถของโมเดลภาษาในการนำทางโครงสร้างแบบเรียกซ้ำนี้เป็นสิ่งจำเป็นสำหรับงานที่ต้องใช้ภาษา เช่น การวิเคราะห์ภาษา การแปลภาษา และการตรวจจับอันตราย:

‘[เรา] พิจารณาสถานการณ์ที่ผู้ใช้โต้ตอบกับเอเย่นต์ที่มีเป้าหมาย เช่น Siri หรือ Alexa และเอเย่นต์จำเป็นต้องกำหนดว่ากิจกรรมที่เกี่ยวข้องในคำถามของผู้ใช้เป็นอันตรายหรือไม่ [ตัวอย่างเช่น ต่อเด็กๆ] เราเลือกงานนี้เพราะอันตรายหลายอย่างมาจาก NPs ที่เรียกซ้ำกัน’

‘ตัวอย่างเช่น วิธีทำระเบิดที่บ้านเป็นอันตรายอย่างชัดเจน ในขณะที่วิธีทำบอมบ์ที่บ้านเป็นอันตรายไม่’

เอกสารวิจัยมีชื่อเรื่องว่า “ภาพยนตร์ใหม่ที่ฉันชื่นชอบ” เป็นภาพยนตร์ที่ฉันชื่นชอบหรือไม่? การทดสอบความเข้าใจของ Recursive Noun Phrases และมาจากนักวิจัย 5 คนจากมหาวิทยาลัยเพนซิลเวเนียและ 1 คนจากมหาวิทยาลัยเปกิง

ข้อมูลและวิธีการ

แม้ว่างานวิจัยก่อนหน้านี้จะศึกษาความสัมพันธ์ทาง句法ของ NPs ที่เรียกซ้ำกันและ การแบ่งประเภททางภาษา ของคำขยาย แต่ตามนักวิจัย วิธีการเหล่านี้ไม่เพียงพอในการแก้ไขความท้าทาย

ดังนั้น โดยอาศัยการใช้ NPs ที่เรียกซ้ำกันพร้อมคำขยายสองคำ นักวิจัยได้พยายามที่จะกำหนดว่าความรู้ที่จำเป็นนี้มีอยู่ในระบบ NLP ที่มีประสิทธิภาพสูงหรือไม่ (ไม่มี) ว่าสามารถสอนให้พวกมันได้หรือไม่ (สามารถ) ความรู้ที่ NLP สามารถเรียนรู้จาก NPs ที่เรียกซ้ำกันคืออะไร และวิธีการที่ความรู้นี้สามารถเป็นประโยชน์ต่อการประยุกต์ใช้ลงด้านล่างได้อย่างไร

ชุดข้อมูลที่นักวิจัยใช้ถูกสร้างขึ้นใน 4 ระยะแรก คือ การสร้างพจนานุกรมคำขยายที่มี 689 ตัวอย่างที่ดึงมาจากเอกสารวิจัยก่อนหน้านี้และงานใหม่

ต่อไป นักวิจัยได้รวบรวม NPs ที่เรียกซ้ำกันจากเอกสารวิจัย สื่อเก่า และการเพิ่มเติมของตนเอง ทรัพยากรทางภาษาประกอบด้วย Penn Treebank และ Annotated Gigaword corpus

จากนั้น ทีมงานได้ว่าจ้างนักศึกษามหาวิทยาลัยที่ผ่านการคัดเลือกเพื่อสร้างตัวอย่างสำหรับงานที่โมเดลภาษาจะเผชิญ และตรวจสอบความถูกต้องหลังจากนั้นเป็น 8,260 ตัวอย่างที่ถูกต้อง

สุดท้าย นักศึกษามหาวิทยาลัยที่ผ่านการคัดเลือกอีกครั้งได้รับการว่าจ้างผ่าน Amazon Mechanical Turk เพื่อทำการบันทึกย่อสำหรับแต่ละตัวอย่างเป็น Human Intelligence Task (HIT) โดยตัดสินโดยเสียงส่วนใหญ่ ซึ่งลดตัวอย่างเหลือ 4,567 ตัวอย่าง และถูกกรองเพิ่มเติมเป็น 3,790 ตัวอย่างที่สมดุลมากขึ้น

นักวิจัยได้ปรับเปลี่ยนชุดข้อมูลที่มีอยู่เพื่อสร้างสามส่วนของสมมติฐานการทดสอบ รวมถึง MNLI, SNLI, MPE และ ADEPT โดยฝึกอบรมโมเดล SOTA ทั้งหมดด้วยตนเอง ยกเว้นโมเดล HuggingFace ซึ่งใช้เช็คพอยต์

ผลลัพธ์

นักวิจัยพบว่าโมเดลทั้งหมด ‘ดิ้นรน’ ในงาน RNPC เทียบกับผลลัพธ์ที่เชื่อถือได้ 90%+ สำหรับมนุษย์ โดยโมเดล SOTA มีประสิทธิภาพเพียง ‘โอกาส’ (ไม่มีหลักฐานของความสามารถที่มีประสิทธิภาพมากกว่าโอกาสในการตอบสนอง)

ผลลัพธ์จากการทดสอบของนักวิจัย โดยที่โมเดลภาษาได้รับการทดสอบกับผลลัพธ์ความถูกต้องบนมาตรฐานที่มีอยู่ โดยที่เส้นตรงกลางแสดงถึงผลลัพธ์ของมนุษย์ในการทำงาน

การวิจัยเพิ่มเติมพบว่าข้อบกพร่องเหล่านี้สามารถชดเชยได้ในช่วงการฝึกอบรมหรือการปรับโมเดลภาษาโดยการรวมความรู้เกี่ยวกับ NPs ที่เรียกซ้ำกันโดยเฉพาะ เมื่อการฝึกอบรมเสริมนี้เสร็จสิ้น โมเดลเหล่านี้สามารถบรรลุ ‘ผลลัพธ์ที่แข็งแกร่งในการตรวจจับอันตราย’

นักวิจัยสัญญาว่าจะเปิดเผยโค้ดสำหรับงานนี้ที่ https://github.com/veronica320/Recursive-NPs

ตีพิมพ์ครั้งแรกเมื่อวันที่ 16 ธันวาคม 2021 – 17 ธันวาคม 2021 6:55 น. GMT+2: แก้ไขลิงก์ที่เสีย

* GPT-3 Ada ซึ่งเป็นโมเดลที่เร็วที่สุดแต่ไม่ใช่โมเดลที่ดีที่สุดในซีรีส์นี้ อย่างไรก็ตาม โมเดล Davinci ที่ใหญ่กว่าไม่สามารถใช้ได้สำหรับการปรับโมเดลที่ประกอบเป็นช่วงหลังของการทดลองของนักวิจัย

^† การแปลงอ้างอิงภายในให้เป็นลิงก์