บaidu ทิ้ง Google และ Microsoft ขึ้นแท่นเทคนิคใหม่สำหรับการทำความเข้าใจภาษา

บaidu หนึ่งในบริษัทเทคโนโลยีที่ใหญ่ที่สุดในจีน ได้พัฒนาเทคนิคใหม่ในการสอน AI ให้เข้าใจภาษา ตามรายงานของ TechnologyReview บริษัทได้เอาชนะ Microsoft (MSFT ) และ Google (GOOGL ) ในการแข่งขัน General Language and Understanding Evaluation (GLUE) โดยบรรลุผลลัพธ์ที่ดีที่สุด

GLUE ประกอบด้วยการทดสอบ 9 ประเภท โดยแต่ละการทดสอบวัดงานที่แตกต่างกันซึ่งสำคัญต่อการทำความเข้าใจภาษา เช่น การแยกชื่อของหน่วยในประโยคและการแยกบริบทที่ใช้คำสรรพนาม “it” เมื่อมีหลายตัวเลือกที่เป็นไปได้ คะแนนเฉลี่ยของมนุษย์โดยทั่วไปจะอยู่ที่ประมาณ 87 คะแนนจาก 100 คะแนน โมเดลใหม่ของบaidu ที่เรียกว่า ERNIE สามารถทำคะแนนเกิน 90 ได้

นักวิจัยพยายามปรับปรุงประสิทธิภาพของโมเดลของตนเองที่ GLUE อยู่เสมอ ดังนั้นมาตรฐานปัจจุบันที่บaidu ตั้งค่าไว้จะถูกทำลายได้ไม่นาน แต่สิ่งที่ทำให้ความสำเร็จของบaidu น่าสนใจคือว่าแนวทางในการเรียนรู้ที่พวกเขาใช้ดูเหมือนจะสามารถนำไปใช้กับภาษาอื่นได้ แม้ว่าโมเดลจะถูกพัฒนาเพื่อทำความเข้าใจภาษาจีน แต่หลักการเดียวกันก็ทำให้สามารถทำความเข้าใจภาษาอังกฤษได้ดีขึ้น ERNIE ย่อมาจาก “Enhanced Representation through knowledge Integration” และเป็นไปตามการพัฒนาโมเดลภาษา BERT (“Bidirectional Encoder Representations from Transformers”)

BERT ตั้งมาตรฐานใหม่สำหรับการทำความเข้าใจภาษาเนื่องจากเป็นโมเดลที่มีทิศทางสองทาง โมเดลภาษาในสมัยก่อนสามารถตีความข้อมูลที่ไหลไปในทางเดียวได้เท่านั้น โดยมองหาคำที่อยู่ก่อนหรือหลังคำเป้าหมายเป็นบริบท BERT สามารถใช้การวิเคราะห์ทิศทางสองทางที่สามารถใช้คำก่อนและหลังในประโยคเพื่อช่วยให้เข้าใจความหมายของคำเป้าหมายได้ BERT ใช้เทคนิคที่เรียกว่าการปิดบังเพื่อให้การวิเคราะห์ทิศทางสองทางเป็นไปได้ โดยเลือกคำในประโยคและซ่อนมัน ซึ่งแบ่งบริบทที่เป็นไปได้สำหรับคำนั้นออกเป็นคำใบ้ทางก่อนและหลัง

ในภาษาอังกฤษ คำเป็นหน่วยวิธีการทางภาษาที่สำคัญที่สุด ผู้คนมองหาคำทั้งหมดมากกว่าตัวอักษรเพื่อทำความเข้าใจความหมาย เป็นไปได้ที่จะลบคำออกจากบริบทและคำนั้นยังคงรักษาความหมายไว้ และความหมายของตัวอักษรแต่ละตัวมักจะเหมือนกันเสมอ ในทางกลับกัน ภาษาจีนพึ่งพาการจับคู่ตัวอักษรเข้าด้วยกันเพื่อทำความเข้าใจความหมาย ตัวอักษรสามารถมีความหมายที่แตกต่างกันขึ้นอยู่กับตัวอักษรที่อยู่รอบๆ

ทีมวิจัยของบaidu ได้ขยายโมเดล BERT โดยการซ่อนตัวอักษรแทนที่จะซ่อนคำทั้งหมด ระบบ AI ยังได้รับการฝึกให้แยกความแตกต่างระหว่างตัวอักษรที่ไม่มีความหมายและตัวอักษรที่มีความหมาย เพื่อให้สามารถซ่อนตัวอักษรที่ถูกต้องได้ สิ่งนี้ทำให้ ERNIE มีความสามารถในการดึงข้อมูลจากเอกสารและทำการแปลภาษาได้ ทีมวิจัยยังพบว่าวิธีการฝึกอบรมของพวกเขานำไปสู่โมเดลที่สามารถแยกความแตกต่างระหว่างวลีภาษาอังกฤษได้ดีกว่าโมเดลอื่นๆ เนื่องจากภาษาอังกฤษบางครั้งใช้การผสมคำที่มีความหมายต่างกันเมื่อจับคู่กับคำอื่น เช่น “chip off the old block” เป็นตัวอย่างของปรากฏการณ์ทางภาษานี้

ERNIE ใช้เทคนิคการฝึกอบรมอื่นๆ เพื่อเพิ่มประสิทธิภาพ รวมถึงการวิเคราะห์ลำดับประโยคและระยะห่างเมื่อทำความเข้าใจย่อหน้า วิธีการฝึกอบรมแบบต่อเนื่องยังถูกใช้ ซึ่งช่วยให้ ERNIE สามารถฝึกอบรมกับข้อมูลใหม่และเรียนรู้รูปแบบใหม่โดยไม่ลืมความรู้ที่ได้รับมาก่อน

บaidu ใช้ ERNIE เพื่อปรับปรุงคุณภาพของผลลัพธ์การค้นหา โครงสร้างใหม่ของ ERNIE จะถูกอธิบายอย่างละเอียดในเอกสารที่จะนำเสนอในการประชุม Association for the Advancement of Artificial Intelligence ปี 2020