ผลกระทบของ Transformer: การแปลภาษาได้รับการแก้ไขแล้วหรือยัง?

Google ได้ประกาศเปิดตัวภาษาใหม่ 110 ภาษาใน Google Translate ซึ่งเป็นส่วนหนึ่งของโครงการ 1,000 ภาษาที่เริ่มต้นในปี 2022 ในปี 2022 Google ได้เพิ่มภาษาใหม่ 24 ภาษา และตอนนี้มีภาษาใหม่ 110 ภาษา ทำให้จำนวนภาษาทั้งหมดเป็น 243 ภาษา การขยายตัวนี้เป็นไปได้เนื่องจากเทคโนโลยี Zero-Shot Machine Translation ซึ่งเป็นเครื่องมือที่ช่วยให้โมเดลการเรียนรู้ของเครื่องสามารถแปลภาษาได้โดยไม่ต้องมีตัวอย่างก่อนหน้านี้ แต่ในอนาคตเราจะได้เห็นว่าการพัฒนานี้สามารถเป็นคำตอบสุดท้ายสำหรับการแปลภาษาได้หรือไม่ และในขณะเดียวกันเราสามารถสำรวจวิธีการที่จะเกิดขึ้นได้อย่างไร แต่ก่อนอื่นเรามาดูเรื่องราวของมันก่อน

ก่อนหน้านี้เป็นอย่างไร?

การแปลภาษาโดยใช้แบบจำลองทางสถิติ (SMT)

นี่เป็นวิธีการเดิมที่ Google Translate ใช้ ซึ่งพึ่งพาแบบจำลองทางสถิติ โดยวิเคราะห์ข้อมูลที่มีอยู่ในภาษาต่างๆ เพื่อกำหนดการแปลที่เป็นไปได้มากที่สุด ระบบจะแปลข้อความเป็นภาษาอังกฤษก่อน แล้วจึงแปลเป็นภาษาที่ต้องการ และต้องอ้างอิงข้อมูลจากข้อความที่มีอยู่ในภาษาต่างๆ แต่การแปลภาษาโดยใช้แบบจำลองทางสถิตินี้มีข้อเสีย เช่น การแปลภาษาโดยใช้คำหรือวลี ซึ่งอาจทำให้การแปลไม่ถูกต้องหรือไม่เหมาะสม

การแปลภาษาโดยใช้เครื่องเรียนรู้ของเครื่อง (NMT)

ในปี 2016 Google ได้เปลี่ยนมาใช้การแปลภาษาโดยใช้เครื่องเรียนรู้ของเครื่อง (NMT) ซึ่งใช้โมเดลการเรียนรู้ของเครื่องแบบลึกเพื่อแปลภาษา โดยการแปลภาษาทั้งประโยคในครั้งเดียว ทำให้การแปลภาษามีความถูกต้องและเหมาะสมมากขึ้น การแปลภาษาโดยใช้เครื่องเรียนรู้ของเครื่องนี้สามารถแปลภาษาได้ดีขึ้นและสามารถเข้าใจภาษาได้ดีขึ้น

การแนะนำ Transformer

ในปี 2017 Google Research ได้เผยแพร่บทความที่มีชื่อว่า “Attention is All You Need” ซึ่งเป็นการแนะนำ Transformer ให้กับโลก และเป็นการเปลี่ยนแปลงครั้งสำคัญในการพัฒนาเครื่องเรียนรู้ของเครื่อง

Transformer พึ่งพาเฉพาะกลไกการให้ความสนใจ (self-attention) ซึ่งช่วยให้โมเดลการแปลภาษาของเครื่องสามารถมุ่งความสนใจไปที่ส่วนที่สำคัญของข้อความที่ต้องการแปลได้ ไม่เหมือนกับ RNN ซึ่งจะประมวลผลคำในลำดับในประโยค Transformer สามารถประมวลผลคำทั้งหมดในประโยคพร้อมกัน และกำหนดความสำคัญของคำแต่ละคำได้

การแปลภาษาโดยไม่ต้องมีตัวอย่างและ PaLM 2

ในปี 2022 Google ได้เพิ่มภาษาใหม่ 24 ภาษาโดยใช้การแปลภาษาโดยไม่ต้องมีตัวอย่าง (Zero-Shot Machine Translation) และได้ประกาศโครงการ 1,000 ภาษาเพื่อสนับสนุนภาษาที่พูดมากที่สุด 1,000 ภาษาในโลก และได้เพิ่มภาษาใหม่ 110 ภาษาแล้ว การแปลภาษาโดยไม่ต้องมีตัวอย่างนี้ช่วยให้สามารถแปลภาษาได้โดยไม่ต้องมีข้อมูลที่มีอยู่ในภาษาต่างๆ ก่อนหน้านี้

การแปลภาษาโดยไม่ต้องมีตัวอย่างนี้เป็นไปได้เนื่องจากโครงสร้างและกลไกการให้ความสนใจของ Transformer ซึ่งช่วยให้โมเดลการแปลภาษาของเครื่องสามารถเรียนรู้ความสัมพันธ์ระหว่างภาษาต่างๆ ได้ และสามารถประมวลผลภาษาได้หลายภาษาในครั้งเดียว

สามารถกล่าวได้ว่าการแปลภาษาได้รับการแก้ไขแล้วหรือยัง?

การเปลี่ยนแปลงที่เรากำลังพูดถึงนี้ใช้เวลา 18 ปีในการพัฒนา ตั้งแต่ Google เริ่มใช้การแปลภาษาโดยใช้แบบจำลองทางสถิติ (SMT) จนถึงการเพิ่มภาษาใหม่ 110 ภาษาโดยใช้การแปลภาษาโดยไม่ต้องมีตัวอย่าง (Zero-Shot Machine Translation) ซึ่งเป็นก้าวสำคัญที่สามารถลดความจำเป็นในการรวบรวมข้อมูลที่มีอยู่ในภาษาต่างๆ ได้ แต่การกล่าวว่าการแปลภาษาได้รับการแก้ไขแล้วนั้นเป็นการพูดเกินจริง เนื่องจากยังมีปัญหาและความท้าทายที่ต้องแก้ไข

โมเดลการแปลภาษาปัจจุบันยังคงพบปัญหาในการแปลภาษาและความสัมพันธ์ระหว่างภาษาต่างๆ และยังคงทำผิดพลาดที่อาจเปลี่ยนแปลงความหมายของข้อความที่ต้องการแปล

ข้อมูลสำหรับการฝึกอบรม: PaLM 2 และโมเดลอื่นๆ ที่คล้ายกันถูกฝึกอบรมโดยใช้ข้อมูลที่มีอยู่ในหลายภาษา ซึ่งช่วยให้โมเดลการแปลภาษาของเครื่องสามารถเรียนรู้และปรับปรุงได้

ภาษาที่มีทรัพยากรน้อย: ในโดเมนที่มีทรัพยากรน้อย เช่น ภาษาที่ไม่มีข้อมูลที่มีอยู่ในภาษาต่างๆ การแปลภาษาโดยไม่ต้องมีตัวอย่างอาจพบปัญหาในการแปลภาษาได้ถูกต้อง

การประเมิน: ข้อมูลที่มีอยู่ในภาษาต่างๆ ยังคงจำเป็นในการประเมินและทดสอบประสิทธิภาพของโมเดลการแปลภาษา

การรักษาทรัพยากร: การฝึกอบรมและใช้โมเดลการแปลภาษาของเครื่องยังคงต้องใช้ทรัพยากรมาก ซึ่งเป็นอุปสรรคในการใช้งาน

การอนุรักษ์วัฒนธรรม: มุมมองทางจริยธรรมนี้มีความสำคัญมาก เนื่องจากการแปลภาษาโดยไม่ต้องมีตัวอย่างอาจส่งผลกระทบต่อการอนุรักษ์วัฒนธรรมของภาษาที่มีทรัพยากรน้อย