ปัญญาประดิษฐ์แบบสร้างสรรค์ไม่ใช่ตัวส่งคำตายสำหรับภาษาที่ใกล้จะสูญพันธุ์

ตามรายงานของ UNESCO ภาษาได้ถูกทำลายไปแล้วครึ่งหนึ่งอาจสูญพันธุ์ภายในปี 2100 มีหลายคนบอกว่าปัญญาประดิษฐ์แบบสร้างสรรค์เป็นส่วนหนึ่งของกระบวนการนี้

การเสื่อมถอยของภาษาไม่ได้เริ่มต้นด้วย AI หรืออินเทอร์เน็ต แต่ AI มี ตำแหน่งที่จะเร่งการล่มสลายของภาษาเชื้อชาติและภาษาที่มีทรัพยากรน้อย

ภาษาส่วนใหญ่ของโลกที่มีมากกว่า 7,000 ภาษาไม่มีทรัพยากรเพียงพอในการฝึกโมเดล AI และหลายภาษาไม่มีรูปแบบที่เขียนได้ ซึ่งหมายความว่าภาษาใหญ่ๆ มีอำนาจเหนือภาษาอื่นๆ ในการฝึกโมเดล AI และภาษาส่วนใหญ่อาจถูกทิ้งไว้เบื้องหลังในยุค AI และอาจหายไปโดยสิ้นเชิง

สาเหตุหลักๆ คือข้อมูลการฝึก AI ส่วนใหญ่อยู่ในภาษาอังกฤษ ภาษาอังกฤษเป็นตัวขับเคลื่อนหลักของโมเดลภาษาขนาดใหญ่ (LLM) และผู้ที่พูดภาษาที่ไม่ค่อยพบเห็นกำลังพบว่าตัวเองไม่ได้รับการแสดงในเทคโนโลยี AI

พิจารณา สถิติเหล่านี้จาก World Economic Forum:

• สองในสามของเว็บไซต์ทั้งหมดอยู่ในภาษาอังกฤษ
• ข้อมูลที่ GenAI เรียนรู้ส่วนใหญ่ถูกสแกนจากเว็บ
• น้อยกว่า 20% ของประชากรโลกพูดภาษาอังกฤษ

เมื่อ AI ถูกฝังอยู่ในชีวิตประจำวันของเรา เราควรพิจารณาถึงความเท่าเทียมของภาษา AI มีศักยภาพที่ไม่เคยเห็นมาก่อนในการแก้ปัญหาในระดับใหญ่ และความหวังของมันไม่ควรจำกัดอยู่ในโลกที่พูดภาษาอังกฤษเท่านั้น AI สร้างความสะดวกสบายและเครื่องมือที่ปรับปรุงชีวิตส่วนตัวและอาชีพของผู้คนในประเทศที่พัฒนาแล้ว

ผู้พูดภาษาที่มีทรัพยากรน้อยมักพบว่าตัวเองไม่มีทางเข้าสู่เทคโนโลยี ไม่ว่าจะเป็นการไม่พบเว็บไซต์ในภาษาของตนเองหรือไม่มีเสียงที่รู้จักจาก Siri ข้อมูลข้อความที่ มี สำหรับการฝึก AI ในภาษาที่มีทรัพยากรน้อยมีคุณภาพไม่ดี (แปลด้วยความแม่นยำที่น่าสงสัย) และมีเนื้อหาที่แคบ

สังคมจะรับรองได้อย่างไรว่าภาษาที่มีทรัพยากรน้อยไม่ถูกทิ้งไว้เบื้องหลังในสมการ AI? เราจะรับรองได้อย่างไรว่าภาษาไม่ใช่สิ่งกีดขวางต่อความหวังของ AI?

เพื่อความพยายามในการรวมภาษาเข้าด้วยกัน ผู้เล่นเทคโนโลยีรายใหญ่บางรายมีแผนการฝึกโมเดลภาษาหลายภาษา (MLM) ที่มีขนาดใหญ่ Microsoft (MSFT ) Translate ตัวอย่างเช่น ได้สัญญาว่าจะสนับสนุน “ทุกภาษาทุกที่” และ Meta มีคำสัญญา “ไม่มีภาษาใดถูกทิ้งไว้” สิ่งเหล่านี้เป็นที่น่าชื่นชม แต่สิ่งเหล่านี้เป็นจริงหรือไม่?

เมื่อพยายามสร้างโมเดลหนึ่งที่จัดการภาษาทุกภาษาในโลก สิ่งนี้จะช่วยให้ผู้มีอำนาจได้เปรียบเพราะมีปริมาณข้อมูลที่มากกว่าจากภาษาใหญ่ๆ ของโลก เมื่อเริ่มจัดการกับภาษาที่มีทรัพยากรน้อยและภาษาที่มีอักษรที่ไม่ใช่อักษรละติน การฝึกโมเดล AI จะยากขึ้น ต้องใช้เวลาและเงินมากขึ้น คิดว่ามันเป็นภาษีโดยไม่ตั้งใจสำหรับภาษาที่ไม่ได้รับการแสดง

ความก้าวหน้าในเทคโนโลยีการพูด

โมเดล AI ส่วนใหญ่ถูกฝึกจากข้อความ ซึ่งโดยธรรมชาติจะช่วยให้ภาษาที่มีข้อความที่ลึกกว่าได้รับการสนับสนุน ความหลากหลายของภาษาจะได้รับการสนับสนุนดีกว่าด้วยระบบที่ไม่พึ่งพาข้อความ การโต้ตอบของมนุษย์ในสมัยก่อนเป็นแบบพูด และหลายวัฒนธรรมยังคงรักษาโฟกัสแบบพูด เพื่อให้บริการผู้ชมทั่วโลก อุตสาหกรรม AI ต้องพัฒนาไปสู่การรวบรวมข้อมูลจากข้อความไปสู่การรวบรวมข้อมูลจากเสียง

การวิจัยกำลังสร้างความก้าวหน้าอย่างมากในเทคโนโลยีการพูด แต่ยังคงล้าหลังเทคโนโลยีแบบข้อความ การวิจัยเกี่ยวกับการประมวลผลเสียงกำลังดำเนินไป แต่เทคโนโลยีการแปลเสียงโดยตรงยังคงไม่เต็มที่ ความเป็นจริงคืออุตสาหกรรมมักจะเคลื่อนไหวอย่างระมัดระวัง และเคลื่อนไหวเมื่อเทคโนโลยีได้รับการพัฒนาถึงระดับหนึ่ง

แพลตฟอร์มการแปลสด GlobalLink Live ของ TransPerfect ที่เพิ่งเปิดตัวใช้เทคโนโลยีการพูดที่มีความสามารถมากกว่า เช่น การรู้จำเสียงอัตโนมัติ (ASR) และข้อความไปสู่เสียง (TTS) อีกครั้ง เนื่องจากระบบแปลเสียงโดยตรงยังไม่เต็มที่ในขณะนี้ กลุ่มวิจัยของเรากำลังเตรียมพร้อมสำหรับวันที่ระบบเสียงไปสู่เสียงเต็มที่พร้อมใช้งาน

โมเดลการแปลเสียงไปสู่เสียง มีศักยภาพที่จะช่วยรักษาภาษาแบบพูด ในปี 2022 Meta เปิดตัวระบบแปลเสียงไปสู่เสียงที่ใช้ AI เป็นครั้งแรกสำหรับภาษาฮกเกี้ยน ซึ่งเป็นภาษาที่พูดเป็นหลักโดยคนประมาณ 46 ล้านคนในกลุ่มคนจีน นี่เป็นส่วนหนึ่งของโครงการ Universal Speech Translator ของ Meta ซึ่งกำลังพัฒนาโมเดล AI ใหม่ที่หวังว่าจะช่วยให้สามารถแปลเสียงไปสู่เสียงแบบเรียลไทม์ระหว่างหลายภาษาได้ Meta ตัดสินใจเปิดแหล่งที่มาของโมเดลการแปลภาษาฮกเกี้ยน ชุดข้อมูลการประเมิน และเอกสารวิจัยเพื่อให้ผู้อื่นสามารถทำซ้ำและสร้างงานต่อ

การเรียนรู้ด้วยข้อมูลที่น้อยกว่า

ข้อเท็จจริงที่ว่าเราขาดทรัพยากรรอบๆ ภาษาไม่ใช่คำตายสำหรับภาษาเหล่านั้น นี่คือจุดที่โมเดลหลายภาษามีประโยชน์ เนื่องจากภาษาเหล่านี้เรียนรู้จากกันและกัน ทุกภาษาตามรูปแบบ เนื่องจากการถ่ายโอนความรู้ระหว่างภาษา ความต้องการข้อมูลในการฝึกจึงลดลง

สมมติว่าคุณมีโมเดลที่เรียนรู้ภาษา 90 ภาษาและคุณต้องการเพิ่มภาษาอินูอิต (ภาษาเชื้อชาติของอเมริกาเหนือ) เนื่องจากการถ่ายโอนความรู้ คุณจะต้องการข้อมูลภาษาอินูอิตน้อยลง เรากำลังค้นหาวิธีการเรียนรู้ด้วยข้อมูลที่น้อยลง ปริมาณข้อมูลที่ต้องการในการปรับแต่งเครื่องยนต์ลดลง

ฉันหวังว่าจะมีอนาคตที่มี AI ที่ครอบคลุมมากขึ้น ฉันไม่เชื่อว่าเราจะต้องเห็นภาษาหลายภาษาล่มสลาย หรือ AI จะยังคงเป็นของคนพูดภาษาอังกฤษ ฉันเห็นความตระหนักมากขึ้นเกี่ยวกับปัญหาความเท่าเทียมของภาษา จากการรวบรวมข้อมูลที่หลากหลายมากขึ้นไปจนถึงการสร้างโมเดลภาษาที่เฉพาะเจาะจงมากขึ้น เรากำลังสร้างความก้าวหน้า

พิจารณาภาษาฟอน ซึ่งพูดโดยคนประมาณ 4 ล้านคนในเบนินและประเทศแอฟริกาที่อยู่ใกล้เคียง ไม่นานมานี้ โมเดล AI ที่ได้รับความนิยมบรรยายภาษาฟอนว่าเป็นภาษาที่ไม่มีอยู่จริง นักวิทยาศาสตร์คอมพิวเตอร์ Bonaventure Dosseau ซึ่งแม่ของเขาพูดภาษาฟอน เคยชินกับการถูกแยกออกไป Dosseau ซึ่งพูดภาษาฝรั่งเศส เติบโตโดยไม่มีโปรแกรมแปลที่จะช่วยให้เขาสื่อสารกับแม่ของเขา วันนี้เขาสามารถสื่อสารกับแม่ของเขาได้เนื่องจากตัวแปลภาษาฟอน-ฝรั่งเศสที่เขาสร้างขึ้นด้วยความพยายาม วันนี้ยังมี Wikipedia ภาษาฟอนด้วย

เพื่อใช้เทคโนโลยีในการรักษาภาษา ศิลปินชาวตุรกี Refik Anadol ได้เริ่มสร้างเครื่องมือ AI แบบเปิดสำหรับคนพื้นเมืองที่ World Economic Summit เขาถามว่า: “เราจะสร้าง AI ที่ไม่รู้จักมนุษยชาติทั้งหมดได้อย่างไร?”

เราจะไม่ทำ และเราจะไม่ทำ