تأثير الترانسفورمر: هل تم حل مشكلة الترجمة الآلية؟

أعلنت جوجل مؤخرًا عن إضافة 110 لغة جديدة إلى جوجل ترانسليت كجزء من مبادرة 1000 لغة التي أطلقتها في عام 2022. في عام 2022، في البداية أضافت 24 لغة. مع الإضافة الأخيرة البالغ عددها 110 لغة، أصبح العدد الإجمالي 243 لغة. تمكنت جوجل من تحقيق هذه التوسعة السريعة بفضل الترجمة الآلية من الصفر، وهي تقنية حيث يتعلم نماذج التعلم الآلي ترجمة لغات أخرى دون وجود أمثلة سابقة. ومع ذلك، سنرى معًا في المستقبل ما إذا كان هذا التطور يمكن أن يكون الحل النهائي لمشكلة الترجمة الآلية، وفي غضون ذلك يمكننا استكشاف الطرق التي يمكن أن يحدث بها. ولكن أولاً، دعونا نروي قصة هذه التقنية.

كيف كانت الأمور من قبل؟

الترجمة الآلية الإحصائية (SMT)

كان هذا الأسلوب الأصلي الذي استخدمته جوجل ترانسليت. اعتمد على نماذج إحصائية. قامت بتحليل مجموعات كبيرة من النصوص المتوافقة، وهي مجموعات من ترجمات الجمل المترابطة، لتحديد أكثر الترجمات احتمالاً. أولاً، قامت النظام بترجمة النص إلى اللغة الإنجليزية كخطوة وسطى قبل تحويلها إلى اللغة الهدف، وتمت الحاجة إلى مقارنة العبارات مع مجموعات بيانات واسعة من نصوص الأمم المتحدة والبرلمان الأوروبي. كان هذا الأسلوب مختلفًا عن النهج التقليدية التي تتطلب تجميع قواعد نحوية شاملة. كما سمح الأسلوب الإحصائي للنظام بالتعلم والتكيف مع البيانات دون الاعتماد على الإطارات اللغوية الثابتة التي يمكن أن تصبح غير ضرورية بسرعة.

然而، هناك بعض العيوب لهذا الأسلوب أيضًا. أولاً، استخدمت جوجل ترانسليت في البداية الترجمة القائمة على العبارات، حيث قامت النظام بتقسيم الجمل إلى عبارات وترجمتها بشكل فردي. كان هذا تحسنًا على الترجمة كلمة بكلمة، ولكنها لا تزال محدودة بتركيبات غريبة وأخطاء سياق. لم تكن تفهم تمامًا الدقة كما نفعل نحن. كما تعتمد الترجمة الإحصائية بشكل كبير على وجود مجموعات بيانات متوافقة، ويمكن أن يكون من الصعب ترجمة أي لغة نادرة لأنها لا تملك بيانات متوافقة كافية.

الترجمة الآلية العصبية (NMT)

في عام 2016، قامت جوجل بالتحول إلى الترجمة الآلية العصبية. تستخدم نماذج التعلم العميق لترجمة الجمل بأكملها في وقت واحد، مما يوفر ترجمات أكثر سلاسة ودقة. تعمل الترجمة الآلية العصبية بشكل مشابه لوجود مساعد متعدد اللغات متقدم داخل جهاز الكمبيوتر. باستخدام هيكل تسلسل إلى تسلسل (seq2seq)، تقوم الترجمة الآلية العصبية بمعالجة جملة في لغة واحدة لفهم معناها. ثم تولد جملة tương ứng في لغة أخرى. تستخدم هذه الطريقة مجموعات بيانات ضخمة للتعلم، على عكس الترجمة الإحصائية التي تعتمد على نماذج إحصائية تحليل مجموعات بيانات متوافقة لتحديد أكثر الترجمات احتمالاً. على عكس الترجمة الإحصائية، التي ركزت على الترجمة القائمة على العبارات وتمت الحاجة إلى جهد يدوي كبير لتطوير وتنظيم القواعد اللغوية والقواميس، تتيح قوة الترجمة الآلية العصبية لمعالجة تسلسلات الكلمات بأكملها 捕获 السياق الدقيق للغة بشكل أكثر فعالية. لذلك، تحسنت جودة الترجمة عبر مختلف الأزواج اللغوية، وغالبًا ما تصل إلى مستويات سلاسة ودقة قابلة للمقارنة مع المترجمين البشر.

في الواقع، استخدمت نماذج الترجمة الآلية العصبية التقليدية الشبكات العصبية المتكررة (RNNs) كالهيكل الأساسي، منذ أن تم تصميمها لمعالجة البيانات التسلسلية عن طريق الحفاظ على حالة مخفية تتبدل مع كل مدخل جديد (كلمة أو رمز) يتم معالجته. تخدم هذه الحالة المخفية كنوع من الذاكرة التي 捕获 السياق للسلاسل السابقة، مما يسمح للنموذج بتعلم التبعيات بمرور الوقت. ومع ذلك، كانت الشبكات العصبية المتكررة مكلفة حسابيًا وصعبة التمثيل بشكل فعال، مما حد من قابليتها للتوسيع.

مقدمة الترانسفورمر

في عام 2017، نشرت جوجل بحثًا بعنوان “الانتباه هو كل ما تحتاجه”، مما أدى إلى تقديم الترانسفورمر إلى العالم وتمثيل تحول حاسم بعيدًا عن الشبكات العصبية المتكررة في هيكل الشبكة العصبية.

يعتمد الترانسفورمر فقط على آلية الانتباه، الانتباه الذاتي، الذي يسمح لنماذج الترجمة الآلية العصبية بالتركيز بشكل انتقائي على أهم أجزاء السلاسل الداخلة. على عكس الشبكات العصبية المتكررة، التي تقوم بمعالجة الكلمات في تسلسل داخل الجمل، يقوم الانتباه الذاتي بتقييم كل رمز عبر النص بأكمله، لتحديد أيهما ضروري لفهم سياقه. يتيح الحساب المتزامن لجميع الكلمات للترانسفورمر 捕获 التبعيات القصيرة والطويلة المدى دون الاعتماد على الاتصالات المتكررة أو المرشحات التConvolutional.

لذلك، من خلال القضاء على التكرار، يوفر الترانسفورمر عدة مزايا رئيسية:

• التمثيل المتوازي: يمكن آلية الانتباه الحساب المتوازي عبر مقاطع مختلفة من التسلسل، مما يسرع من التدريب على الأجهزة الحديثة مثل وحدات معالجة الرسومات.
• كفاءة التدريب: كما تتطلب وقت تدريب أقل بكثير مقارنة بنماذج الشبكات العصبية المتكررة أو الشبكات العصبية التقليدية، مما يوفر أداء أفضل في مهام مثل الترجمة الآلية.

الترجمة الآلية من الصفر وPaLM 2

في عام 2022، أعلنت جوجل عن دعم 24 لغة جديدة باستخدام الترجمة الآلية من الصفر، مما يعد إنجازًا كبيرًا في تقنية الترجمة الآلية. كما أعلنت عن مبادرة 1000 لغة، التي تهدف إلى دعم 1000 لغة الأكثر تحدثًا في العالم. وقد أضافت الآن 110 لغة إضافية. تتيح الترجمة الآلية من الصفر ترجمة بدون بيانات متوافقة بين اللغة المصدر واللغة الهدف، مما يلغي الحاجة إلى إنشاء بيانات تدريبية لكل زوج لغوي — عملية كانت في السابق مكلفة ومستهلكة للوقت، وأحيانًا مستحيلة.

أصبح هذا التطور ممكنًا بفضل هيكل الترانسفورمر وآليات الانتباه الذاتي. كما سمح قدرة نموذج الترانسفورمر على التعلم العلاقات السياقية عبر اللغات، مع القدرة على التعامل مع لغات متعددة في نفس الوقت، لتمكين تطوير أنظمة ترجمة متعددة اللغات أكثر كفاءة وفعالية. ومع ذلك، تظهر نماذج الصفر عادةً جودة أقل من تلك المدرَّبة على بيانات متوافقة.

ثم، بناءً على تقدم الترانسفورمر، قدمت جوجل PaLM 2 في عام 2023، مما أتاح إطلاق 110 لغة جديدة في عام 2024. حسَّنت PaLM 2 بشكل كبير قدرة ترانسليت على التعلم اللغات المتعلقة ارتباطًا وثيقًا مثل Awadhi وMarwadi (مرتبطة باللغة الهندية) واللغات الفرنسية الكريولية مثل Seychellois وMauritian Creole. كما ساهمت التحسينات في PaLM 2، مثل التمثيل الأمثل للحساب وبيانات محسَّنة وتصميم متقن، في تمكين التعلم اللغوي الأكثر كفاءة ودعم جهود جوجل المستمرة لتحسين دعم اللغة وجعلها أكثر شمولاً وتعاملًا مع التنوع اللغوي.

هل يمكننا القول إن تحدي الترجمة الآلية تمت معالجته بالكامل مع الترانسفورمر؟

التطور الذي نتحدث عنه استغرق 18 عامًا من اعتماد جوجل للترجمة الإحصائية إلى الإضافة الأخيرة البالغ عددها 110 لغة باستخدام الترجمة الآلية من الصفر. يمثل هذا قفزة كبيرة يمكن أن تقلل من الحاجة إلى جمع بيانات متوافقة على نطاق واسع — مهمة تاريخية ومكلفة للغاية التي اتبعتها الصناعة لمدة عقدين. ومع ذلك، من المبكر القول إن الترجمة الآلية تمت معالجتها بالكامل، بالنظر إلى الاعتبارات الفنية والأخلاقية.

لا تزال النماذج الحالية تعاني من مشاكل السياق والاتساق وتcommitted أخطاء دقيقة يمكن أن تغير المعنى المقصود للنص. هذه المشاكل موجودة في الجمل الأطول والأكثر تعقيدًا، حيث يتعين الحفاظ على تدفق منطقي وفهم دقيق للنواحي الدقيقة لتحقيق نتائج. كما تفقد النعوت الثقافية والتعابير الاصطلاحية غالبًا معناها، مما يؤدي إلى ترجمات قد تكون صحيحة نحويًا ولكنها لا تملك التأثير المقصود أو لا ت听 طبيعية.

بيانات للمقدمات: تم تدريب PaLM 2 ونماذج مماثلة على مجموعة متنوعة من النصوص متعددة اللغات، متجاوزة سلفها PaLM. يتيح هذا التحسين لPaLM 2 التميز في المهام متعددة اللغات، مما يؤكد على استمرار أهمية مجموعات البيانات التقليدية لتحسين جودة الترجمة.

اللغات الخاصة بالمجال أو النادرة: في مجالات متخصصة مثل القانون أو الطب أو المجالات الفنية، تؤكد مجموعات البيانات المتوافقة أن النماذج تتعامل مع المصطلحات والمفاهيم اللغوية الخاصة. قد تعاني النماذج المتقدمة من المصطلحات الفنية أو التطورات اللغوية، مما يطرح تحديات للترجمة الآلية من الصفر. كما أن اللغات منخفضة الموارد لا تزال تترجم بشكل سيئ بسبب عدم وجود البيانات اللازمة لتدريب نماذج دقيقة.

التقييم: تظل مجموعات البيانات المتوافقة ضرورية لتقييم أداء نموذج الترجمة وضبطه، خاصة اللغات التي تفتقر إلى بيانات متوافقة كافية. كما أن المقاييس الآلية مثل BLEU وBLERT وMETEOR تملك قيودًا في تقييم دقة الترجمة بخلاف القواعد النحوية. ومع ذلك، نحن البشر معرضون للتحيز. كما أنه لا يوجد العديد من المقييمين المؤهلين هناك، ويتعذر العثور على المقيِّم الثنائي المثالي لكل زوج لغوي لالتقاط الأخطاء الدقيقة.

كثافة الموارد: لا يزال الطابع كثيف الموارد لتدريب وتنفيذ نماذج اللغة الكبيرة يحول دون إمكانية الوصول لبعض التطبيقات أو المنظمات.

الحفاظ على الثقافة. البعد الأخلاقي عميق. كما يصف إيزاك كاسويل، عالم أبحاث في جوجل ترانسليت، الترجمة الآلية من الصفر: “يمكنك التفكير فيها كمتعددة اللغات. ولكن بعد ذلك، تتمكن من رؤية النص في 1000 لغة أخرى غير مترجمة. يمكنك أن تتخيل إذا كنت متعددة اللغات، وبدأت في قراءة روايات بلغة أخرى، يمكنك البدء في تجميع ما قد يعنيه بناءً على معرفتك باللغة بشكل عام.” ومع ذلك، من المهم النظر في التأثير طويل المدى على اللغات الصغيرة التي تفتقر إلى مجموعات بيانات متوافقة، مما قد يؤثر على الحفاظ على الثقافة عند تحول الاعتماد بعيدًا عن اللغات نفسها.