تأثير المحول: هل تم حل مشكلة الترجمة الآلية؟

أعلنت Google مؤخرًا عن إطلاق 110 لغة جديدة على Google Translate كجزء من مبادرة 1000 لغة التي أطلقت في 2022. في 2022، في البداية أضافت 24 لغة. مع الإضافة الأخيرة البالغ عددها 110 لغات، أصبح العدد الإجمالي 243 لغة. تمكنت هذه التوسعة السريعة بفضل الترجمة الآلية بدون عينة، وهي تقنية حيث يتعلم نماذج التعلم الآلي ترجمة لغة أخرى دون وجود أمثلة سابقة. ولكن في المستقبل، سنرى معًا إذا كان هذا التطور يمكن أن يكون الحل النهائي لتحدى الترجمة الآلية، وفي غضون ذلك يمكننا استكشاف الطرق التي يمكن أن يحدث بها. ولكن أولًا، قصة هذا التطور.

كيف كانت الأمور من قبل؟

الترجمة الآلية الإحصائية (SMT)

كان هذا الأسلوب الأصلي الذي استخدمه Google Translate. اعتمد على نماذج إحصائية. قام بتحليل مجموعات متوازية كبيرة من ترجمات الجمل، لتحديد أكثر الترجمات احتمالية. أولاً قام النظام بترجمة النص إلى اللغة الإنجليزية كخطوة وسطى قبل تحويله إلى اللغة الهدف، وتمت الحاجة إلى 交叉 المراجع مع عبارات من بيانات الأمم المتحدة والبرلمان الأوروبي. وهو مختلف عن المناهج التقليدية التي تتطلب تجميع قواعد نحوية شاملة. ومنحته المنحدر الإحصائي القدرة على التكيف والتعلم من البيانات دون الاعتماد على الإطارات اللغوية الثابتة التي يمكن أن تصبح غير ضرورية بسرعة.
لكن هناك بعض العيوب في هذا الأسلوب أيضًا. أولاً استخدم Google Translate الترجمة القائمة على العبارة حيث قام النظام بتقسيم الجمل إلى عبارات وترجمتها بشكل فردي. كانت هذه تحسنًا على الترجمة كلمة بكلمة ولكن لا تزال هناك قيود مثل التعبير الغريب وأخطاء السياق. لم يفهم تمامًا الدقة كما نفعل نحن. كما تعتمد SMT بشكل كبير على وجود مجموعات متوازية، وستكون أي لغة نادرة صعبة الترجمة لأنها لا تملك بيانات متوازية كافية.

الترجمة الآلية العصبية (NMT)

في 2016، قامت Google بالتحول إلى الترجمة الآلية العصبية. تستخدم نماذج التعلم العميق لترجمة الجمل بأكملها في وقت واحد، مما يوفر ترجمات أكثر سلاسة ودقة. تعمل NMT بشكل مشابه لوجود مساعد متعدد اللغات متقدم داخل جهاز الكمبيوتر. باستخدام هيكل تسلسل-لتسلسل (seq2seq) ، تقوم NMT بمعالجة جملة في لغة واحدة لفهم معناها. ثم – توليد جملة tương ứng في لغة أخرى. تستخدم هذه الطريقة مجموعات بيانات ضخمة للتعلم، على عكس الترجمة الآلية الإحصائية التي تعتمد على نماذج إحصائية تحليل مجموعات متوازية كبيرة لتحديد أكثر الترجمات احتمالية. على عكس SMT، التي ركزت على الترجمة القائمة على العبارة وتمت الحاجة إلى جهد يدوي كبير لتطوير و صيانة القواعد اللغوية والقواميس، تتيح قدرة NMT على معالجة تسلسلات كاملة من الكلمات القبض على السياق الدقيق للغة بشكل أكثر فعالية. لذلك، تحسنت جودة الترجمة عبر أزواج لغات مختلفة، وغالبًا ما تصل إلى مستويات سلاسة ودقة قابلة للمقارنة مع المترجمين البشر.
في الواقع، استخدمت نماذج NMT التقليدية الشبكات العصبية المتكررة – RNNs – كالهيكل الأساسي، منذ أن تم تصميمها لمعالجة البيانات المتسلسلة من خلال الحفاظ على حالة مخفية تطور مع كل مدخل جديد (كلمة أو رمز). تخدم هذه الحالة المخفية كنوع من الذاكرة التي تلتقط السياق للسابقات، مما يسمح للنموذج بتعلم الاعتماد مع مرور الوقت. لكن RNNs كانت مكلفة حسابيًا وصعبة التمويل بشكل فعال، مما يحد من قابليتها للتوسيع.

مقدمة المحولات

في 2017، نشرت أبحاث Google ورقة بعنوان “الانتباه هو كل ما تحتاجه،” وقدمت المحولات إلى العالم وmarked تحولًا حاسمًا بعيدًا عن RNNs في هيكل الشبكة العصبية.
تعتمد المحولات فقط على آلية الانتباه، – الانتباه الذاتي، الذي يسمح لنماذج الترجمة الآلية العصبية بالتركيز بشكل انتقائي على أهم أجزاء التسلسلات الإدخالية. على عكس RNNs، التي تقوم بمعالجة الكلمات في تسلسل داخل الجمل، يقوم الانتباه الذاتي بتقييم كل رمز عبر النص بأكمله، لتحديد أيها الآخرين ضروري لفهم سياقه. يسمح الحساب المتزامن لجميع الكلمات للمحولات بالقبض على التبعيات القصيرة والطويلة المدى بشكل فعال دون الاعتماد على الاتصالات المتكررة أو المرشحات التConvolutional.
لذلك، من خلال القضاء على التكرار، توفر المحولات عدة مزايا رئيسية:

• التوازي: يمكن آلية الانتباه حسابها بالتوازي عبر مقاطع مختلفة من التسلسل، مما يسرع من التدريب على الأجهزة الحديثة مثل GPUs.
• كفاءة التدريب: كما أنها تتطلب وقت تدريب أقل بشكل كبير مقارنة بالموديلات التقليدية التي تعتمد على RNNs أو CNNs، وتقدم أداء أفضل في مهام مثل الترجمة الآلية.

الترجمة الآلية بدون عينة و PaLM 2

في 2022، أعلنت Google عن دعم 24 لغة جديدة باستخدام الترجمة الآلية بدون عينة، مما يعتبر خطوة هامة في تكنولوجيا الترجمة الآلية. كما أعلنت عن مبادرة 1000 لغة، التي تهدف إلى دعم 1000 لغة الأكثر تحدثًا في العالم. وقد أطلقت الآن 110 لغة إضافية. تتيح الترجمة الآلية بدون عينة الترجمة دون وجود بيانات متوازية بين اللغة المصدر واللغة الهدف، مما يلغي الحاجة إلى إنشاء بيانات تدريبية لكل زوج من اللغات – عملية كانت في السابق مكلفة ومتعبة، وأحيانًا مستحيلة.
تمكنت هذه التطورات بفضل هيكل المحولات وآليات الانتباه الذاتي. قدرة نموذج المحول على تعلم العلاقات السياقية عبر اللغات، جنبًا إلى جنب مع قابليتها للتوسيع لمعالجة عدة لغات في نفس الوقت، أتاحت تطوير أنظمة ترجمة متعددة اللغات أكثر كفاءة وفعالية. ومع ذلك، تظهر نماذج بدون عينة بشكل عام جودة أقل من تلك التي تم تدريبها على بيانات متوازية.
ثم، بناءً على تقدم المحولات، قدمت Google PaLM 2 في 2023، مما مكن من إطلاق 110 لغة جديدة في 2024. قامت PaLM 2 بتحسين قدرة الترجمة على تعلم اللغات المتعلقة بشكل وثيق مثل Awadhi وMarwadi (متعلقة بالهندية) والكريولية الفرنسية مثل Seychellois وMauritian Creole. تمكنت التحسينات في PaLM 2، مثل التماثل الحسابي الأمثل وبيانات محسنة وتصميم متقن، من تعلم اللغة بشكل أكثر كفاءة ودعم جهود Google المستمرة لتحسين دعم اللغة وجعلها أكبر وأكثر تنوعًا.

هل يمكننا القول إن تحدي الترجمة الآلية قد تم التغلب عليه بالكامل باستخدام المحولات؟

تطورنا الذي نتحدث عنه استغرق 18 عامًا من تبني Google للترجمة الإحصائية إلى 110 لغات إضافية باستخدام الترجمة الآلية بدون عينة. يعتبر هذا قفزة كبيرة يمكن أن تقلل من الحاجة إلى جمع بيانات متوازية – مهمة كانت تاريخيًا ومكلفة للغاية التي اتبعتها الصناعة لمدة 20 عامًا. لكن الإدعاء بأن الترجمة الآلية تمت معالجتها بشكل كامل سيكون прежدماً، مع الأخذ في الاعتبار cả الاعتبارات الفنية والاخلاقية.
النماذج الحالية لا تزال تواجه صعوبات مع السياق والاتساق وتقوم بأخطاء دقيقة يمكن أن تغير المعنى الذي قصدته للنص. هذه القضايا موجودة في الجمل الأطول والأكثر تعقيدًا حيث يلزم الحفاظ على تدفق منطقي وفهم الدقة للنتائج. كما يتم فقدان الدقة الثقافية والتعابير الاصطلاحية غالبًا، مما يؤدي إلى ترجمات قد تكون صحيحة نحويًا ولكنها لا تملك التأثير المقصود أو لا ت听 طبيعية.
بيانات ما قبل التدريب: تم تدريب PaLM 2 ونماذج مماثلة على مجموعة متنوعة من النصوص متعددة اللغات، متجاوزة سلفها PaLM. يمنح هذا التحسين PaLM 2 القدرة على التميز في المهام متعددة اللغات، مما يؤكد استمرار أهمية مجموعات البيانات التقليدية لتحسين جودة الترجمة.
اللغات الخاصة بالمجال أو النادرة: في المجالات المتخصصة مثل القانون أو الطب أو المجالات الفنية، تؤكد مجموعات البيانات المتوازية أن النماذج تتعامل مع المصطلحات واللغة المتخصصة. قد تواجه النماذج المتقدمة صعوبات مع المصطلحات الخاصة بالمجال أو اتجاهات اللغة المتطورة، مما يطرح تحديات للترجمة الآلية بدون عينة. كما أن اللغات منخفضة الموارد لا تزال تترجم بشكل سيئ، لأنها لا تملك البيانات التي تحتاجها لتدريب نماذج دقيقة.
التقييم: تظل مجموعات البيانات المتوازية أساسية لتقييم أداء نموذج الترجمة وضبطه، خاصة بالنسبة للغات التي تفتقر إلى بيانات متوازية كافية. تظل المعايير التلقائية مثل BLEU وBLERT وMETEOR محدودة في تقييم الدقة في الترجمة بخلاف النحو. لكننا نحن البشر معرضون للتحيز. كما أن هناك عددًا قليلًا من المقييمين المؤهلين هناك، ويتعذر العثور على المقييم الثنائي المثالي لكل زوج من اللغات لالتقاط الأخطاء الدقيقة.
كثافة الموارد: لا يزال الطابع المكثف للموارد لتدريب وتنفيذ LLMs حاجزًا، مما يحد من إمكانية الوصول لبعض التطبيقات أو المنظمات.
الحفاظ على الثقافة. البعد الأخلاقي عميق. كما يصف إيزاك كاسويل، عالم أبحاث في Google Translate، الترجمة الآلية بدون عينة: “يمكنك التفكير فيها كمتكلم متعدد اللغات يعرف العديد من اللغات. ولكن بعد ذلك، يرى أيضًا نصًا في 1000 لغة أخرى غير مترجمة. يمكنك أن تتخيل إذا كنت متكلمًا متعدد اللغات كبيرًا، ثم تبدأ بقراءة روايات بلغة أخرى، يمكنك البدء في فهم ما قد يعنيه بناءً على معرفتك باللغة بشكل عام.” ومع ذلك، من المهم النظر في التأثير طويل المدى على اللغات الصغيرة التي تفتقر إلى مجموعات متوازية، مما قد يؤثر على الحفاظ على الثقافة عند تحول الاعتماد بعيدًا عن اللغات نفسها.