بصمة الكربون العالية لنموذج الترجمة الألمانية الآلية

تشير الأبحاث الجديدة إلى بصمة الكربون التي tạoها نماذج الترجمة الآلية إلى أن اللغة الألمانية قد تكون اللغة الأكثر استهلاكًا للكربون من بين اللغات الشائعة ، على الرغم من أن السبب وراء ذلك ليس واضحًا تمامًا. وتهدف التقرير الجديد إلى فتح مجالات بحث إضافية حول طرق التدريب على الذكاء الاصطناعي الأكثر كفاءة في استهلاك الكربون ، في سياق زيادة الوعي بمدى استهلاك أنظمة التعلم الآلي للكهرباء.

يعرف الورقة البحثية باسم الحد من انبعاثات الكربون الخاصة بك: تقييم انبعاثات الكربون في الترجمة الآلية ، وهي من تأليف باحثين في معهد تكنولوجيا مانيبال الهندي.

قام المؤلفون بتحليل أوقات التدريب وحساب قيم انبعاثات الكربون لعدة نماذج ترجمة لغة可能 ، ووجدوا “فرقًا ملحوظًا” بين الوقت الذي استغرقته ثلاثة أزواج لغة الأكثر استهلاكًا للكربون ، والثلاثة الأكثر كفاءة في استهلاك الكربون.

معدل انبعاثات الكربون التي تم إطلاقها خلال 10 عصور من التدريب. على اليسار ، النتائج باستخدام ConvSeq (انظر أدناه) ، على اليمين ، Transformers. مصدر: https://arxiv.org/pdf/2109.12584.pdf

وجدت الدراسة أن أكثر الأزواج اللغوية “بيئية” للتدريب هي الإنجليزية إلى الفرنسية ، والفرنسية إلى الإنجليزية ، والغerman إلى الإنجليزية ، في حين أن اللغة الألمانية تظهر في جميع الأزواج التي تستهلك أكثر.

فائدة مركبة

تشير النتائج إلى أن التنوع اللغوي “متناسب بشكل مباشر مع وقت التدريب لتحقيق مستوى أداء كافٍ” ، ويشير إلى أن اللغة الألمانية لديها أعلى درجة تنوع لغوي بين اللغات الثلاثة التي تم اختبارها.

لا تعكس متطلبات معالجة اللغة الألمانية في نماذج الترجمة زيادة في بيانات المصدر التي تم استخدامها في التجربة. في الواقع ، فإن الرموز اللغوية الألمانية التي تم اشتقاقها من بيانات المصدر لها رموز أقل (299445) من الإنجليزية (320108) ، وأقل بكثير من الفرنسية (335917).

التحدي ، من منظور معالجة اللغة الطبيعية ، هو تفكيك الكلمات المركبة الألمانية إلى كلمات منفصلة. غالبًا ما يجب على أنظمة معالجة اللغة الطبيعية القيام بذلك دون أي إشارات语境ية أو لغوية مسبقة يمكن العثور عليها في اللغات التي لديها درجات تنوع لغوي أقل.

بيانات واختبار

استخدم الباحثون مجموعة بيانات Multi30k ، التي تحتوي على 30,000 نموذج عبر اللغات الفرنسية والألمانية والإنجليزية.

كان أحد النماذج المستخدمة في البحث هو ConvSeq ، وهو شبكة عصبونية تحتوي على طبقات متداخلة ولكنها تفتقر إلى الوحدات المتكررة ، وبدلاً من ذلك تستخدم المرشحات لاستخراج الميزات من النص.

كان النهج الآخر يستخدم بنية Transformers ، التي تستخدم طبقات خطية وآليات الانتباه وروتينات التطبيع.

النتائج

وجد الباحثون أن مدة التدريب المطولة للزوجات اللغوية الألمانية هي التي جعلت التوازن ينتقل إلى استهلاك كربوني أعلى.

يشير الباحثون إلى أن هناك أسئلة بلا إجابة حول سبب وجود فروق كبيرة في تدريب نماذج لغة معينة على لغة أخرى ، وما إذا كانت هناك بنيات أكثر ملاءمة لهذه الأزواج اللغوية التي تستهلك الكربون.

يشير البحث إلى أن هناك حاجة إلى مزيد من البحث حول هذا الموضوع ، خاصة مع اللغات غير اللاتينية.

1.20pm GMT+2 – تم تصحيح خطأ النص.