نموذج الذكاء الاصطناعي الجديد يعمل مع مجموعة أوسع من اللغات البشرية

قام باحثون في جامعة واترلو بتطوير نموذج ذكاء اصطناعي يمكن للأجهزة من خلاله معالجة مجموعة أوسع من اللغات البشرية. هذا خطوة مهمة في هذا المجال بالنظر إلى عدد اللغات التي غالبًا ما يتم تجاهلها في عملية البرمجة. غالبًا ما لا يتم التركيز على اللغات الأفريقية من قبل علماء الحاسوب، مما أدى إلى تقييد قدرات معالجة اللغة الطبيعية (NLP) في القارة.

تم تطوير نموذج اللغة الجديد بواسطة فريق من الباحثين في مدرسة ديفيد ر. تشيريتون للعلوم الحاسوبية بجامعة واترلو.

تم البحث تم تقديمه في ورشة عمل التعلم اللغوي المتعدد في مؤتمر 2021 حول الأساليب التجريبية في معالجة اللغة الطبيعية.

يلعب النموذج دورًا رئيسيًا في مساعدة الأجهزة على تحليل النصوص باللغات الأفريقية من أجل العديد من المهام المفيدة، ويسمى أفريبيرتا. يستخدم تقنيات التعلم العميق لتحقيق نتائج مثيرة للإعجاب للغات منخفضة الموارد.

العمل مع 11 لغة أفريقية

يعمل أفريبيرتا مع 11 لغة أفريقية محددة في الوقت الحالي، بما في ذلك الأمهرية والهوسا والسواحلية، والتي يتحدثها أكثر من 400 مليون شخص مجتمعين. أظهر النموذج جودة إخراج قابلة للمقارنة مع أفضل النماذج الحالية، وقد فعل ذلك بينما كان يتعلم فقط من غيغابايت واحدة من النص. النماذج المماثلة غالبًا ما تتطلب كميات أكبر من البيانات.

كليتشي أوغيجي هو طالب دراسات عليا في علوم الحاسوب بجامعة واترلو.

“النماذج اللغوية المسبقة للتدريب قد غيرت الطريقة التي تعمل بها الأجهزة على معالجة وتحليل البيانات النصية لمهام تتراوح من الترجمة الآلية إلى الإجابة على الأسئلة”، قال أوغيجي. “للأسف، لم تحظ اللغات الأفريقية باهتمام كبير من مجتمع البحث”.

“أحد التحديات هو أن الشبكات العصبية معقدة للغاية ومكلفة من حيث النص والكمبيوتر لبنائها. وعلى عكس اللغة الإنجليزية، التي تتوفر لديها كميات هائلة من النصوص المتاحة، يمكن وصف معظم اللغات البالغ عددها 7000 لغة يتكلمها الناس حول العالم بأنها لغات منخفضة الموارد، نظرًا لعدم وجود بيانات كافية لتغذية الشبكات العصبية الجائعة للبيانات”.

تقنية التدريب المسبق

يعتمد معظم هذه النماذج على تقنية التدريب المسبق، والتي تتضمن تقديم النموذج إلى الباحث مع بعض الكلمات المخفية أو المقنعة. ثم يجب على النموذج تخمين الكلمات المخفية، ويستمر في تكرار هذه العملية مليارات المرات. في النهاية، يتعلم النموذج الارتباطات الإحصائية بين الكلمات، وهو ما يشبه معرفة اللغة البشرية.

جيمي لين هو رئيس قسم علوم الحاسوب في تشيريتون ومشرف أوغيجي.

“القدرة على تدريب نماذج يمكنها تحقيق دقة مماثلة لمهام معينة دون الحاجة إلى كميات كبيرة من البيانات لها العديد من المزايا”، قال لين. “الاحتياج إلى كميات أقل من البيانات لتدريب نموذج اللغة يعني أن هناك حاجة إلى كميات أقل من الحوسبة، وبالتالي انخفاض انبعاثات الكربون المرتبطة بتشغيل مراكز البيانات الكبيرة. كما أن مجموعات البيانات الأصغر تجعل من الصيانة أكثر واقعية، وهو أحد النهج لتقليص التحيزات الحالية في النماذج”.

“هذا العمل يأخذ خطوة صغيرة ولكن مهمة لجلب قدرات معالجة اللغة الطبيعية إلى أكثر من 1.3 مليار شخص في القارة الأفريقية”.

شارك في البحث يوكسين زو، الذي أكمل مؤخرًا درجة البكالوريوس في علوم الحاسوب في الجامعة.