باحثو جوجل يكتشفون مشكلة التخصيص غير الكافي التي تعيق العديد من نماذج الذكاء الاصطناعي

最近، اكتشف فريق من الباحثين في جوجل سببًا شائعًا لفشل نماذج الذكاء الاصطناعي، مشيرين إلى التخصيص غير الكافي كأحد الأسباب الرئيسية التي تؤدي إلى أداء نماذج التعلم الآلي بشكل مختلف في العالم الحقيقي مقارنةً بالاختبار والتنمية.

غالبًا ما تفشل نماذج التعلم الآلي عند التعامل مع المهام في بيئة العالم الحقيقي، حتى لو كانت النماذج تعمل بشكل مثالي في المختبر. هناك العديد من الأسباب التي تؤدي إلى اختلاف الأداء بين التدريب والتنمية وال世界 الحقيقي. أحد الأسباب الشائعة لفشل نماذج الذكاء الاصطناعي في المهام الحقيقية هو مفهوم يسمى التغيير في البيانات. يُشير التغيير في البيانات إلى اختلاف أساسي بين نوع البيانات المستخدمة لتطوير نموذج التعلم الآلي والبيانات التي يتم إدخالها إلى النموذج أثناء التطبيق. على سبيل المثال، ستجد نماذج الرؤية الحاسوبية التي تم تدريبها على بيانات الصور عالية الجودة صعوبة في الأداء عند إدخال بيانات مأخوذة من كاميرات ذات جودة منخفضة موجودة في بيئة النموذج اليومية.

وفقًا لما ذكرته مجلة MIT Technology Review، اكتشف فريق من 40 باحثًا في جوجل سببًا آخر لاختلاف أداء نموذج التعلم الآلي بشكل كبير. المشكلة هي “التخصيص غير الكافي”، وهو مفهوم إحصائي يصف المشاكل التي ت出现 فيها ظواهر يمكن أن تكون لها العديد من الأسباب، وليس جميعها موضحة في النموذج. وفقًا لقيادة الدراسة أليكس ديمور، يحدث هذا الظاهرة “في كل مكان”.

الطريقة التقليدية لتدريب نموذج التعلم الآلي تتضمن تغذيته كمية كبيرة من البيانات التي يمكنه تحليلها واستخراج الأنماط ذات الصلة منها. بعد ذلك، يتم تغذية النموذج بأمثلة لم يره من قبل ويسأل عن التنبؤ بطبيعة هذه الأمثلة بناءً على الخصائص التي تعلمها. بمجرد أن يحقق النموذج مستوى معين من الدقة، يُعتبر التدريب مكتملًا.

وفقًا لفريق البحث في جوجل، يتعين القيام بأكثر من ذلك لضمان khảية النماذج للتعميم على بيانات غير مدربة. الطريقة الكلاسيكية لتدريب نماذج التعلم الآلي سوف تنتج نماذج متعددة قد تمر جميعًا بالاختبارات، ومع ذلك، سوف تختلف هذه النماذج بشكل صغير يبدو غير مهم، ولكن ليس كذلك. سوف يكون هناك différences صغيرة في قيم العقد في النماذج، أو يمكن أن تختار بيانات التدريب أو تمثيلها بطرق مختلفة. هذه التغييرات الصغيرة هي عشوائية، وإذا لم تكن لها تأثير كبير على أداء النماذج أثناء التدريب، فمن السهل تجاهلها. ومع ذلك، عندما تتراكم تأثيرات جميع هذه التغييرات الصغيرة، يمكن أن تؤدي إلى اختلافات كبيرة في الأداء في العالم الحقيقي.

يعد التخصيص غير الكافي مشكلة لأن ذلك يعني أنه، حتى إذا كان عملية التدريب قادرة على إنتاج نماذج جيدة، يمكن أن تنتج أيضًا نموذجًا سيئًا، ولا يتم اكتشاف الفرق حتى يخرج النموذج من الإنتاج ويدخل الاستخدام.

为了 تقييم تأثير التخصيص غير الكافي، قام فريق البحث بفحص العديد من النماذج. تم تدريب كل نموذج باستخدام نفس عملية التدريب، ثم خضع النماذج لاختبارات متعددة لتوضيح الاختلافات في الأداء. في أحد الحالات، تم تدريب 50 نسخة مختلفة من نظام التعرف على الصور على مجموعة بيانات ImageNet. كانت جميع النماذج متشابهة باستثناء قيم الشبكة العصبية التي تم تخصيصها بشكل عشوائي خلال بداية التدريب. تم إجراء الاختبارات التي استخدمت لتحديد الاختلافات في النماذج باستخدام ImageNet-C، وهي نسخة من مجموعة البيانات الأصلية تتكون من صور معدلة من خلال تعديل التباين أو السطوع. كما تم اختبار النماذج على ObjectNet، وهي مجموعة من الصور التي تampilkan الأشياء اليومية في اتجاهات وسياقات غير عادية. على الرغم من أن جميع النماذج الـ 50 لديها أداء متشابه تقريبًا على مجموعة بيانات التدريب، تباين الأداء على نطاق واسع عندما تم تشغيل النماذج من خلال الاختبارات.

وجد فريق البحث نتائج مشابهة عندما قام بتدريب واختبار نظامين مختلفين للتعلم الطبيعي، وكذلك عند اختبار نماذج الرؤية الحاسوبية الأخرى. في كل حالة، انحرفت النماذج بشكل كبير عن بعضها البعض، على الرغم من أن عملية التدريب كانت متشابهة للجميع.

وفقًا لديمور، يتعين على باحثي الذكاء الاصطناعي والمهندسين القيام بمزيد من الاختبارات قبل إصدار النماذج إلى العالم. يمكن أن يكون هذا الأمر صعبًا، نظرًا لأن الاختبارات يجب أن تكون مخصصة للمهام المحددة باستخدام بيانات من العالم الحقيقي، والتي يمكن أن تكون صعبة الحصول عليها لمهام وسياقات معينة. أحد الحلول المحتملة لمشكلة التخصيص غير الكافي هو إنتاج العديد من النماذج في وقت واحد ثم اختبارها على مهام العالم الحقيقي، واختيار النموذج الذي يظهر نتائج جيدة بشكل متسق. يتطلب تطوير النماذج بهذه الطريقة وقتًا ومواردًا كبيرين، ولكن قد يكون هذا التبادل يستحق ذلك، خاصةً بالنسبة لنماذج الذكاء الاصطناعي المستخدمة في السياقات الطبية أو غيرها من المناطق التي يتم فيها اعتبار السلامة مسألة أولوية. كما أوضح ديمور عبر مجلة MIT Technology Review:

“نحن بحاجة إلى تحسين تحديد متطلباتنا بدقة لنموذجنا. لأن ما يحدث غالبًا هو أننا نكتشف هذه المتطلبات فقط بعد فشل النموذج في العالم”.