يطور باحثو الذكاء الاصطناعي طريقة سريعة لحساب فترات الثقة ، والإبلاغ عندما لا ينبغي الوثوق بالنموذج

باحثون من معهد ماساتشوستس للتكنولوجيا في الآونة الأخيرة طور تقنية التي تمكن نماذج شبكة التعلم العميق من حساب مستويات الثقة بسرعة ، والتي يمكن أن تساعد علماء البيانات ومستخدمي الذكاء الاصطناعي الآخرين على معرفة متى يثقون في التنبؤات التي يقدمها النموذج.

أصبحت أنظمة الذكاء الاصطناعي القائمة على الشبكات العصبية الاصطناعية مسؤولة عن المزيد والمزيد من القرارات هذه الأيام، بما في ذلك العديد من القرارات التي تتعلق بصحة الأشخاص وسلامتهم. ولهذا السبب، يجب أن يكون لدى الشبكات العصبية طريقة ما لتقدير الثقة في مخرجاتها، مما يمكّن علماء البيانات من معرفة مدى موثوقية توقعاتهم. في الآونة الأخيرة، قام فريق من الباحثين من جامعة هارفارد ومعهد ماساتشوستس للتكنولوجيا بتصميم طريقة سريعة للشبكات العصبية لتوليد مؤشر على ثقة النموذج إلى جانب توقعاته.

أصبحت نماذج التعلم العميق أكثر تعقيدًا على مدار العقد الماضي ، ويمكنها الآن التفوق بسهولة على البشر في مهام تصنيف البيانات. يتم استخدام نماذج التعلم العميق في المجالات التي يمكن أن تتعرض فيها صحة الناس وسلامتهم للخطر في حالة فشلهم ، وقيادة المركبات المستقلة وتشخيص الحالات الطبية من عمليات الفحص. في هذه الحالات ، لا يكفي أن يكون النموذج دقيقًا بنسبة 99٪ ، فإن نسبة 1٪ التي يفشل فيها النموذج لديها القدرة على أن تؤدي إلى كارثة. نتيجة لذلك ، يجب أن تكون هناك طريقة يمكن لعلماء البيانات من خلالها تحديد مدى موثوقية أي تنبؤ معين.

هناك عدد قليل من الطرق التي يمكن من خلالها إنشاء فاصل الثقة جنبًا إلى جنب مع تنبؤات الشبكات العصبية ، لكن الطرق التقليدية لتقدير عدم اليقين للشبكة العصبية بطيئة إلى حد ما ومكلفة من الناحية الحسابية. يمكن أن تكون الشبكات العصبية كبيرة ومعقدة بشكل لا يصدق ، ومليئة بمليارات من المعلمات. يمكن أن يكون مجرد إنشاء التنبؤات مكلفًا من الناحية الحسابية ويستغرق وقتًا طويلاً ، كما أن إنشاء مستوى ثقة للتنبؤات يستغرق وقتًا أطول. اعتمدت معظم الطرق السابقة لتقدير عدم اليقين على أخذ العينات أو تشغيل شبكة مرارًا وتكرارًا للحصول على تقدير لثقتها. هذا ليس ممكنًا دائمًا للتطبيقات التي تتطلب حركة مرور عالية السرعة.

كما ذكرت من قبل MIT Newsيقود ألكسندر أميني المجموعة المشتركة من الباحثين من معهد ماساتشوستس للتكنولوجيا وهارفارد ، ووفقًا لأميني ، فإن الطريقة التي طورها باحثوهم تسرع عملية توليد تقديرات عدم اليقين باستخدام تقنية تسمى "الانحدار العميق للأدلة". أوضح أميني عبر معهد ماساتشوستس للتكنولوجيا أن علماء البيانات يحتاجون إلى نماذج عالية السرعة وتقديرات موثوقة لعدم اليقين حتى يمكن تمييز النماذج غير الموثوقة. من أجل الحفاظ على سرعة النموذج وتوليد تقدير عدم اليقين ، صمم الباحثون طريقة لتقدير عدم اليقين من مجرد تشغيل واحد للنموذج.

صمم الباحثون نموذج الشبكة العصبية بطريقة يتم فيها إنشاء توزيع احتمالي جنبًا إلى جنب مع كل قرار. تحتفظ الشبكة بالأدلة لقراراتها أثناء عملية التدريب ، مما ينتج عنه توزيع احتمالي بناءً على الأدلة. يمثل توزيع الأدلة ثقة النموذج ، ويمثل عدم اليقين لكل من القرار النهائي للنموذج وكذلك بيانات الإدخال الأصلية. يعد التقاط عدم اليقين لكل من بيانات الإدخال والقرارات أمرًا مهمًا ، حيث يعتمد تقليل عدم اليقين على معرفة مصدر عدم اليقين.

اختبر الباحثون تقنية تقدير عدم اليقين بتطبيقها على مهمة رؤية حاسوبية. بعد تدريب النموذج على سلسلة من الصور، أنتج كلاً من التنبؤات وتقديرات عدم اليقين. وقد أسقطت الشبكة بشكل صحيح درجة عدم يقين عالية في الحالات التي أخطأت فيها في التنبؤ. وصرح أميني، معلقًا على نتائج اختبار النموذج، قائلًا: "لقد كانت مُعايرة بدقة للأخطاء التي ترتكبها الشبكة، وهو ما نعتقد أنه كان أحد أهم العوامل في تقييم جودة مُقدّر عدم اليقين الجديد".

واصل فريق البحث إجراء المزيد من الاختبارات باستخدام بنية الشبكة الخاصة بهم. من أجل اختبار التحمل لهذه التقنية ، قاموا أيضًا باختبار البيانات على البيانات "خارج التوزيع" ، مجموعات البيانات المكونة من كائنات لم ترها الشبكة من قبل. كما هو متوقع ، أبلغت الشبكة عن عدم يقين أعلى لهذه الكائنات غير المرئية. عند التدريب على البيئات الداخلية ، أظهرت الشبكة درجة عالية من عدم اليقين عند اختبارها على صور من البيئات الخارجية. وأظهرت الاختبارات أن الشبكة يمكن أن تحدد متى كانت قراراتها عرضة لدرجة عالية من عدم اليقين ولا ينبغي الوثوق بها في ظروف معينة شديدة الخطورة.

حتى أن فريق البحث ذكر أن الشبكة يمكن أن تميز متى تم التلاعب بالصور. عندما قام فريق البحث بتغيير الصور باستخدام ضوضاء معادية ، قامت الشبكة بتمييز الصور المعدلة حديثًا بتقديرات عالية لعدم اليقين ، على الرغم من حقيقة أن التأثير كان خفيًا للغاية بحيث لا يمكن رؤيته من قبل المراقب البشري العادي.

إذا أثبتت التقنية موثوقية ، يمكن أن يؤدي الانحدار العميق للأدلة إلى تحسين سلامة نماذج الذكاء الاصطناعي بشكل عام. وفقًا لأميني ، يمكن أن يساعد الانحدار العميق للأدلة الأشخاص على اتخاذ قرارات دقيقة عند استخدام نماذج الذكاء الاصطناعي في المواقف المحفوفة بالمخاطر. كما أوضح أميني عبر MIT News:

بدأنا نشهد انتشارًا متزايدًا لهذه النماذج [الشبكات العصبية] من مختبرات الأبحاث إلى العالم الحقيقي، في مواقف تمس البشر، وقد تُهدد حياتهم بعواقب وخيمة. يجب على أي مستخدم لهذه الطريقة، سواءً كان طبيبًا أو شخصًا في مقعد الراكب في السيارة، أن يكون على دراية بأي مخاطر أو شكوك مرتبطة بهذا القرار.