تدريب نماذج رؤية الكمبيوتر على الضوضاء العشوائية بدلاً من الصور الحقيقية

قام باحثون من مختبر علوم الحاسوب والذكاء الاصطناعي في معهد ماساتشوستس للتكنولوجيا (CSAIL) بتجربة استخدام صور الضوضاء العشوائية في مجموعات بيانات رؤية الكمبيوتر لتدريب نماذج رؤية الكمبيوتر ، ووجدوا أن هذه الطريقة ، بدلاً من إنتاج مخلفات ، هي في الواقع فعالة بشكل مفاجئ:

نماذج توليدية من التجربة ، مرتبة حسب الأداء. مصدر: https://openreview.net/pdf?id=RQUl8gZnN7O

إطعام ما يبدو مثل “مخلفات بصرية” إلى هياكل رؤية الكمبيوتر الشائعة لا ينبغي أن يؤدي إلى هذا النوع من الأداء. في أقصى يمين الصورة أعلاه ، تمثل الأعمدة السوداء درجات الدقة (على Imagenet-100) لأربعة مجموعات بيانات “حقيقية”. بينما لا يمكن لمجموعات بيانات “الضوضاء العشوائية” التي تسبقها (المصورية بألوان مختلفة ، انظر الفهرس أعلى اليسار) أن تصل إلى ذلك ، إلا أنها تقريبا جميعها ضمن حدود مقبولة للدقة (الخطوط الحمراء المتقطعة).

في هذا السياق ، لا يعني “الدقة” أن النتيجة تشبه بالضرورة وجهًا أو كنيسة أو بيتزا أو أي مجال آخر قد تكون مهتمًا بإنشاء نظام توليد صورة ، مثل شبكة توليدية معادية أو إطار فك ترميز / فك ترميز.

بل يعني أن نماذج CSAIL قد اشتققت حقائق مركزية شاملة من بيانات الصورة بحيث يبدو أنها غير منظمة لدرجة أنها لا ينبغي أن تكون قادرة على توفيرها.

التنوع مقابل الطبيعية

لا يمكن أن يعزى هذه النتائج إلى التجاوز ، حيث يُظهر المناقشة الحية بين المؤلفين والمراجعين في Open Review أن مزيج المحتوى المختلف من مجموعات بيانات بصرية متنوعة (مثل “الأوراق الميتة” و “التشكيلات الجيومترية” و “الضوضاء الإجرائية” – انظر الصورة أدناه) في مجموعة بيانات تدريبية يحسن بالفعل الدقة في هذه التجارب.

هذا يشير (وهو مفهوم ثوري قليلاً) إلى نوع جديد من “التحت-التجاوز” ، حيث “التنوع” يغلب على “الطبيعية”.

صفحة المشروع للمبادرة تتيح لك عرض مجموعات بيانات الصور العشوائية المستخدمة في التجربة بشكل تفاعلي. مصدر: https://mbaradad.github.io/learning_with_noise/

النتائج التي حصل عليها الباحثون تثير تساؤلات حول العلاقة الأساسية بين شبكات الذكاء الاصطناعي القائمة على الصور و “الصور الحقيقية” التي يتم طرحها عليها بكميات كبيرة بشكل مخيف كل عام ، وتشير إلى أن الحاجة إلى الحصول على مجموعات بيانات صور ضخمة وتنظيمها وتنسيقها قد تصبح في النهاية غير ضرورية. يذكر المؤلفون:

‘النظم الحالية للرؤية مدربة على مجموعات بيانات ضخمة ، وتأتي هذه المجموعات مع تكاليف: التنظيم مكلف ، وهي ترث التحيزات البشرية ، وهناك مخاوف بشأن الخصوصية و حقوق الاستخدام. لمواجهة هذه التكاليف ، زادت الاهتمام بالتعلم من مصادر بيانات أرخص ، مثل الصور غير الموصوفة.’

‘في هذه الورقة ، نذهب خطوة أبعد ونطرح السؤال عما إذا كان يمكننا التخلي عن مجموعات بيانات الصور الحقيقية تمامًا ، من خلال التعلم من عمليات الضوضاء الإجرائية.’

يقترح الباحثون أن هياكل التعلم الآلي الحالية قد تستفيد من الصور أكثر مما كان يُعتقد في السابق ، وأن صور “الهراء” يمكن أن تمنح الكثير من هذه المعرفة بشكل أرخص ، حتى مع استخدام بيانات اصطناعية من خلال هياكل توليد مجموعات بيانات تنتج صورًا عشوائية في وقت التدريب:

‘نحدد两个 خاصيتين رئيسيتين تجعل البيانات الاصطناعية جيدة لتدريب أنظمة الرؤية: 1) الطبيعية ، 2) التنوع. ومن المثير للاهتمام أن البيانات الأكثر طبيعية ليست دائمًا الأفضل ، لأن الطبيعية يمكن أن تأتي على حساب التنوع.

‘ال факт أن البيانات الطبيعية تساعد قد لا يكون مفاجئًا ، ويشير إلى أن البيانات الحقيقية الكبيرة لها قيمة. ومع ذلك ، نجد أن ما هو حاسم ليس أن تكون البيانات “حقيقية” ولكن أن تكون طبيعية ، أي أن她 يجب أن تلتقط بعض الخصائص الهيكلية للبيانات الحقيقية.’

‘许多 من هذه الخصائص يمكن أن تُلتقط في نماذج الضوضاء البسيطة.’

تجسيدات ميزة ناتجة عن محول مشتق من AlexNet على بعض مجموعات بيانات الصور العشوائية المستخدمة من قبل المؤلفين ، تغطي الطبقة التوليدية الثالثة والخامسة (النهائية). تتبع المنهجية المستخدمة هنا المنهجية المحددة في أبحاث جوجل الإصطناعية لعام 2017.

الورقة ، التي تم تقديمها في المؤتمر الخامس والثلاثين حول معالجة المعلومات العصبية (NeurIPS 2021) في سيدني ، بعنوان التعلم من النظر إلى الضوضاء ، وهي من ستة باحثين في CSAIL ، مع مساهمة متساوية.

تمت توصية العمل بإجماع لاختيار الضوء في NeurIPS 2021 ، مع تعليقات من قبل المراجعين وصفوا الورقة بأنها “انطلاقة علمية” تفتح “مجال دراسة كبير” ، حتى لو أثار العديد من الأسئلة.

في الورقة ، يخلص المؤلفون إلى:

‘لقد أظهرنا أن هذه المجموعات من البيانات ، عند تصميمها باستخدام نتائج من الأبحاث السابقة حول إحصائيات الصور الطبيعية ، يمكن أن تدرب بنجاح تمثيلات بصرية. نأمل أن تلهم هذه الورقة دراسة نماذج توليدية قادرة على إنتاج ضوضاء منظمة تحقق أداء أعلى عند استخدامها في مجموعة متنوعة من المهام البصرية.

‘هل يمكننا أن نطابق الأداء الذي تم الحصول عليه مع تدريب ImageNet؟ ربما في غياب مجموعة بيانات كبيرة محددة لمهمة معينة ، قد لا يكون التدريب المسبق الأفضل هو استخدام مجموعة بيانات حقيقية معيارية مثل ImageNet.’