باحثون في جوجل يحددون عائقًا في نهج الحجم الهائل لتقنيات الذكاء الاصطناعي

تشير ورقة جديدة من جوجل ريسيرش إلى أن الاتجاه الحالي نحو إنشاء مجموعات بيانات ضخمة قد يكون عائقًا في تطوير أنظمة ذكاء اصطناعي فعالة. في الواقع ، تشير الدراسة إلى أن منتجات التعلم الآلي الأفضل قد تظهر من خلال التدريب على مجموعات بيانات أقل دقة (أي “أسوأ”)

إذا كانت المبادئ التي حصل عليها الباحثون صحيحة ، فإن ذلك يعني أن مجموعات البيانات “المتطورة” مثل LAION-400M (التي تحتوي على 400 مليون زوج نص/صورة) ، وبيانات محرك اللغة العصبية GPT-3 (الذي يحتوي على 175 مليار معامل) ، قد تكون خاضعة لنوع من “الحد الحراري” في العمليات التقليدية والشائعة في التعلم الآلي والمنهجيات ، حيث يؤدي حجم البيانات إلى “تشبع” التطبيقات التنازلية ويتعذر عليها التعميم بطريقة مفيدة.

يقترح الباحثون أيضًا أساليب بديلة لإعادة التفكير في هيكل مجموعة البيانات المتطورة ، من أجل معالجة عدم التوازن.

تنص الورقة على ما يلي:

‘من خلال النظر بشكل أعمق لفهم الأسباب التي تؤدي إلى هذه الظواهر ، نُظهر أن سلوك التشبع الذي نلاحظه يرتبط ارتباطًا وثيقًا بالطريقة التي تتشكل فيها المعالجات عبر طبقات النماذج. نُظهر سيناريو أكثر تطرفًا حيث يكون أداء التطبيقات التنازلية والمتدفقة على خلاف بعضهما البعض. أي أننا بحاجة إلى الإضرار بدقة التطبيقات التنازلية من أجل الحصول على أداء أفضل في التطبيقات التنازلية.’

الدراسة ، التي تحمل عنوان استكشاف حدود التدريب المسبق على نطاق كبير ، تأتي من أربعة مؤلفين في جوجل ريسيرش.

تحقيق ‘التشبع’

يُ挑ّي المؤلفون افتراضات التعلم الآلي والعلاقة مع البيانات في عصر البيانات المتطورة: أن نمذجة النماذج وزيادة حجم البيانات يُحسنان الأداء (معتقد أُثبت في ضجة GPT-3 منذ إطلاقها) ؛ وأن هذا التحسين في الأداء “يمر” إلى التطبيقات التنازلية بطريقة خطية (أي مرغوبة) ، بحيث تستفيد الخوارزميات التي يتم إطلاقها في السوق في النهاية ، والمشتقة من مجموعات البيانات الضخمة والطرازات المدربة غير المُرشحة ، تمامًا من رؤى الهياكل الكاملة والأعلى.

‘تُظهر هذه الآراء ،’ يشير الباحثون ‘أن صرف الموارد الحاسوبية والجهد البحثي لتحسين أداء كوربوس ضخم سوف يقود إلى حل العديد من التطبيقات التنازلية تقريبًا بدون تكلفة.’

لكن الورقة تُشير إلى أن نقص الموارد الحاسوبية والأساليب “الاقتصادية” لتقييم النماذج تُساهم في إنشاء انطباع خاطئ عن ديناميكيات العلاقة بين حجم البيانات والنظم الذكية المفيدة. يحدد المؤلفون هذه العادة على أنها “نقص كبير” ، حيث يفترض المجتمع البحثي عادة أن النتائج المحلية (الإيجابية) سوف تُترجم إلى تطبيقات لاحقة مفيدة:

‘نظرًا لقيود الحوسبة ، لا يتم الإبلاغ عن أداء لاختيارات مختلفة من قيم المعاملات الح hyper. يبدو أن مخططات التمثيل أكثر ملاءمة إذا تم تثبيت المعاملات الحاسوبية المُختارة لكل مقياس أو تحديدها بواسطة دالة تمثيل بسيطة.’

يُشير الباحثون أيضًا إلى أن العديد من دراسات التمثيل يتم قياسها ليس ضد المقاييس المطلقة ، ولكن كتحسينات متتالية على الحالة الراهنة (SotA) ، مُلاحظين أن “لا يوجد سبب مسبق لتحقيق التمثيل خارج النطاق المُدرج”.

التدريب المسبق

تتناول الورقة ممارسة “التدريب المسبق” ، وهو إجراء مصمم لتحقيق Economies في الموارد الحاسوبية وتقليل الأوقات الزمنية المطلوبة عادةً لتدريب نموذج على بيانات على نطاق كبير من الصفر. تُعالج لقطات التدريب المسبق “الأبجدية” للطريقة التي تُصبح بها البيانات في مجال معين مُعممة خلال التدريب ، وتُستخدم بشكل شائع في مجموعة متنوعة من قطاعات التعلم الآلي والتخصصات ، من معالجة اللغة الطبيعية (NLP) إلى عمليات deepfakes.

وجدت الأبحاث الأكاديمية السابقة أن التدريب المسبق يمكن أن يُحسن بشكل ملحوظ من متانة النموذج ودقته ، لكن الورقة الجديدة تُشير إلى أن تعقيد الميزات ، حتى في قوالب التدريب المسبق القصيرة ، قد يكون أكثر فائدة إذا تم توجيهه إلى عمليات لاحقة في خط الأنابيب.

然而 ، لا يمكن أن يحدث هذا إذا استمر الباحثون في الاعتماد على نماذج مدربة مسبقًا تستخدم أفضل ممارسات تطبيق معدلات التعلم الحالية ، والتي تُخلص الدراسة إلى أن لها تأثيرًا كبيرًا على دقة التطبيقات النهائية للعمل. في هذا الصدد ، يُلاحظ المؤلفون أن “لا يمكن لأحد أن يأمل في العثور على نقطة مدربة مسبقًا تُؤدي بشكل جيد على جميع التطبيقات التنازلية الممكنة”.

الدراسة

为了 إثبات تأثير التشبع ، أجرى المؤلفون 4800 تجربة على Vision Transformers و ResNets و MLP-Mixers ، كل منها مع عدد متغير من المعاملات ، من 10 ملايين إلى 10 مليارات ، جميعها مدربة على مجموعات بيانات بأعلى حجم متاح في القطاعات المعنية ، بما في ذلك ImageNet21K ومجموعة جوجل الخاصة JFT-300M.

تُدعي الورقة أن النتائج تُظهر أن تنوع البيانات يجب أن يُؤخذ في الاعتبار كمحور إضافي عند محاولة “توسيع” البيانات ومعاملات النموذج ووقت الحوسبة. كما هو الحال ، فإن التركيز الكثيف للموارد الحاسوبية (وأنظار الباحثين) على الجزء المتدفق من خط أنابيب الذكاء الاصطناعي يؤدي بشكل فعال إلى قصف التطبيقات التنازلية bằng طوفان من المعاملات حتى نقطة “التشبع” ، مما يقلل من قدرة الخوارزميات المُستخدمة على التنقل عبر الميزات والقيام بالاستدلال أو إحداث التحولات.

تُختتم الورقة بالقول:

‘من خلال دراسة شاملة ، نُثبت أن الأداء على المهمة المتدفقة يُظهر سلوكًا مشبعًا مع تحسين أداء المهمة المتدفقة إما عن طريق التوسيع أو اختيارات المعاملات الحاسوبية والهيكلية. بالإضافة إلى ذلك ، نقدم أدلة تجريبية قوية تُشير إلى أن التوسيع لا يؤدي إلى حل يُطبق على جميع النماذج ، على عكس السرد الشائع.’