قد تكون بطاقات الرسومات أفضل، وليس أسرع فقط، في تدريب الشبكات العصبية العميقة

وجد باحثون من بولندا واليابان، يعملون مع سوني، أدلة على أن أنظمة التعلم الآلي المتدربة على بطاقات الرسومات بدلاً من معالجات Центральيه قد تحتوي على أخطاء أقل أثناء عملية التدريب، وتنتج نتائج أفضل، مما يخالف الفهم الشائع بأن بطاقات الرسومات تقوم بعمليات أسرع فقط، وليس أفضل.

تأتي هذه الدراسة، التي تحمل عنوان تأثير عدم اليقين في بطاقات الرسومات على تدريب الشبكات العصبية العميقة التنبؤية، من كلية علم النفس والعلوم المعرفية بجامعة آدم ميتسكيفيتش وثلاث جامعات يابانية، بالتعاون مع مختبرات سوني للعلوم الحاسوبية.

تشير الدراسة إلى أن ‘الغموض’ الذي تظهره الشبكات العصبية العميقة في مواجهة مختلف التكوينات الأجهزة والبرمجية يفضل بطاقات الرسومات الأكثر تكلفة (وأيضًا النادرة بشكل متزايد)، ووجدت في الاختبارات أن شبكة عصبية عميقة مدربة حصريًا على وحدة المعالجة المركزية أنتجت معدلات أخطاء أعلى خلال نفس عدد الحقبات (عدد المرات التي يعيد فيها النظام معالجة بيانات التدريب خلال الجلسة).

تم تدريب التشفير التلقائي في اختبارات الباحثين على قاعدة بيانات MNIST، التي تتكون من 60,000 صورة تدريبية بحجم 28×28 بكسل، ومخففة لتحفيز الصور الرمادية، بالإضافة إلى 10,000 صورة اختبار.

من ناحية أخرى، تقيم PredNet إدخال فيديو معقد، وفي حالة هذا البحث، تم تدريبه على مجموعة بيانات FPSI، التي تتميز بمقاطع فيديو طويلة من كاميرا متصلة بالجسم لليوم في ديزني وورلد في أورلاندو، فلوريدا (ديزني كانت واحدة من شركاء البحث في ورقة 2012).

تسلسلات الصور من FPSI، تظهر مناظير من الأولى شخص لليوم في ديزني وورلد.

الهيكلتان متناقضتان تمامًا من حيث التعقيد. تم تصميم التشفير التلقائي لإعادة بناء الصور بدلاً من 预测 القيم المستهدفة.

تم اختبار كلا النظامين على مجموعة من التكوينات الأجهزة والبرمجية، بما في ذلك وحدات المعالجة المركزية بدون بطاقات رسومات (Intel i5-4590، i7-6800K، i5-7600K، أو AMD Ryzen-5-3600) ووحدات المعالجة المركزية مع بطاقات رسومات (Intel i5-7600K + NVIDIA GTX-750Ti، i5-7600K + GTX-970، i7-6700K + GTX-1080، i7-7700K + GTX-1080Ti، i7-9700 + RTX-2080Ti، i5-7600K + RTX-2060 super، AMD Ryzen-5-3600 + RTX-2070 super، أو i5-9400 + Titan-RTX).

نقاط السرج

على التشفير التلقائي، لم يكن الفرق المتوسط عبر جميع التكوينات، مع وبدون cuDNN، ملحوظًا.

أما بالنسبة لPredNet، فإن النتائج كانت أكثر إثارة، مع فروق ملحوظة في تقييم الخسارة وجودة بين التدريب على وحدة المعالجة المركزية وبطاقة الرسومات.

يقول الباحثون إن ‘الآلية غير واضحة، ولكن يبدو أن بطاقات الرسومات لديها القدرة على تقدم تدريب الشبكات العصبية العميقة’.

تشير النتائج إلى أن بطاقات الرسومات قد تكون أفضل في تجنب نقاط السرج – المناطق في الانحدار التدرجي التي تصف قاع المنحدر.

نقاط السرج، على الرغم من كونها عائقًا، تم التغلب عليها إلى حد كبير في الفكر الحديث حول تحسين الانحدار التدرجي العشوائي (SGD)، ولكن الورقة الجديدة تشير إلى أن بطاقات الرسومات قد تكون مجهزة بشكل فريد لتجنبها، وأن تأثير نقاط السرج يجب ربما إعادة النظر فيه.