إطار ألياف أوبير الجديد لتدريب نموذج الذكاء الاصطناعي الموزع

وفقًا لVentureBeat ، قد نشر باحثو الذكاء الاصطناعي في شركة أوبير مؤخرًا مقالة على Arxiv توضح منصة جديدة تهدف إلى مساعدة في إنشاء نماذج الذكاء الاصطناعي الموزعة. يتم调用 المنصة Fiber ، ويمكن استخدامها لتشغيل مهام التعلم بالتعزيز وتعلم السكان. تم تصميم Fiber لجعل الحساب الموازي على نطاق كبير أكثر سهولة لغير الخبراء ، مما يسمح لهم بالاستفادة من قوة خوارزميات ونمذجة الذكاء الاصطناعي الموزعة.

تم إتاحة Fiber مؤخرًا كمصدر مفتوح على GitHub ، ويتوافق مع Python 3.6 أو أعلى ، مع Kubernetes يعمل على نظام Linux ويعمل في بيئة سحابية. وفقًا لفريق الباحثين ، فإن المنصة قادرة على التوسع بسهولة إلى مئات أو آلاف الآلات الفردية.

يفسر فريق الباحثين من أوبير أن العديد من أحدث وأهم التطورات في الذكاء الاصطناعي قد تم دفعها بواسطة نماذج أكبر وخوارزميات أكثر يتم تدريبها باستخدام تقنيات التدريب الموزعة. ومع ذلك ، فإن إنشاء نماذج السكان ونمذجة التعزيز لا يزالان مهمة صعبة لخطط التدريب الموزعة ، حيث غالبًا ما تواجه مشاكل في الكفاءة والمرونة. يجعل Fiber النظام الموزع أكثر موثوقية ومرونة من خلال الجمع بين برنامج إدارة المجموعة والتوسع الديناميكي ، مما يسمح للمستخدمين بنقل مهامهم من آلة واحدة إلى العديد من الآلات بسهولة.

يتكون Fiber من ثلاثة مكونات مختلفة: واجهة برمجة التطبيقات ، والخلفية ، وطبقة المجموعة. تمكن طبقة واجهة برمجة التطبيقات المستخدمين من إنشاء أشياء مثل الطوابير والإداريين والعمليات. تتيح طبقة الخلفية من Fiber للمستخدم إنشاء وايقاف مهام يتم إدارتها بواسطة مجموعات مختلفة ، وطبقة المجموعة تدير المجموعات الفردية نفسها بالإضافة إلى مواردها ، مما يزيد بشكل كبير من عدد العناصر التي يجب على Fiber مراقبتها.

يسمح Fiber بتشغيل المهام وتشغيلها عن بُعد على آلة واحدة أو عدة آلات ، باستخدام مفهوم العمليات المدعومة بالوظائف. كما يستخدم Fiber الحاويات لضمان أن تكون بيانات الإدخال والحزم التابعة محتوية. يتضمن إطار Fiber أيضًا معالجة الأخطاء المدمجة ، بحيث يمكن إحياء العامل بسرعة إذا تعطل. يمكن Fiber القيام بكل ذلك أثناء التفاعل مع مديري المجموعة ، مما يسمح لتطبيقات Fiber بالتشغيل كما لو كانت تطبيقات عادية تعمل على مجموعة معينة من الحواسيب.

أظهرت النتائج التجريبية أن وقت استجابة Fiber كان بضعة مللي ثانية فقط ، وأنه يمتاز أيضًا بتوسع أفضل من تقنيات الذكاء الاصطناعي الأساسية عند بنائه مع 2048 نواة معالجة / عامل. انخفضت مدة زمنية اللازمة لإكمال المهام تدريجياً مع زيادة عدد العمال. استغرق IPyParallel 1400 ثانية تقريبًا لإكمال 50 تكرارًا من التدريب ، بينما كان Fiber قادرًا على إكمال 50 تكرارًا من التدريب في حوالي 50 ثانية مع توافر 512 عامل.

يشرح مؤلفو ورقة Fiber أن Fiber يمكنه تحقيق العديد من الأهداف مثل التوسع الديناميكي للخوارزميات واستخدام كميات كبيرة من القدرة الحاسوبية:

“[يعمل عملنا] على تحقيق العديد من الأهداف ، بما في ذلك الاستفادة الكفءة من كمية كبيرة من الأجهزة الحاسوبية المتنوعة ، وتوسيع الخوارزميات ديناميكيًا لتحسين كفاءة استخدام الموارد ، وتقليل العبء الهندسي المطلوب لجعل خوارزميات التعلم بالتعزيز والسكان تعمل على مجموعات الحواسيب ، والتكيف بسرعة مع بيئات الحوسبة المختلفة لتحسين كفاءة البحث. نتوقع أنه سيعزز التقدم في حل مشاكل التعلم بالتعزيز الصعبة بخوارزميات التعلم بالتعزيز وأساليب السكان عن طريق جعل من السهل تطوير هذه الأساليب وتدريبها على المقاييس اللازمة لمشاهدتها تعمل حقًا.”