Uber's Fiber عبارة عن إطار تدريب نموذجي جديد موزع للذكاء الاصطناعي

وفقًا لـ VentureBeat، نشر باحثو الذكاء الاصطناعي في أوبر مؤخرًا ورقة إلى Arxiv تحديد منصة جديدة تهدف إلى المساعدة في إنشاء نماذج الذكاء الاصطناعي الموزعة. المنصة تسمى فيبر، ويمكن استخدامه لدفع كل من مهام التعلم المعزز والتعلم القائم على السكان. تم تصميم الألياف لجعل الحسابات الموازية واسعة النطاق في متناول غير الخبراء ، مما يتيح لهم الاستفادة من قوة خوارزميات ونماذج الذكاء الاصطناعي الموزعة.

تم مؤخرًا جعل الألياف مفتوحة المصدر على GitHub ، وهي متوافقة مع Python 3.6 أو أعلى ، مع تشغيل Kubernetes على نظام Linux وتشغيله في بيئة سحابية. وفقًا لفريق الباحثين ، فإن النظام الأساسي قادر على توسيع نطاقه بسهولة إلى مئات أو آلاف الأجهزة الفردية.

يوضح فريق الباحثين من أوبر أن العديد من أحدث التطورات وأكثرها صلة في الذكاء الاصطناعي كانت مدفوعة بنماذج أكبر والمزيد من الخوارزميات التي يتم تدريبها باستخدام تقنيات التدريب الموزعة. ومع ذلك ، لا يزال إنشاء نماذج مستندة إلى السكان ونماذج التعزيز مهمة صعبة لخطط التدريب الموزعة ، حيث غالبًا ما تواجه مشكلات في الكفاءة والمرونة. تجعل الألياف النظام الموزع أكثر موثوقية ومرونة من خلال الجمع بين برنامج إدارة المجموعة مع القياس الديناميكي والسماح للمستخدمين بنقل وظائفهم من جهاز واحد إلى عدد كبير من الأجهزة بسلاسة.

تتكون الألياف من ثلاثة مكونات مختلفة: API ، وخلفية ، وطبقة عنقودية. تتيح طبقة API للمستخدمين إنشاء أشياء مثل قوائم الانتظار والمديرين والعمليات. تتيح الطبقة الخلفية للألياف للمستخدم إنشاء وإنهاء المهام التي تتم إدارتها بواسطة مجموعات مختلفة ، وتدير طبقة الكتلة المجموعات الفردية نفسها مع مواردها ، وهو عدد كبير من العناصر التي يتعين على الألياف الاحتفاظ بعلامات تبويب عليها.

تتيح الألياف إمكانية وضع الوظائف في قائمة الانتظار وتشغيلها عن بُعد على جهاز محلي واحد أو العديد من الأجهزة المختلفة ، باستخدام مفهوم العمليات المدعومة بالوظائف. تستخدم الألياف أيضًا الحاويات للتأكد من أن أشياء مثل بيانات الإدخال والحزم التابعة قائمة بذاتها. يتضمن إطار عمل الألياف أيضًا معالجة الأخطاء المضمنة بحيث يمكن إعادة إحيائها بسرعة في حالة تعطل العامل. يمكن لـ FIber القيام بكل هذا أثناء التفاعل مع مديري المجموعات ، مما يسمح بتشغيل تطبيقات Fiber كما لو كانت تطبيقات عادية تعمل على مجموعة أجهزة كمبيوتر معينة.

أظهرت النتائج التجريبية أنه في المتوسط ​​كان وقت استجابة الألياف بضعة أجزاء من الثانية وأنه تم توسيع نطاقه أيضًا بشكل أفضل من تقنيات الذكاء الاصطناعي الأساسية عند بنائه باستخدام 2,048 نواة / عامل. انخفض طول الوقت المطلوب لإكمال الوظائف تدريجيًا مع زيادة عدد العمال المحدد. أكملت IPyParallel 50 تكرارًا من التدريب في حوالي 1400 ثانية ، بينما تمكنت Fiber من إكمال نفس 50 تكرارًا من التدريب في حوالي 50 ثانية مع توفر 512 عاملاً.

المؤلفون المشاركون في ورقة الألياف شرح أن الألياف قادرة على تحقيق أهداف متعددة مثل خوارزميات القياس الديناميكي واستخدام كميات كبيرة من قوة الحوسبة:

"[يوضح عملنا] أن Fiber يحقق العديد من الأهداف ، بما في ذلك الاستفادة بكفاءة من قدر كبير من أجهزة الحوسبة غير المتجانسة ، وقياس الخوارزميات ديناميكيًا لتحسين كفاءة استخدام الموارد ، وتقليل العبء الهندسي المطلوب لجعل [التعلم المعزز] والخوارزميات المستندة إلى السكان تعمل على مجموعات الكمبيوتر ، والتكيف بسرعة مع بيئات الحوسبة المختلفة لتحسين كفاءة البحث. نتوقع أنه سيتيح مزيدًا من التقدم في حل مشكلات [التعلم المعزز] الصعبة باستخدام خوارزميات [التعلم المعزز] والأساليب القائمة على السكان من خلال تسهيل تطوير هذه الأساليب وتدريبها على المستويات اللازمة لرؤيتها تتألق حقًا. "