ما هو التعلم الفيدرالي؟

ما هو التعلم الفيدرالي؟

الطريقة التقليدية لتدريب نماذج الذكاء الاصطناعي تتضمن إنشاء خوادم حيث يتم تدريب النماذج على البيانات، غالبًا عبر استخدام منصة حوسبة سحابية. ومع ذلك، خلال السنوات القليلة الماضية، ظهرت طريقة بديلة لإنشاء النماذج، تسمى التعلم الفيدرالي. التعلم الفيدرالي يأتي بنماذج التعلم الاصطناعي إلى مصدر البيانات، بدلاً من جلب البيانات إلى النموذج. التعلم الفيدرالي يربط بين أجهزة حاسوب متعددة في نظام متوزع يسمح للأجهزة الفردية التي تجمع البيانات بمساعدة تدريب النموذج.

في نظام التعلم الفيدرالي، تتمتع الأجهزة المختلفة التي تكون جزءًا من شبكة التعلم بنسخة من النموذج على الجهاز. يتم تدريب نماذج مختلفة على بيانات محلية، ثم يتم إرسال المعلمات / الأوزان من النماذج الفردية إلى جهاز رئيسي أو خادم يجمع المعلمات ويعمل على تحديث النموذج العالمي. يمكن تكرار عملية التدريب هذه حتى يتم الوصول إلى مستوى دقة مرغوب فيه. باختصار، الفكرة وراء التعلم الفيدرالي هي أن لا يتم نقل أي بيانات تدريب بين الأجهزة أو بين الأطراف، بل يتم نقل التحديثات المتعلقة بالنموذج فقط.

يمكن تقسيم التعلم الفيدرالي إلى ثلاث خطوات أو مراحل. يبدأ التعلم الفيدرالي عادةً بنموذج عام يعتبر نقطة بداية ويتدرب على خادم مركزي. في الخطوة الأولى، يتم إرسال هذا النموذج العام إلى عملاء التطبيق. ثم يتم تدريب نسخ محلية من هذا النموذج على بيانات محلية، ويتعلمون ويحسنون أدائهم.

في الخطوة الثانية، يرسل جميع العملاء معاملات النموذج المكتسبة إلى الخادم المركزي. يحدث هذا بشكل دوري، على جدول زمني محدد.

في الخطوة الثالثة، يجمع الخادم المركزي المعاملات المكتسبة عند استلامها. بعد جمع المعاملات، يتم تحديث النموذج المركزي وتبادله مرة أخرى مع العملاء. ثم يتكرر العملية بأكملها.

من الفوائد لوجود نسخة من النموذج على الأجهزة المختلفة هو أنّ التأخيرات الشبكية تقل أو تختفي. كما يتم إلغاء التكاليف المرتبطة بنقل البيانات إلى الخادم. من الفوائد الأخرى للتعلم الفيدرالي هو أن نماذج التعلم الفيدرالي محفوظة للخصوصية، واستجابات النموذج مخصصة للمستخدم.

تتضمن أمثلة نماذج التعلم الفيدرالي محركات التوصية، ونماذج الكشف عن الاحتيال، ونماذج طبية. يمكن تدريب محركات التوصية، مثل تلك المستخدمة في نيتفليكس أو أمازون، على بيانات جمعها آلاف المستخدمين. ستتدرب الأجهزة العميلة على نماذج منفصلة، وسيتعلم النموذج المركزي تقديم تنبؤات أفضل، حتى لو كانت النقاط الفردية فريدة من نوعها للمستخدمين المختلفين. فيما يتعلق بنموذج التعلم الفيدرالي الطبي، يمكن لمستشفيات متعددة التعاون لتدريب نموذج مشترك يمكنه التعرف على الأورام المحتملة من خلال الفحوصات الطبية.

أنواع التعلم الفيدرالي

تقع مخططات التعلم الفيدرالي عادة في واحدة من فئتين: أنظمة متعددة الأطراف وأنظمة وحيدة الطرف. يتم تسمية أنظمة التعلم الفيدرالي وحيدة الطرف بـ “وحيد الطرف” لأن هناك كيانًا واحدًا مسؤولًا عن إدارة جمع البيانات وحركتها عبر جميع أجهزة العميل في شبكة التعلم. يتم تدريب النماذج على أجهزة العميل على بيانات بنية متسقة، على الرغم من أن النقاط البيانية عادة ما تكون فريدة من نوعها للمستخدمين والأجهزة المختلفة.

في مقابل الأنظمة وحيدة الطرف، يتم إدارة الأنظمة متعددة الأطراف بواسطة كيانين أو أكثر. تعمل هذه الكيانات معًا لتدريب نموذج مشترك باستخدام الأجهزة و مجموعات البيانات التي لديهم الوصول إليها. تكون المعاملات والهياكل البيانية عادة متشابهة عبر الأجهزة التابعة للكيانات المختلفة، ولكنها لا تحتاج إلى أن تكون متطابقة. بدلاً من ذلك، يتم إجراء المعالجة المسبقة لت chuẩnية مدخلات النموذج. قد يتم توظيف كيان محايد لجمع الأوزان التي حددتها الأجهزة الفريدة لكل كيان.

إطارات عمل التعلم الفيدرالي

تتضمن الإطارات الشائعة المستخدمة للتعلم الفيدرالي Tensorflow Federated و Federated AI Technology Enabler (FATE) و PySyft. PySyft هو مكتبة تعلم فيدرالي مفتوحة المصدر تعتمد على مكتبة التعلم العميق PyTorch. يهدف PySyft إلى ضمان التعلم العميق الخاص والأمن عبر الخوادم والوكلاء باستخدام الحوسبة المشفرة. في حين أن Tensorflow Federated هو إطار مفتوح المصدر مبني على منصة Tensorflow من جوجل. بالإضافة إلى تمكين المستخدمين من إنشاء خوارزمياتهم الخاصة، يسمح Tensorflow Federated للمستخدمين بمحاكاة عدد من خوارزميات التعلم الفيدرالي المضمنة على نماذجهم وبياناتهم. وأخيرًا، FATE هو إطار مفتوح المصدر تم تصميمه بواسطة Webank AI، ويتضمن إطارًا حاسوبيًا آمنًا لمجتمع Federated AI.

تحديات التعلم الفيدرالي

كما أن التعلم الفيدرالي ما زال في مرحلة نشأة، يجب التغلب على عدد من التحديات لتحقيق إمكاناته الكاملة. القدرات الحاسوبية لأجهزة الحواف، وتصنيف البيانات وتقييسها، وتماسك النموذج هي عوائق محتملة لنهج التعلم الفيدرالي.

يجب مراعاة القدرات الحاسوبية لأجهزة الحواف عند تصميم نهج التعلم الفيدرالي. في حين أن معظم الهواتف الذكية والأجهزة اللوحية وأجهزة إنترنت الأشياء المتوافقة قادرة على تدريب نماذج التعلم الاصطناعي، فإن هذا يؤثر عادة على أداء الجهاز. يجب أن يتم التوازن بين دقة النموذج وأداء الجهاز.

تصنيف البيانات وتقييسها هو تحد آخر يجب على أنظمة التعلم الفيدرالي التغلب عليه. تتطلب نماذج التعلم الإشرافي بيانات تدريب واضحة وموحدة التصنيف، وهو ما قد يكون صعبًا عند العمل عبر أجهزة عديدة في النظام. لهذا السبب، من المهم تطوير خطوط أنابيب بيانات تطبق التصنيفات تلقائيًا بطريقة موحدة بناءً على الأحداث وإجراءات المستخدم.

زمن انحدار النموذج هو تحد آخر للتعلم الفيدرالي، حيث غالبًا ما يستغرق نماذج التعلم الفيدرالي وقتًا أطول للاستقرار مقارنةً بنماذج التدريب المحلي. يضيف عدد الأجهزة المشاركة في التدريب عنصرًا من عدم اليقين إلى تدريب النموذج، حيث يمكن أن تساهم مشاكل الاتصال والتحديثات غير المنتظمة وأوقات استخدام التطبيق المختلفة في زيادة وقت الانحدار وانخفاض الموثوقية. لهذا السبب، تكون حلول التعلم الفيدرالي عادة أكثر فائدة عندما توفر مزايا ملحوظة على التدريب المركزي للنموذج، مثل الحالات التي تكون فيها مجموعات البيانات ضخمة وموزعة.

صورة: Jeromemetronome via Wikimedia Commons, CC By S.A. 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)