ما هو التعلم الموحد؟

ما هو التعلم الموحد؟

تتضمن الطريقة التقليدية لتدريب نماذج الذكاء الاصطناعي إعداد خوادم حيث يتم تدريب النماذج على البيانات، غالبًا من خلال استخدام منصة حوسبة سحابية. ومع ذلك، خلال السنوات القليلة الماضية، ظهر شكل بديل لإنشاء النماذج، يسمى التعلم الموحد. التعلم الاتحادي يجلب نماذج التعلم الآلي إلى مصدر البيانات، بدلاً من جلب البيانات إلى النموذج. يربط التعلم الموحد بين العديد من الأجهزة الحسابية في نظام لا مركزي يسمح للأجهزة الفردية التي تجمع البيانات بالمساعدة في تدريب النموذج.

في نظام التعلم الموحد ، تحتوي الأجهزة المختلفة التي تشكل جزءًا من شبكة التعلم على نسخة من النموذج على الجهاز. الأجهزة / العملاء المختلفة تدريب نسختهم الخاصة من النموذج باستخدام البيانات المحلية للعميل ، ثم يتم إرسال المعلمات / الأوزان من النماذج الفردية إلى جهاز رئيسي ، أو خادم ، يقوم بتجميع المعلمات وتحديث النموذج العام. يمكن بعد ذلك تكرار عملية التدريب هذه حتى يتم الوصول إلى المستوى المطلوب من الدقة. باختصار ، الفكرة وراء التعلم الفيدرالي هي أنه لا يتم نقل أي من بيانات التدريب بين الأجهزة أو بين الأطراف ، فقط التحديثات المتعلقة بالنموذج هي.

يمكن تقسيم التعلم الموحد إلى ثلاث خطوات أو مراحل مختلفة. يبدأ التعلم الموحد عادةً بنموذج عام يعمل كخط أساس ويتم تدريبه على خادم مركزي. في الخطوة الأولى ، يتم إرسال هذا النموذج العام إلى عملاء التطبيق. ثم يتم تدريب هذه النسخ المحلية على البيانات التي تم إنشاؤها بواسطة أنظمة العميل ، والتعلم وتحسين أدائها.

في الخطوة الثانية ، يرسل العملاء جميعًا معلمات النموذج التي تعلموها إلى الخادم المركزي. يحدث هذا بشكل دوري ، وفقًا لجدول زمني محدد.

في الخطوة الثالثة ، يقوم الخادم بتجميع المعلمات التي تم تعلمها عند استلامها. بعد تجميع المعلمات ، يتم تحديث النموذج المركزي ومشاركته مرة أخرى مع العملاء. ثم تتكرر العملية برمتها.

• الاستفادة من الحصول على نسخة من النموذج الموجود على الأجهزة المختلفة هو تقليل زمن الوصول للشبكة أو إزالته. يتم أيضًا التخلص من التكاليف المرتبطة بمشاركة البيانات مع الخادم. تشمل المزايا الأخرى لطرق التعلم الموحدة حقيقة أن نماذج التعلم الموحد يتم الحفاظ عليها بالخصوصية ، وأن الاستجابات النموذجية مخصصة لمستخدم الجهاز.

تتضمن أمثلة نماذج التعلم الموحد محركات التوصية ونماذج الكشف عن الاحتيال والنماذج الطبية. يمكن تدريب محركات التوصية بالوسائط ، من النوع الذي تستخدمه Netflix أو Amazon ، على البيانات التي تم جمعها من آلاف المستخدمين. ستقوم أجهزة العميل بتدريب نماذجها المنفصلة الخاصة بها وسوف يتعلم النموذج المركزي إجراء تنبؤات أفضل ، على الرغم من أن نقاط البيانات الفردية ستكون فريدة للمستخدمين المختلفين. وبالمثل ، يمكن تدريب نماذج الكشف عن الاحتيال التي تستخدمها البنوك على أنماط النشاط من العديد من الأجهزة المختلفة ، ويمكن لحفنة من البنوك المختلفة أن تتعاون لتدريب نموذج مشترك. فيما يتعلق بنموذج التعلم الفيدرالي الطبي ، يمكن أن تتعاون العديد من المستشفيات لتدريب نموذج مشترك يمكنه التعرف على الأورام المحتملة من خلال الفحوصات الطبية.

أنواع التعلم الموحد

مخططات التعلم الموحدة تقع عادة في واحدة من فئتين مختلفتين: أنظمة الأحزاب المتعددة وأنظمة الحزب الواحد. تسمى أنظمة التعلم الفيدرالي أحادية الطرف "أحادية الطرف" لأن كيانًا واحدًا فقط هو المسؤول عن الإشراف على التقاط البيانات وتدفقها عبر جميع أجهزة العميل في شبكة التعلم. يتم تدريب النماذج الموجودة على الأجهزة العميلة على بيانات لها نفس البنية ، على الرغم من أن نقاط البيانات عادةً ما تكون فريدة لمختلف المستخدمين والأجهزة.

على عكس أنظمة الحزب الواحد ، تتم إدارة الأنظمة متعددة الأطراف من قبل كيانين أو أكثر. تتعاون هذه الكيانات لتدريب نموذج مشترك من خلال استخدام الأجهزة ومجموعات البيانات المختلفة التي يمكنهم الوصول إليها. عادةً ما تكون المعلمات وهياكل البيانات متشابهة عبر الأجهزة التي تنتمي إلى كيانات متعددة ، ولكن لا يجب أن تكون متطابقة تمامًا. بدلاً من ذلك ، تتم المعالجة المسبقة لتوحيد مدخلات النموذج. قد يتم استخدام كيان محايد لتجميع الأوزان التي تحددها الأجهزة الفريدة للكيانات المختلفة.

أطر التعلم الموحد

تشمل الأطر الشائعة المستخدمة في التعلم الفيدرالي اتحاد Tensorflow, تمكين تكنولوجيا الذكاء الاصطناعي الموحدة (FATE)و بايسيفت. PySyft هي مكتبة تعلم إتحادية مفتوحة المصدر تعتمد على مكتبة التعلم العميق PyTorch. تهدف PySyft إلى ضمان التعلم العميق الخاص والآمن عبر الخوادم والوكلاء باستخدام الحساب المشفر. وفي الوقت نفسه ، Tensorflow Federated هو إطار عمل آخر مفتوح المصدر مبني على منصة Tensorflow من Google. بالإضافة إلى تمكين المستخدمين من إنشاء الخوارزميات الخاصة بهم ، يسمح Tensorflow Federated للمستخدمين بمحاكاة عدد من خوارزميات التعلم الموحد المضمنة على نماذجهم وبياناتهم. أخيرًا ، FATE هو أيضًا إطار عمل مفتوح المصدر صممه Webank AI ، ويهدف إلى تزويد النظام البيئي الموحد للذكاء الاصطناعي بإطار عمل آمن للحوسبة.

تحديات التعلم الموحد

نظرًا لأن التعلم الفيدرالي لا يزال ناشئًا إلى حد ما ، عدد من التحديات لا يزال يتعين التفاوض عليها من أجل تحقيق إمكاناتها الكاملة. تعد القدرات التدريبية للأجهزة المتطورة ، ووضع العلامات على البيانات وتوحيدها ، وتقارب النماذج بمثابة حواجز محتملة لنهج التعلم الموحد.

يجب مراعاة القدرات الحسابية للأجهزة المتطورة ، عندما يتعلق الأمر بالتدريب المحلي ، عند تصميم مناهج التعلم الموحدة. في حين أن معظم الهواتف الذكية والأجهزة اللوحية والأجهزة الأخرى المتوافقة مع إنترنت الأشياء قادرة على تدريب نماذج التعلم الآلي ، فإن هذا عادة ما يعيق أداء الجهاز. يجب إجراء التنازلات بين دقة النموذج وأداء الجهاز.

يعد تصنيف البيانات وتوحيدها تحديًا آخر يجب أن تتغلب عليه أنظمة التعلم الموحدة. تتطلب نماذج التعلم الخاضع للإشراف بيانات التدريب التي يتم تصنيفها بشكل واضح ومتسق ، والتي قد يكون من الصعب القيام بها عبر العديد من أجهزة العميل التي تشكل جزءًا من النظام. لهذا السبب ، من المهم تطوير خطوط بيانات نموذجية تقوم تلقائيًا بتطبيق التسميات بطريقة موحدة بناءً على الأحداث وإجراءات المستخدم.

يعد وقت تقارب النموذج تحديًا آخر للتعلم الفيدرالي ، حيث تستغرق نماذج التعلم الموحد وقتًا أطول للتقارب من النماذج المدربة محليًا. يضيف عدد الأجهزة المشاركة في التدريب عنصرًا من عدم القدرة على التنبؤ إلى تدريب النموذج ، حيث يمكن أن تساهم مشكلات الاتصال والتحديثات غير المنتظمة وحتى أوقات استخدام التطبيقات المختلفة في زيادة وقت التقارب وتقليل الموثوقية. لهذا السبب ، عادةً ما تكون حلول التعلم الموحد مفيدة للغاية عندما توفر مزايا ذات مغزى على التدريب المركزي للنموذج ، مثل الحالات التي تكون فيها مجموعات البيانات كبيرة للغاية وموزعة.

الصورة: Jeromemetronome عبر Wikimedia Commons، CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)