ما هو التعلم التحويلي؟

ما هو التعلم التحويلي؟

عند ممارسة التعلم الآلي، يمكن أن يستغرق تدريب نموذج وقتًا طويلاً. إن إنشاء بنية نموذجية من الصفر، وتدريب النموذج، ثم تعديله يعتبر كمية هائلة من الوقت والجهد. هناك طريقة أكثر كفاءة لتدريب نموذج التعلم الآلي، وهي استخدام بنية تم تعريفها بالفعل، مع أوزان قد تم حسابها بالفعل. هذا هو الفكرة الرئيسية وراء التعلم التحويلي، حيث يتم أخذ نموذج تم استخدامه بالفعل وإعادة توجيهه لمهمة جديدة.

قبل الغوص في الطرق المختلفة التي يمكن استخدام التعلم التحويلي بها، دعونا نتخذ لحظة للفهم لماذا التعلم التحويلي هو تقنية قوية ومفيدة للغاية.

حل مشكلة التعلم العميق

عندما تحاول حل مشكلة تعلم عميق، مثل بناء مصنف الصور، عليك إنشاء بنية نموذجية ثم تدريب النموذج على بياناتك. يتضمن تدريب مصنف النموذج تعديل أوزان الشبكة، عملية يمكن أن تستغرق ساعات أو حتى أيام، حسب تعقيد النموذج ومدى صحة البيانات. سيتغير وقت التدريب وفقًا لحجم البيانات ومدى تعقيد بنية النموذج.

إذا لم يصل النموذج إلى الدقة المطلوبة للمهمة، فمن المحتمل أن يكون تعديل النموذج ضروريًا، ثم يجب إعادة تدريبه. هذا يعني المزيد من الساعات من التدريب حتى يتم العثور على بنية نموذجية مثالية وطول تدريب وتنسيق بيانات مثالي. عند النظر إلى عدد المتغيرات التي يجب أن تكون متوافقة مع بعضها البعض لجعل المصنف مفيدًا، يصبح من المنطقي أن مهندسي التعلم الآلي دائمًا يبحثون عن طرق أسهل وأكثر كفاءة لتدريب وتنفيذ النماذج. لهذا السبب تم إنشاء تقنية التعلم التحويلي.

بعد تصميم واختبار نموذج، إذا أثبتت فائدته، يمكن حفظه وإعادة استخدامه لاحقًا لمشاكل مشابهة.

أنواع التعلم التحويلي

بشكل عام، هناك نوعان من التعلم التحويلي: تطوير نموذج من الصفر و使用 نموذج مدرب مسبقًا.

عندما تطور نموذجًا من الصفر، ستحتاج إلى إنشاء بنية نموذجية قادرة على تفسير بياناتك واستخراج الأنماط منها. بعد تدريب النموذج لأول مرة، ستحتاج على الأرجح إلى إجراء تعديلات عليه للحصول على الأداء الأمثل من النموذج. يمكنك بعد ذلك حفظ بنية النموذج واستخدامها كنقطة بداية لنموذج سيتم استخدامه لمهمة مشابهة.

في الحالة الثانية – استخدام نموذج مدرب مسبقًا – عليك ببساطة اختيار نموذج مدرب لاستخدامه. غالبًا ما تقوم الجامعات والفرق البحثية بنشر مواصفات نموذجها للاستخدام العام. يمكن تحميل بنية النموذج مع الأوزان.

عند إجراء التعلم التحويلي، يمكن استخدام بنية النموذج بأكملها وأوزانها للمهمة، أو استخدام أجزاء معينة من النموذج فقط. استخدام جزء من النموذج المدرب وتدريب الباقي يُسمى التعديل الدقيق.

تعديل الشبكة

يعرف تعديل الشبكة عملية تدريب بعض طبقات الشبكة فقط. إذا كان هناك مجموعة بيانات جديدة تشبه إلى حد كبير مجموعة البيانات المستخدمة لتدريب النموذج الأصلي، فيمكن استخدام العديد من الأوزان نفسها.

يجب أن يتغير عدد الطبقات في الشبكة التي يجب unfreezing واعادة تدريبها وفقًا لحجم مجموعة البيانات الجديدة. إذا كانت مجموعة البيانات التي يتم تدريبها عليها صغيرة، فمن الأفضل الحفاظ على معظم الطبقات كما هي وتدريب الطبقات القليلة الأخيرة فقط. هذا لمنع الشبكة من التأثر السلبي. بدلاً من ذلك، يمكن إزالة الطبقات النهائية من الشبكة المدربة مسبقًا وإضافة طبقات جديدة، والتي يتم تدريبها بعد ذلك. في المقابل، إذا كانت مجموعة البيانات كبيرة، قد تكون أكبر من مجموعة البيانات الأصلية، فيجب إعادة تدريب الشبكة بأكملها. لاستخدام الشبكة كمستخرج ميزات ثابت، يمكن استخدام معظم الشبكة لاستخراج الميزات و unfreezing وتدريب الطبقة النهائية فقط.

عند تعديل الشبكة، تذكر فقط أن الطبقات الأولى من الشبكة التجميعية تحتوي على المعلومات التي تمثل الميزات الأكثر عمومية للصور. هذه هي الميزات مثل الحواف والألوان. في المقابل، تحتوي الطبقات الأخيرة من الشبكة التجميعية على التفاصيل الأكثر تحديدًا للفئات الفردية الموجودة في مجموعة البيانات التي تم تدريب النموذج عليها في البداية. إذا كنت تقوم بتدريب نموذج على مجموعة بيانات تختلف كثيرًا عن مجموعة البيانات الأصلية، فمن المحتمل أن تريد استخدام الطبقات الأولى من النموذج لاستخراج الميزات واعادة تدريب الباقي من النموذج.

أمثلة على التعلم التحويلي

الأمثلة الأكثر شيوعًا للتعلم التحويلي هي تلك التي تستخدم بيانات الصور كمدخلات. غالبًا ما تكون هذه مهام التنبؤ أو التصنيف. الطريقة التي تفهم بها الشبكات العصبية التجميعية بيانات الصور تسهل إعادة استخدام جوانب من النماذج، حيث أن الطبقات التجميعية غالبًا ما تميز ميزات متشابهة جدًا. أحد الأمثلة الشائعة على مشكلة التعلم التحويلي هي مهمة ImageNet 1000، وهي مجموعة بيانات ضخمة تحتوي على 1000 فئة من الكائنات. الشركات التي تطور نماذج تحقق أداء عالي على هذه المهمة غالبًا ما تنشر نماذجها تحت رخص يسمح لآخرين بإعادة استخدامها. بعض النماذج التي نتجت عن هذا العملية تشمل نموذج Microsoft ResNet (MSFT ) ونموذج Google (GOOGL ) Inception ونموذج مجموعة نموذج Oxford VGG.