10 أفضل خوارزميات التعلم الآلي

على الرغم من أننا نعيش في وقت من الابتكار غير العادي في التعلم الآلي المعزز بواسطة وحدة معالجة الرسومات، فإن الأبحاث الأخيرة غالبًا ما تظهر خوارزميات قد تم تطويرها منذ عقود، وفي بعض الحالات منذ 70 عامًا.

قد يجادل البعض في أن العديد من هذه الأساليب القديمة تنتمي إلى فئة “التحليل الإحصائي” بدلاً من التعلم الآلي، ويفضلون تقديم تاريخ بداية القطاع إلى عام 1957 فقط، مع اختراع البيرسيبترون.

نظرًا لمدى دعم هذه الخوارزميات القديمة للاتجاهات والأبحاث الحديثة في التعلم الآلي، فإن هذا موقف قابل للنقاش. لذا دعونا نلقي نظرة على بعض الحجارة الأساسية “الكلاسيكية” التي تدعم أحدث الابتكارات، بالإضافة إلى بعض المدخلات الجديدة التي تحاول أن تصبح جزءًا من قاعة مشاهير الذكاء الاصطناعي.

1: المحولات

في عام 2017، قادت أبحاث جوجل تعاونًا بحثيًا انتهى بمنشور ورقة الانتباه هو كل ما تحتاجه. وحددت الأبحاث هيكلًا جديدًا يُدعى المحول، والذي أصبح منذ ذلك الحين منهجًا ثوريًا في معالجة اللغة الطبيعية (NLP)، وقوى، من بين أمثلة أخرى، نموذج اللغة التلقائي GPT-3.

أحسنت المحولات حل مشكلة الترجمة، أو “التحويل”، والتي تتعلق بمعالجة السلاسل الإدخالية إلى سلاسل الإخراج. كما تقبل المحولات البيانات وتديرها بطريقة مستمرة، بدلاً من دفعات متتالية، مما يسمح “باستمرار الذاكرة” الذي لا يتم تصميمه في معمارية الشبكات العصبية المتكررة (RNNs).

بالنسبة إلى من يرغبون في نظرة أكثر تفصيلًا على المحولات، يمكنهم قراءة مقالنا المرجعي.

على عكس الشبكات العصبية المتكررة (RNNs) التي بدأت في السيطرة على أبحاث التعلم الآلي في عصر CUDA، يمكن للمعمارية المحولة أن تتم موازاتها بسهولة، مما يفتح الطريق لمعالجة كمية أكبر بكثير من البيانات مقارنةً بالشبكات العصبية المتكررة.

استحوذت المحولات على خيال الجمهور في عام 2020 مع إصدار OpenAI ل GPT-3، الذي أعلن عن سجل جديد当ها كان يضم 175 مليار معامل. هذا الإنجاز المذهل تم تجاوزه فيما بعد بواسطة مشاريع لاحقة، مثل إصدار Microsoft عام 2021 ل Megatron-Turing NLG 530B، والتي تضم أكثر من 530 مليار معامل.

تعد معمارية المحولات أيضًا قد انتقلت من معالجة اللغة الطبيعية إلى الرؤية الحاسوبية، وقوت مجموعة جديدة من إطارات合成 الصور مثل CLIP و DALL-E، والتي تستخدم الخريطة بين النص والصورة لاستكمال الصور غير المكتملة وتنسيق صور جديدة من المجالات المدربة، من بين تطبيقات أخرى.

2: الشبكات التوليدية المعارضة (GANs)

على الرغم من أن المحولات حصلت على تغطية إعلامية غير عادية من خلال إصدار GPT-3، فإن الشبكات التوليدية المعارضة (GANs) أصبحت علامة تجارية معترف بها بذاتها، وقد تنضم قريباً إلى الصور المزيفة كفعل.

تم اقتراح GAN لأول مرة في عام 2014، ويتم استخدامها بشكل أساسي ل合成 الصور. يتكون هيكل GAN من المنشئ و المتميز. يتكرر المنشئ خلال آلاف الصور في مجموعة البيانات، ويتكرر محاولة إعادة بنائها. لكل محاولة، يقيم المتميز عمل المنشئ، ويرسله مرة أخرى إلى المنشئ للتحسين، دون أي洞察 في كيفية الخطأ في البناء السابق.

هذا يضطر المنشئ إلى استكشاف مجموعة من الطرق، بدلاً من اتباع المسارات الخاطئة التي كانت ستكون النتيجة إذا أخبره المتميز أين كان يخطئ (انظر #8 أدناه). بعد انتهاء التدريب، يمتلك المنشئ خريطة مفصلة للعلاقات بين النقاط في مجموعة البيانات.

يمكن للشبكات التوليدية المعارضة في النظرية اشتقاق الميزات من أي مجال محدد جيدًا، بما في ذلك النص.

3: آلة دعم المتجهات (SVM)

تم اختراع آلة دعم المتجهات (SVM) في عام 1963. تحت SVM، خريطة المتجهات موضع نقاط البيانات في مجموعة البيانات، بينما يحدد متجهات الدعم الحدود بين المجموعات والميزات أو الصفات.

يُسمى الحد المشتق “الهيبربلاين”.

عند مستويات الميزة المنخفضة، تكون SVM ثنائية الأبعاد (الصورة أعلاه)، ولكن عند وجود عدد أعلى من المجموعات أو الأنواع، تصبح ثلاثية الأبعاد.

تظهر SVM على نطاق واسع في مجموعة متنوعة من قطاعات التعلم الآلي، بما في ذلك كشف الصور المزيفة، تصنيف الصور، تصنيف كلام الكراهية، تحليل الحمض النووي، و تنبؤ الهيكل السكاني، من بين أمور أخرى.

4: تجميع K-Means

التجميع بشكل عام هو نهج تعلم غير مُشرَّف يهدف إلى تصنيف نقاط البيانات من خلال تقدير الكثافة، وإنشاء خريطة لتوزيع البيانات التي يتم دراستها.

أصبح تجميع K-Means التطبيق الأكثر شيوعًا لهذا النهج، حيث يقود البيانات إلى مجموعات مميزة “K”، والتي قد تشير إلى قطاعات ديموغرافية أو مجتمعات أو أي تجميع سري آخر ينتظر اكتشافه في السجلات الإحصائية.

يتم تحديد قيمة K بنفسها العامل الحاسم في فائدة العملية، وفي تحديد قيمة مثالية للمجموعة. يتم تعيين قيمة K بشكل عشوائي في البداية، ويتم比較 ميزاتها وخصائصها المتجهة مع جيرانها. يتم تعيين الجيران الذين يشبهون نقطة البيانات ذات القيمة المعينة عشوائياً إلى مجموعتها بشكل متكرر حتى يتم إنتاج جميع المجموعات التي يسمح بها العملية.

سوف يكشف الرسم البياني للخطأ المربع، أو “التكلفة”، للقيم المختلفة بين المجموعات عن نقطة الكوع للبيانات:

تعد نقطة الكوع مشابهة في المفهوم للطريقة التي ي达到 بها الفقدان مستوى العائد المنخفض في نهاية جلسة تدريب لمجموعة بيانات. وهي تمثل النقطة التي لا تظهر فيها أي تمييز إضافي بين المجموعات، مما يشير إلى الوقت لانتقال إلى مراحل لاحقة في خط أنابيب البيانات، أو للإبلاغ عن النتائج.

5: الغابة العشوائية

الغابة العشوائية هي طريقة تعلم التجميع التي ت平均 النتيجة من مجموعة من أشجار القرار لتأسيس تنبؤ عام للنتيجة.

إذا كنت قد بحثت عنها حتى مشاهدة ثلاثية العودة إلى المستقبل، فإن شجرة القرار سهلة الفهم إلى حد ما: هناك العديد من المسارات أمامك، وكل مسار يفرع إلى نتيجة جديدة تحتوي على مسارات ممكنة أخرى.

في تعلم التعزيز، قد ترتد عن مسار وتبدأ مرة أخرى من موقف سابق، بينما تلتزم أشجار القرار برحلاتها.

لذلك، خوارزمية الغابة العشوائية هي في الأساس رهان موزع على القرارات. يتم تسمية الخوارزمية باسم “عشوائي” لأنها تقوم باختيارات ومراقبات عشوائية لتفهم الmedian مجموع النتائج من مصفوفة شجرة القرار.

بما أنها تأخذ في الاعتبار العديد من العوامل، يمكن أن تكون نهج الغابة العشوائية أكثر صعوبة في تحويله إلى رسومات ذات معنى مقارنة بشجرة القرار، ولكنه من المحتمل أن يكون أكثر إنتاجية.

تخضع أشجار القرار إلى التأثير المفرط، حيث تكون النتائج المحصل عليها محددة بالبيانات ولا من المرجح أن تكون عامة. تقاتل الغابة العشوائية هذه النزعة من خلال الانتقاء العشوائي لنقاط البيانات، وتهتم بالاتجاهات المفيدة والممثلة للبيانات.

6: بايز الصريح

متوازي مع تقدير الكثافة (انظر 4 أعلاه)، يمكن أن يكون مصنف بايز الصريح قويًا ولكنه خفيف الوزن، وقادرًا على تقدير الاحتمالات بناءً على الميزات المحسوبة للبيانات.

يشير مصطلح “صريح” إلى افتراض معيار بايز أن الميزات غير متعلقة، وهو ما يعرف باسم الاستقلال المشروط. إذا اعتمدنا هذا المنظور، فإن السير مثل البط والكلام مثل البط لا يكفيان لتحديد ما إذا كنا نتعامل مع بط، ولا يتم تبني أي افتراضات واضحة مسبقًا.

هذا المستوى من الدقة الأكاديمية والتحقيق سيكون مبالغًا فيه حيث يمكن الحصول على “المنطق العام”، ولكنه معيار قيم عند التنقل في العديد من الغموض والارتباطات المحتملة التي قد توجد في مجموعة بيانات التعلم الآلي.

في شبكة بايز الأصلية، تخضع الميزات إلى دالات التقييم، بما في ذلك طول الوصف الأدنى و تقييم بايز، والتي يمكن أن تفرض قيودًا على البيانات من حيث الاتصالات المقدرة بين نقاط البيانات، واتجاه تدفق هذه الاتصالات.

مصنف بايز الصريح، على العكس من ذلك، يعمل بالافتراض أن ميزات كائن معينة غير متعلقة، ويتابع استخدام معيار بايز لحساب احتمال كائن معين بناءً على ميزاته.

7: K- أقرب جيران

تم اقتراح K- أقرب جيران (KNN) لأول مرة من قبل مدرسة الطب الجوي للقوات الجوية الأمريكية في عام 1951، واضطر إلى التكيف مع حالة الحاسوب في منتصف القرن العشرين، ويعتبر KNN خوارزمية رشيقة لا تزال تظهر بشكل بارز في الأوراق الأكاديمية ومبادرات أبحاث التعلم الآلي في القطاع الخاص.

يُطلق على KNN اسم “المتعلم الكسول”، لأنه يفحص مجموعة البيانات بشكل شامل لتقييم العلاقات بين نقاط البيانات، بدلاً من الحاجة إلى تدريب نموذج التعلم الآلي الكامل.

على الرغم من أن KNN هيكليًا نحيفًا، فإن نهجه المنهجي يضع demande ملحوظة على عمليات القراءة والكتابة، ويمكن أن يكون استخدامها في مجموعات بيانات كبيرة جدًا مشكلة دون تقنيات مساعدة مثل تحليل المكونات الرئيسية (PCA)، والتي يمكن أن تحول مجموعات بيانات معقدة وذات حجم كبير إلى مجموعات ممثلة يمكن لـ KNN عبورها بقليل من الجهد.

دراسة حديثة قامت بتقييم الفعالية والاقتصاد في عدد من الخوارزميات المكلفين بتوقع ما إذا كان موظف سيغادر شركة، ووجدت أن KNN البالغ من العمر سبعين عامًا لا يزال متفوقًا على المنافسين الحديثين فيما يتعلق بالدقة والفعالية التنبؤية.

8: عملية اتخاذ القرار ماركوف

تم تقديم إطار رياضي من قبل الرياضياتي الأمريكي ريتشارد بيلمان في عام 1957، وتعد عملية اتخاذ القرار ماركوف (MDP) واحدة من الحجارة الأساسية لعمليات التعلم التعزيزي. وهي خوارزمية مفهومية بحد ذاتها، وقد تم تكييفها في العديد من الخوارزميات الأخرى، وتكرر ظهورها في الأبحاث الحالية حول الذكاء الاصطناعي والتعلم الآلي.

تستكشف MDP بيئة البيانات عن طريق استخدام تقييم حالتها الحالية (أي “مكان وجودها” في البيانات) لتحديد العقدة التي يجب استكشافها في البيانات.

سوف يفضل MDP البسيط الفوائد القريبة الأمد على الأهداف الأفضل على المدى الطويل. ولهذا السبب، غالبًا ما يتم دمجها في سياق هيكل سياسي أكثر شمولاً في التعلم التعزيزي، وغالبًا ما يتم تقييدها بعوامل مثل مكافأة المنخفضة، وعوامل بيئية أخرى قد تمنعها من الانطلاق نحو هدف فوري دون مراعاة النتيجة الأوسع.

9: تردد المصطلح-التردد العكسي للمستند

يُقسم تردد المصطلح (TF) عدد مرات ظهور كلمة في وثيقة على إجمالي عدد الكلمات في تلك الوثيقة. وبالتالي، فإن كلمة “الختم” التي تظهر مرة واحدة في مقال يحتوي على ألف كلمة لها تردد مصطلح 0.001. ومع ذلك، فإن TF بمفرده لا يزال غير مفيد إلى حد كبير كمؤشر على أهمية المصطلح، بسبب حقيقة أن الكلمات غير الهامة (مثل “و” و “و” و “ال” و “هو”) تهيمن.

للحصول على قيمة معنوية لمصطلح، يُحسب التردد العكسي للمستند (IDF) TF لمصطلح عبر عدة وثائق في مجموعة البيانات، ويعين تصنيفًا منخفضًا للمصطلحات الشائعة جدًا، مثل الكلمات غير الهامة. يتم تطبيع متجهات الميزة إلى قيم كاملة، ويتم تعيين كل كلمة وزن مناسب.

على الرغم من عُمرها، يظل TF-IDF طريقة قوية ومشهورة لمراحل التصفية الأولية في إطارات معالجة اللغة الطبيعية.

10: الانحدار التدرجي العشوائي

يعد الانحدار التدرجي العشوائي (SGD) طريقة شائعة بشكل متزايد لتحسين تدريب نماذج التعلم الآلي.

يُعد الانحدار التدرجي نفسه طريقة لتحسين وتحديد التحسين الذي تحققه نموذج خلال التدريب.

في هذا السياق، يشير “الانحدار” إلى منحدر لأسفل (بدلاً من التدرج اللوني)، حيث يمثل النقطة العليا على اليسار بداية عملية التدريب. في هذه المرحلة، لم ير النموذج بعد مجموعة البيانات بأكملها، ولم يتعلم بعد الكثير عن العلاقات بين البيانات لإنتاج تحويلات فعالة.

ينحدر الانحدار التدرجي بشكل أساسي على المنحدر، حيث يكون النقطة الأعلى على اليسار هي بداية عملية التدريب، والنقطة الأدنى على اليمين تمثل الانحراف (النقطة التي يصبح فيها النموذج فعالًا قدر الإمكان في ظل القيود والإعدادات المحددة).

تعد SGD طريقة شائعة لتحسين نماذج التعلم الآلي، وغالبًا ما يتم استخدامها مع خوارزمية ADAM (المقدمة في عام 2015)، والتي تكيّف معدل التعلم بشكل ديناميكي، وتدمج نتائج التحديثات السابقة في التكوين اللاحق.

然而، يعتقد البعض أن استخدام الزخم يمكن أن يسرع ADAM (وخوارزميات مماثلة) إلى استنتاج غير مثالي. كما هو الحال مع معظم حافة القطاع البحثي في التعلم الآلي، فإن SGD هو عمل قائم.

نُشر لأول مرة في 10 فبراير 2022. تم تعديله في 10 فبراير 20.05 بتوقيت شرق أوروبا – تنسيق.