أساسيات الذكاء الاصطناعي
ما هو تقليل الأبعاد؟
أضف Unite.AI إلى مصادرك المفضلة على Google
تقليل الأبعاد يُمثِّل البيانات بعدد أقل من المتغيّرات مع الحفاظ على المعلومات المفيدة للمهمة. يمكنه تقليل التخزين والضوضاء، تحسين التصور، تخفيف التكرار في الخصائص، وجعل النماذج اللاحقة أسهل في التدريب.
لا توجد طريقة تحتفظ بكل علاقة. يبدأ تقليل مفيد بتحديد ما يجب أن يبقى: التباين، فصل الفئات، الأحياء المحلية، الهندسة العامة، جودة الإعادة أو القابلية للتفسير.
النقاط الرئيسية
- اختيار الخصائص يحتفظ بالمتغيّرات الأصلية؛ استخراج الخصائص يُنشئ إحداثيات جديدة ذات أبعاد أقل.
- تحليل المكوّنات الرئيسة (PCA) خطي ويركّز على التباين؛ بينما يركّز t‑SNE و UMAP على بنية الأحياء المحلية للتصور.
- يمكن لتضمينات التصور أن تُشوّه المسافات، أحجام المجموعات، والفصل العام.
- يُجرى تقليل الأبعاد فقط على بيانات التدريب، ثم يُطبّق التحويل المتعلم على بيانات التحقق والاختبار.
اختيار الخصائص مقابل الإسقاط
اختيار الخصائص يزيل المتغيّرات باستخدام قواعد المجال، القيم المفقودة، التكرار، الاختبارات التنبؤية أو التنظيم. يحافظ على المعاني الأصلية، ما يمكن أن يساعد في الحوكمة والتفسير.
طرق الإسقاط تجمع المتغيّرات في إحداثيات جديدة. يمكنها التقاط البنية الموزَّعة لكن قد تجعل كل إحداثية أصعب في التفسير. الـ المشفّر التلقائي يتعلم إسقاطاً غير خطي عبر الإعادة.
تحليل المكوّنات الرئيسة (PCA) وتحليل القيمة المفردة (SVD)
تحليل المكوّنات الرئيسة يحدّد الاتجاهات المتعامدة ذات التباين المتناقص بعد تمركز البيانات. يوفر تحليل القيمة المفردة مسارًا عدديًا شائعًا. المقياس مهم: وحدة قياس ذات تباين عالٍ يمكن أن تهيمن على المكوّنات.
تحليل المكوّنات الرئيسة حتمي ما عدا الإشارة والقيم الذاتية المتكررة، يدعم التحويل خارج العينة ويقدّم ملخصات للتباين المفسَّر. التباين العالي ليس دائمًا ذا صلة بالمهمة، ولا يمكن للمكوّنات الخطية أن تفكّ كل سطح منحني.
t‑SNE و UMAP
يُنشئ t‑SNE توزيعات احتمالية على الجيران ويُحسّن خريطة منخفضة الأبعاد تُبرز التشابه المحلي. يبني UMAP رسمًا بيانيًا مُوزَّنًا للجيران ويُحسّن تمثيلًا منخفض الأبعاد بأهداف بنية محلية ذات صلة.
كلاهما أدوات استكشافية قوية لكنهما حساسان لمرحلة ما قبل المعالجة، مقياس المسافة، ومعلمات الضبط. لا ينبغي أن تُفسَّر تلقائيًا المساحات الفارغة، مساحة المجموعات، والمسافة بين المجموعات في مخطط ثنائي الأبعاد كواقع ملموس.
الطرق الخاضعة للإشراف والتمثيلات المدركة للمهمة
تحليل التمييز الخطي يستخدم تسميات الفئات للبحث عن الفصل، مما يجعله مختلفًا عن PCA غير الخاضع للإشراف. يمكن لتعلم التمثيل العصبي تحسين أهداف التنبؤ أو التباين بدلاً من الإعادة.
إذا كانت التسميات تُوجّه عملية التقليل، يجب أن يبقى جميع التكييف والضبط داخل عملية التدريب. وإلا قد يتسرب معلومات من مجموعة الاختبار إلى اختيار النموذج مما يخلق نتيجة متفائلة.
اختيار الطريقة والتحقق من صحتها
ابدأ بمرحلة ما قبل المعالجة وخط أساس بسيط. بالنسبة للضغط، قسّ إعادة الإعمار أو أداء النماذج اللاحقة عبر الأبعاد. بالنسبة للتصور، اختبر الاستقرار عبر البذور ومعلمات الضبط وقارن الحفاظ على الأحياء مع المعرفة الميدانية.
في بيئة الإنتاج، اسأل ما إذا كانت الطريقة تستطيع تحويل السجلات الجديدة، كيف تتعامل مع القيم المفقودة، ما إذا كانت تتغيّر عند إعادة التدريب، وما إذا كان المستخدمون يحتاجون إلى تفسيرات للخصائص الأصلية. يمكن أن يحدث الإفراط في التعميم في خطوة التقليل كما هو الحال في النموذج النهائي.
طرق التقليل الخطية وغير الخطية
يقوم تقليل الأبعاد بتحويل البيانات عالية الأبعاد إلى إحداثيات أقل مع الحفاظ على البنية المختارة. يجد تحليل المكوّنات الرئيسة الاتجاهات المتعامدة ذات التباين الأقصى بعد تمركز البيانات؛ يلزم المقياس عندما يجب أن تساهم الوحدات بصورة متساوية. يحسب تحليل القيمة المفردة بنية منخفضة الرتبة ذات صلة ويدعم المصفوفات المتفرقة. يستخدم تحليل التمييز الخطي التسميات لإيجاد اتجاهات تفصل الفئات. تُنتج هذه الطرق تحويلات صريحة، لكن التباين أو فصل الفئات قد لا يحافظ على المعلومات المطلوبة للمهمة اللاحقة.
طرق السطح مثل t‑SNE و UMAP تُنشئ أحياءً وتُحسّن تخطيطًا منخفض الأبعاد. هي قوية للاستكشاف لكنها تُشوّه المسافة العامة، الكثافة، حجم المجموعات، وأحيانًا الفصل. تعتمد النتائج على ما قبل المعالجة، المقياس، عدد الجيران أو درجة الارتباك، التهيئة، والبذرة. قد تظهر مجموعة جذابة في بعدين حتى دون وجود فئات منفصلة. استخدم إعدادات متعددة، ولون فقط وفقًا للبيانات الوصفية غير المستخدمة في التكييف، وتحقق من البنية الظاهرة في الفضاء الأصلي أو باستخدام تسميات مستقلة.
اختيار الخصائص، التضمينات، والتقييم
يحافظ اختيار الخصائص على المتغيّرات الأصلية عبر الفلاتر أو الأغلفة أو أهمية النموذج؛ بينما يُنشئ تعلم التمثيل خصائص كامنة جديدة باستخدام المشفّرات التلقائية أو النماذج الخاضعة للإشراف. تحافظ الإسقاطات العشوائية على المسافات تقريبًا تحت شروط معينة وتوفر خطوط أساس فعّالة. اختر الطريقة بناءً على الضغط، التصور، تقليل الضوضاء، السرعة، التخزين، أو أداء النموذج. يُجرى تقليل الأبعاد فقط على بيانات التدريب، ثم يُطبق على مجموعات التحقق والاختبار. يجب أن يكون التقليل الخاضع للإشراف متداخلًا داخل التحقق المتقاطع لتجنب تسرب التسميات.
قُم بتقييم التباين المفسَّر أو الإعادة للضغط الخطي، والموثوقية وحفظ الأحياء للتصور، والدقة اللاحقة، والمعايرة، والكمون، والمرونة للتنبؤ. قسّ الاستقرار عبر العينات والبذور. تحقّق ما إذا كانت الفئات النادرة أو المجموعات الحساسة تُدمّر وما إذا كان التحويل العكسي ممكنًا. قد لا تزال الإحداثيات المخفضة تحتوي على معلومات خاصة؛ المخطط ثنائي الأبعاد ليس طريقة لإخفاء الهوية. وثّق التحويل، المقياس، ترتيب الخصائص، والقيود.
استخدام الإنتاج
يتطلب تقديم الخدمة التحويل المتطابق المُدَرَّب ومخطط الإدخال. راقب الخصائص المفقودة، تحول النطاق، توزيع درجات المكوّنات، خطأ الإعادة، والنتائج اللاحقة. إذا ظهرت فئات أو حساسات جديدة، أعد التدريب وأصدِر نسخة جديدة من خط الأنابيب بالكامل بدلاً من إلحاق أعمدة صامتة. يمكن أن يُحسّن التقليل من حسابات النموذج ويقلل الضوضاء، لكنه قد يُزيل إشارات ضعيفة مهمة للأحداث النادرة. اعتبره خطوة قياس متعلم يجب اختبار المعلومات المحتفظ بها والمفقودة مقابل القرار.
مثال عملي: تقليل خصائص سلوك العملاء
يقوم محلل بتوحيد 200 مقياس سلوكي ويُجري PCA على عملاء التدريب فقط. يختار التحقق المتقاطع عدد المكوّنات بناءً على أداء فقدان العملاء اللاحق والاستقرار، وليس بناءً على مخطط تشتت ثنائي الأبعاد. تُفحص الأحمال للبحث عن مصادر مهيمنة والبيانات المفقودة. تُقارن PCA، واختيار الخصائص، والإسقاط العشوائي، ونموذج منظم غير مخفض على المعايرة، والكمون، والنتائج للفئات النادرة من العملاء. كما تختبر العينات المتكررة ما إذا كانت المكوّنات الرائدة والاستنتاجات اللاحقة تبقى مستقرة.
يثبت خط الأنابيب المنفَّذ ترتيب الخصائص، المقياس، والمكوّنات ويرفض إصدارات المخطط المفقودة. يراقب المراقبة توزيعات المكوّنات، خطأ الإعادة، والنتائج اللاحقة. يُستَخدم تصور يحتوي على مجموعات ظاهرة لتوليد أسئلة، لا لتعيين شخصيات العملاء. لأن المكوّنات الكامنة لا تزال تُشفّر السلوك، يبقى الوصول والاحتفاظ تحت التحكم. إذا تغيرت تعريفات المصدر، يُعاد بناء التحويل الكامل والنموذج وتُتحقق صلاحيته بدلاً من إسقاط بيانات غير متوافقة على المكوّنات القديمة.
دليل التنفيذ والاستعداد التشغيلي
يتطلب قرار الإنتاج أكثر من عرض ناجح. حدِّد المستخدمين المستهدفين، بيئة التشغيل، المدخلات، المخرجات، التبعيات، المسؤول، وعواقب كل فشل مهم. أنشئ خط أساس قابل لإعادة الإنتاج ومجموعة تقييم مُصدَّرة قبل الضبط. اختبر الحالات العادية، ظروف الحدود، المدخلات المشوهة أو المفقودة، تحول التوزيع، انقطاع التبعيات، سوء الاستخدام، والمجموعات أو البيئات الأكثر عرضة للحرمان. قسّ جودة المهمة مع المعايرة أو عدم اليقين، والكمون، ومعدل النقل، وتكلفة الموارد، وإمكانية الوصول، والخصوصية، والأمان. سجِّل كل تحويل وعَتبة حتى يتمكن مراجع مستقل من إعادة إنتاج النتيجة والتمييز بين الأدلة والنموذج الأولي الجذاب.
قبل الإطلاق، عيّن سلطة للإصدار، الاستثناءات، التغييرات، الاسترجاع، والتقاعد. استخدم نشرًا متدرجًا، واحفظ نسخة احتياطية آمنة، وتحقق من المراقبة عبر إدخال أعطال متعمدة. يجب أن تكشف القياسات التشغيلية عن جودة المدخلات، سلوك المخرجات، نسخة النموذج أو القاعدة، صحة التبعيات، التدخلات البشرية، والنتائج المؤكدة دون جمع بيانات حساسة غير ضرورية. حدِّد عتبات التنبيه ومسؤول الاستجابة، ثم راجع الأدلة الواقعية بعد النشر بدلاً من افتراض استمرارية الأداء غير المتصل. أعد التقييم كلما تغيرت مصادر البيانات أو المستخدمون أو النماذج أو البائعون أو السياسات أو الأجهزة أو الأهداف. يحتاج النظام المُصان أيضًا إلى وثائق لاستعادة الحوادث، وتعلم الحوادث، وإجراءات الحذف والاحتفاظ، ونقطة واضحة لتعطيله أو استبداله.
الأسئلة المتكررة
هل يقلل تقليل الأبعاد دائمًا من تحسين النموذج؟
لا. قد يتخلص من معلومات تنبؤية أو يُعقّد التفسير. قارن مع خط أساس بدون تقليل على بيانات مُحتفظ بها.
هل تُثبت المجموعات المنفصلة في t‑SNE وجود فئات حقيقية؟
لا. الخريطة هي تصور مُحسّن لعلاقات الأحياء ويمكن أن تُظهر فصلًا ظاهريًا. تحقق من المجموعات بأدلة مستقلة.
المراجع الأساسية
