نماذج ومنصات الذكاء الاصطناعي
data2vec: علامة فارقة في التعلم ذاتي الإشراف

النقاط الرئيسيةيُعد داتا 2 فيك من ميتا الذكاء الاصطناعي أول خوارزمية ذاتية التعلم تعمل عبر الصور…
عرض المزيد
- يُعد داتا 2 فيك من ميتا الذكاء الاصطناعي أول خوارزمية ذاتية التعلم تعمل عبر الصور والنصوص والكلام.
- تتنبأ الخوارزمية بتمثيلات بيانات سياقية كاملة من مدخلات مقنعة باستخدام بنية تحويلية واحدة.
- يتجنب النموذج التحيزات الخاصة بوسائط محددة باستخدام هدف تعلم موحد لجميع أنواع البيانات.
اعتمدت نماذج التعلم الآلي بدرجة كبيرة على البيانات الموسومة في التدريب، وهو ما يحقق عادة نتائج دقيقة. لكن العيب الأساسي هو ارتفاع تكلفة التعليق التوضيحي، التي تزداد مع حجم بيانات التدريب. وتمثل هذه التكلفة عقبة كبيرة للمطورين، خصوصًا في المشاريع الضخمة ذات البيانات الكثيرة.
لمعالجة مشكلة التعليق التوضيحي، طُرح مفهوم SSL، أو التعلم ذاتي الإشراف. وهو عملية تعلم آلي يتعلم فيها النموذج استنتاج جزء من المدخلات من جزء آخر منها، مستفيدًا من العلاقات داخل البيانات بدلًا من إشارات الإشراف المستمدة من البيانات الموسومة.
توجد أيضًا طرق ونماذج أخرى للتدريب دون بيانات موسومة، لكن معظمها يواجه مشكلتين رئيسيتين:
- غالبًا ما يتخصص في نمط واحد، كالصور أو النصوص.
- يتطلب قدرة حوسبة كبيرة.
تسهم هذه القيود في تفسير الفارق بين العقل البشري، القادر على التعلم بكفاءة أكبر من نوع واحد من البيانات، ونموذج ذكاء اصطناعي يعتمد على نماذج وبيانات منفصلة للصور والنصوص والكلام.
ولمعالجة الاقتصار على نمط واحد، أطلقت Meta AI خوارزمية data2vec، وهي خوارزمية جديدة عالية الأداء للتعلم ذاتي الإشراف تتعلم الأنماط من الصور والنصوص والكلام. وقد يتيح تطبيقها استخدام فهم النصوص في تجزئة الصور، أو توظيفها في التعرف على الكلام.
نتناول هنا data2vec بالتفصيل، بما يشمل المنهج والأعمال ذات الصلة والبنية والنتائج، لتوضيح كيفية عملها.
مقدمة إلى data2vec: الفكرة الأساسية
رغم تطبيق التعلم ذاتي الإشراف على أنماط متعددة، تختلف الأهداف والخوارزميات لأنها صُممت عادة لنمط واحد. ولذلك قد لا تعمل الخوارزمية نفسها بكفاءة مع مختلف أنواع بيانات التدريب.
قدمت Meta AI خوارزمية data2vec التي تستخدم منهج التعلم نفسه للرؤية الحاسوبية أو معالجة اللغة الطبيعية أو الكلام.
الفكرة هي استخدام نسخة محجوبة جزئيًا من المدخلات من أجل التنبؤ بالتمثيلات الكامنة للمدخل الكامل ضمن إعداد للتقطير الذاتي، بمساعدة بنية Transformer القياسية. فبدلًا من أهداف محلية خاصة بالصور أو النصوص أو الصوت، تتنبأ الخوارزمية بتمثيلات كامنة تحتوي معلومات من كامل المدخل التدريبي.

لماذا يحتاج قطاع الذكاء الاصطناعي إلى data2vec؟
تبني نماذج التعلم ذاتي الإشراف تمثيلات لبيانات التدريب باستخدام وسوم يضعها البشر، وهي من أسباب التقدم في معالجة اللغة الطبيعية والرؤية الحاسوبية. وترتبط هذه التمثيلات أيضًا باستخدام التعلم غير الخاضع للإشراف في مهام مثل التعرف على الكلام.
تركز الخوارزميات الحالية غالبًا على أنماط منفردة، مما يؤدي إلى افتراضات تعلم وتصاميم خاصة بها. ويخلق هذا التخصص تحديات في تطبيقات الرؤية الحاسوبية ومعالجة اللغة الطبيعية.
مثلًا، قد تحدد مفردات وحدات الكلام مهمة تعلم ذاتي الإشراف في معالجة الكلام. وفي الرؤية الحاسوبية يمكن التنبؤ بالمدخلات بالانحدار، أو تعلم رموز بصرية منفصلة، أو تمثيلات ثابتة إزاء تعزيز البيانات. هذه الانحيازات الاستقرائية مفيدة، لكن يصعب التأكد من تعميمها على أنماط أخرى.
تمثل data2vec خطوة مهمة لأنها تستهدف تحسين أنماط متعددة لا نمطًا واحدًا، ولا تعتمد على إعادة بناء المدخلات أو التعلم التبايني.
قد تسرّع التقدم في الذكاء الاصطناعي وتساعد على تطوير نماذج تتعلم جوانب مختلفة من محيطها بسلاسة. ويأمل الباحثون في نماذج أكثر قابلية للتكيف، تستطيع أداء مهام تتجاوز قدرات النماذج الحالية.
ما خوارزمية data2vec؟
هي إطار موحد للتعلم الآلي ذاتي الإشراف عبر أنماط مختلفة، تشمل الصور والكلام والنصوص.
تحافظ على هدف تعلم واحد بين الأنماط، لتتعلم النماذج أنماط البيئة العامة بصورة أفضل. توحّد خوارزمية التعلم، لكنها ما تزال تتعلم تمثيلات كل نمط على حدة.
تأمل Meta AI بذلك جعل التعلم متعدد الأنماط أكثر فعالية وبساطة.
كيف تعمل data2vec؟
تجمع تعلم التمثيلات المستهدفة الكامنة والتنبؤ من مدخل محجوب جزئيًا، وتستخدم طبقات متعددة من الشبكة كأهداف لتعميم التمثيلات. تدرّب شبكة Transformer قياسية تُستخدم لاحقًا في وضع المعلم أو الطالب .
في وضع المعلم، تبني تمثيلات المدخلات التي تُستخدم أهدافًا لمهمة التعلم. وفي وضع الطالب، ترمّز نسخة محجوبة من المدخلات للتنبؤ بتمثيلات البيانات الكاملة.

يوضح الشكل العملية المشتركة بين الأنماط. ينتج النموذج أولًا تمثيلات المدخلات (وضع المعلم)، ثم يتعلم التنبؤ بها بالانحدار من النسخة المحجوبة جزئيًا.
استخدام التمثيلات الكامنة يجعل المنهج تبسيطًا لتصاميم خاصة بالأنماط، مثل إنشاء أهداف مناسبة بتطبيع المدخلات أو تعلم مجموعة ثابتة من الرموز البصرية. لكن الفارق الحاسم هو استخدام الانتباه الذاتي لجعل التمثيلات المستهدفة سياقية ومستمرة، بينما تستخدم نماذج أخرى أهدافًا ثابتة تستند إلى سياق محلي.
data2vec: منهج النموذج
يتعلم النموذج التنبؤ بتمثيلات المدخلات من رؤية جزئية لها. في الشكل يُحجب وجه الكلب وجزء من التسجيل الصوتي وكلمة «with» في النص.

يرمّز النموذج أولًا العينة المحجوبة (وضع الطالب)، ثم المدخل الكامل لإنشاء أهداف التدريب بالنموذج نفسه، لكن بمعلمات تمثل المتوسط المتحرك الأسي للأوزان (وضع المعلم). تضم التمثيلات المستهدفة معلومات العينة، ويتعلم الطالب التنبؤ بها من المدخل الجزئي.
بنية النموذج
يستخدم النموذج بنية Transformer قياسية مع ترميز للمدخلات خاص بكل نمط. في الرؤية الحاسوبية يتبع ViT: تُقسم الصورة إلى رقع 16 × 16 بكسل، وتُحوّل خطيًا إلى تسلسل من التمثيلات.
للكلام يستخدم شبكة عصبية التفافية أحادية البعد متعددة الطبقات، تحوّل موجات 16 كيلوهرتز إلى تمثيلات 50 هرتز. أما النص فيُعالج لاستخراج وحدات فرعية للكلمات، ثم يُمثّل في فضاء متجهي باستخدام متجهات التضمين.
الحجب
بعد تحويل المدخلات إلى تسلسل رموز، يستبدل بعض الوحدات بتضمين حجب ويُدخل التسلسل إلى Transformer . تُحجب كتل في الصور، ومقاطع في التمثيلات الكامنة للكلام، ورموز في المهام اللغوية.
أهداف التدريب
يتنبأ النموذج بتمثيلات العينة الكاملة من ترميز النسخة المحجوبة، وذلك للخطوات الزمنية المحجوبة فقط.
يتنبأ بتمثيلات سياقية لا ترمّز الخطوة المعينة وحدها، بل معلومات أخرى من العينة عبر الانتباه الذاتي. وهذا يميزه عن BERT وwav2vec وBEiT وSimMIM وMAE وMaskFeat التي تتنبأ بأهداف دون معلومات سياقية.
فيما يلي كيفية تحديد معلمات المعلم لإنتاج تمثيلات الشبكة التي تُستخدم أهدافًا.
تحديد معلمات المعلم
يُرمّز المدخل الكامل باستخدام EMA، أي المتوسط المتحرك الأسي لمعلمات النموذج (θ). وتُحدّث الأوزان في وضع الهدف (△) وفق العلاقة التالية:
∆ ← τ∆ + (1 − τ ) θ
تزداد τ خطيًا من τ0 إلى τe (القيمة المستهدفة) خلال أول τn تحديث، ثم تثبت حتى نهاية التدريب. تحدّث استراتيجية EMA المعلم بوتيرة أعلى في البداية، عندما يكون النموذج عشوائيًا، وبوتيرة أقل بعد تعلم معلمات جيدة.
تُظهر النتائج كفاءة ودقة أعلى عند مشاركة معلمات مرمّز السمات ومرمّز المواضع بين المعلم والطالب.
الأهداف
تُبنى الأهداف من مخرجات أعلى K كتلة في شبكة المعلم للخطوات المحجوبة عند الطالب. ويُرمز لمخرج الكتلة l عند الخطوة t بالرمز alt. تُطبّع كل كتلة للحصول على âlt ، ثم يُحسب متوسط أعلى K كتلة

للحصول على هدف التدريب yt للخطوة t في شبكة تضم إجمالًا L كتلة.
يتنبأ الطالب بهذه الأهداف بالانحدار. وفي التجارب الأولية نجح التنبؤ بكل كتلة على حدة بإسقاط مخصص، مع كفاءة أعلى بكثير.
يمنع تطبيع الأهداف انهيار النموذج إلى تمثيلات ثابتة لكل الخطوات، وهيمنة الطبقات ذات القيم الكبيرة. في الكلام يُستخدم تطبيع العينة الحالية دون معلمات متعلمة، لأن صغر الخطوة عبر المدخلات يجعل التمثيلات المتجاورة شديدة الارتباط.
للتعامل مع الصور واللغة، وجد الباحثون التطبيع دون معلمات متعلمة كافيًا. ويمكن استخدام تنظيم Variance-Invariance-Covariance ، لكن الطريقة المذكورة تحقق أداءً كافيًا دون معلمات إضافية.
دالة الهدف
للأهداف السياقية yt يستخدم النموذج دالة خسارة Smooth L1 للتنبؤ بالأهداف بالانحدار وفق الصيغة التالية.

تتحكم β في الانتقال من الخسارة التربيعية إلى L1 وفق الفرق بين تنبؤ النموذج ft(x) عند الخطوة t. تمتاز الدالة بأنها أقل حساسية نسبيًا للقيم المتطرفة، مع ضرورة ضبط β.
الإعداد التجريبي
تُجرى التجارب بحجمين: data2vec Large و data2vec Base. للاستقرار العددي، تُحسب تحديثات EMA بصيغة fp32. تضم النماذج L = 12 أو L = 24 كتلة Transformer، ببعد مخفي H = 768 أو H = 1024. وفيما يلي إعدادات الأنماط والمهام المختلفة.
الرؤية الحاسوبية
تُقسم الصور 224 × 224 بكسل إلى رقع 16 × 16 بكسل. تُحوّل كل رقعة خطيًا، ويُدخل تسلسل من 196 تمثيلًا إلى Transformer.
يتبع الحجب منهج BEiT : كتل من رقع متجاورة تضم كل منها 16 رقعة على الأقل وبنسبة أبعاد عشوائية. بدل حجب 40% كما في BEiT الأصلي، تحجب data2vec نسبة 60% لتحسين الدقة.
تُغيّر أحجام اقتصاصات الصور عشوائيًا، وتُعكس أفقيًا وتُعدّل ألوانها. ويستخدم المعلم والطالب الصورة المعدلة نفسها.
يُدرّب ViT-B مسبقًا لمدة 800 حقبة. حجم الدفعة 8192 لـViT-L و2048 لـViT-B. يُستخدم Adam وجدول جيب تمام أحادي الدورة، مع إحماء معدل التعلم إلى 0.001 خلال 80 حقبة لـViT-L و40 لـViT-B.
لكلا النموذجين β = 2 وK = 6 وτ = 0.9998 ثابتة دون جدول تغيّر. ويبلغ معدل العمق العشوائي 0.2.
يُدرّب ViT-L لمدة 1600 حقبة. يرد معدل تعلم 0.9998 لأول 800 حقبة، ثم يُعاد تشغيل الجدول وتستمر آخر 800 حقبة بمعدل 0.9999.
لتصنيف الصور، يُحسب متوسط خرج آخر كتلة ويُمرر إلى مصنّف بتطبيع softmax. يُضبط ViT-L لمدة 50 حقبة وViT-B لمدة 100، باستخدام Adam وجدول جيب تمام مع الإحماء.
معالجة الكلام
يستخدم النموذج Fairseq، وهي أدوات لنمذجة التسلسلات وتدريب نماذج مخصصة للتلخيص والترجمة وتوليد النص. تُعالج موجة 16 كيلوهرتز بمرمّز سمات يحتوي التفافات زمنية بـ512 قناة، وعروض نوى (10، 3، 3، 3، 3، 2، 2)، وخطوات (5، 2، 2، 2، 2، 2، 2).
ينتج تردد 50 هرتز، بفاصل 20 مللي ثانية بين التمثيلات. ويشمل المجال الاستقبالي 400 عينة إدخال، أو 25 مللي ثانية من الصوت. تُطبّع الموجة الخام إلى تباين واحد ومتوسط صفر.
يشبه حجب نموذج Base منهج Baevski للتعلم ذاتي الإشراف في التعرف على الكلام. تُختار كل خطوة كبداية باحتمال p = 0.065، ثم تُحجب الخطوات العشر التالية. في تسلسل تدريبي معتاد تُحجب قرابة 49% من الخطوات.
تُعدّل τ خطيًا أثناء التدريب باستخدام τo = 0.999 وτe = 0.9999 وτn = 30,000. يستخدم Base المحسّن Adam بمعدل تعلم أقصى 5 × 10-4 . يرفع جدول ثلاثي المراحل المعدل خطيًا خلال أول 3% من التحديثات، ويثبته خلال 90% التالية، ثم يخفضه خطيًا في آخر 7%.
معالجة اللغة الطبيعية
تُرمّز المدخلات بترميز أزواج البايتات ذي 50 ألف نوع، ويُتعلم تضمين لكل نوع. يُطبّق حجب BERT على 15% من الرموز المختارة بانتظام: يُستبدل 80% منها برمز حجب متعلم، و10% برموز عشوائية من المفردات، وتبقى 10% دون تغيير.
يستخدم التدريب المسبق τo = 0.999 وτe = 0.9999 وτn = 100,000 وK = 10 وβ = 4. يستخدم Adam جدولًا ثلاثي المراحل: إحماء خطي لأول 5% من التحديثات، وثبات خلال 80% التالية، وانخفاض خطي لآخر 15%. المعدل الأقصى 2 × 10-4.
يُدرّب النموذج على 16 وحدة معالجة رسومات بدفعات من 256 تسلسلًا، يضم كل منها نحو 512 رمزًا. وللمهام اللاحقة تُجرّب أربعة معدلات: 1 × 10-4 و2 × 10-4 و3 × 10-4 و4 × 10-4، ويُختار الأفضل لمهام اللغة اللاحقة.
النتائج
لننظر إلى نتائج الاستراتيجيات المذكورة في مختلف الأنماط.
الرؤية الحاسوبية
يُدرّب النموذج مسبقًا على صور مجموعة ImageNet-1K ، ثم يُضبط ببياناتها الموسومة. ويُقيّم بالطريقة المعتادة باستخدام دقة أعلى اختيار (top-1) على بيانات التحقق.
تُميّز النتائج وفق استخدام نموذج ذاتي الإشراف واحد، أو تدريب مرمّز بصري منفصل على بيانات إضافية، أو استخدام نماذج ذاتية الإشراف أخرى.
يقارن الجدول نتائج data2vec بحلول قائمة لبنيتي ViT-L وViT-B.

يمكن تلخيص النتائج كما يلي:
- يتفوق النموذج على الأعمال السابقة في ViT-L وViT-B ضمن إعداد النموذج الواحد.
- التنبؤ بالتمثيلات الكامنة السياقية من مدخل محجوب أفضل من التنبؤ بأهداف محلية كالسمات المصممة للصور أو بكسلات الإدخال أو الرموز البصرية.
- ويتفوق أيضًا على التقطير الذاتي الذي يتنبأ بانحدار الطبقة الأخيرة للطالب باستخدام نسختين معززتين مختلفتين من الصورة.
معالجة الصوت والكلام
يُدرّب النموذج على نحو 960 ساعة صوتية من مجموعة LibriSpeech (LS-960) ، التي تضم كلامًا واضحًا من كتب صوتية إنجليزية وتُعد معيارًا شائعًا في هذا المجال.
لاختبار توافر البيانات، يُضبط التعرف الآلي على الكلام بكميات موسومة تتراوح من دقائق إلى ساعات. ويُقارن بـ HuBERT و wav2vec 2.0، وهما خوارزميتان شائعتان لتعلم تمثيلات الصوت والكلام وتعتمدان وحدات كلام منفصلة.

يقارن الجدول أداء التعرف على الكلام على مستوى الكلمات مع نماذج أخرى. LM يعني النموذج اللغوي المستخدم لفك الترميز. وأهم النتائج:
- تتحسن النتائج في معظم إعدادات البيانات الموسومة، وتكون أكبر فائدة لنماذج Base عند عشر دقائق من البيانات الموسومة.
- تتفوق النماذج الكبيرة بوضوح مع المجموعات الصغيرة، وتكون النتائج متقاربة مع المجموعات الغنية التي تضم 100 أو 960 ساعة موسومة. ففي هذه الحالة تقترب معظم النماذج من سقف أدائها.
- تشير النتائج إلى أن تعلم وحدات منفصلة ليس ضروريًا عند استخدام أهداف سياقية غنية.
- يساعد تعلم الأهداف السياقية على تحسين الأداء العام بدرجة كبيرة.
وللتحقق الإضافي يُدرّب النموذج على معيار AudioSet . الإعداد مشابه لـLibriSpeech، لكنه يستخدم K = 12 وأكثر من 200 ألف تحديث، وحجم دفعة 94.5 دقيقة صوتية.
لتثبيت التدريب يُطبّق إطار DeepNorm و تطبيع الطبقات على الأهداف. ويُضبط النموذج على مجموعات متوازنة بدفعات 21.3 دقيقة خلال 13 ألف تحديث. ويستخدم Linear Softmax Pooling وmixup باحتمال 0.7. ثم تُضاف عملية إسقاط خطي واحدة إلى 527 فئة صوتية، ويُحدد معدل تعلم الإسقاط بـ2e-4.
معدل تعلم المعلمات المدربة مسبقًا هو 3e-5، ويُستخدم الحجب أثناء الضبط الدقيق. يُظهر الجدول قدرة data2vec على تجاوز إعداد مشابه بنفس بيانات التدريب المسبق والضبط.

معالجة اللغة الطبيعية
يُتبع إعداد شبيه بـ BERT ، مع تدريب مسبق على ويكيبيديا الإنجليزية لأكثر من مليون تحديث ودفعات من 256 تسلسلًا. التقييم على GLUE، أي General Language Understanding Evaluation ، الذي يشمل الاستدلال اللغوي (MNLI، أو Multi-Genre Natural Language Inference)، وتشابه الجمل (QQP، أو Quora Question Pairs؛ وMRPC، أو Microsoft (MSFT ) Research Paragraph Corpus؛ وSTS-B، أو Semantic Textual Similarity Benchmark)، وتحليل المشاعر (SST-2، أو Stanford Sentiment Treebank)، والمقبولية النحوية (CoLA).
تقدم كل مهمة بيانات موسومة للضبط. ويُذكر متوسط الدقة على مجموعات التطوير من خمسة تشغيلات للضبط الدقيق. يقارن الجدول النتائج بنماذج أخرى.

- يتفوق data2vec على RoBERTa الأساسي؛ فلا تستخدم استراتيجيته أهدافًا عشوائية.
- إنه أول نموذج لغوي مدرب مسبقًا وناجح لا يستخدم وحدات منفصلة كالحروف أو الكلمات أو أجزائها أهدافًا للتدريب. يتنبأ بدلًا منها بتمثيلات كامنة سياقية للتسلسل النصي الكامل غير المحجوب.
- تتطلب المهمة التنبؤ بأهداف ذات خصائص للتسلسل الحالي، بدل تمثيلات عامة لكل وحدة نصية.
- مجموعة الأهداف ليست ثابتة؛ يستطيع النموذج تعريف أهداف جديدة، وليس مقيدًا بإعداد مفردات ثابت.
data2vec: دراسة استئصال المكونات
الاستئصال هنا يعني إزالة مكوّن من نظام ذكاء اصطناعي أو تعلم آلي. وتتيح دراسة الأداء بعد إزالة مكونات أساسية معرفة إسهامها في النظام الكامل.
أهداف متوسطات الطبقات
يتميز data2vec بأهداف مبنية على متوسط عدة طبقات من المعلم. والفكرة مستمدة من أن الطبقات العليا في wav2vec 2.0 لا تؤدي في المهام اللاحقة مثل الطبقات الوسطى.
تقيس التجربة الأنماط الثلاثة بمتوسط K = 1، 2، …، 12 طبقة؛ وK = 1 يعني الطبقة العليا فقط. لتسريع التجارب يُستخدم Base باثنتي عشرة طبقة. في الكلام يتجاوز التدريب المسبق 200 ألف تحديث على LibriSpeech ثم الضبط على عشر ساعات موسومة من Libri-light. في اللغة يُذكر متوسط GLUE على التحقق. وفي الصور يُدرّب النموذج 300 حقبة ويُقاس top-1 على ImageNet.

يوضح الرسم أن أهداف عدة طبقات تحسن النتائج عادة مقارنة بالطبقة العليا وحدها في الأنماط كافة. يفيد استخدام الطبقات المتاحة لأنها تبني سمات مختلفة يمكن استخدامها كأهداف.
تزيد سمات الطبقات المتعددة الدقة وتثري التعلم ذاتي الإشراف.
نوع سمة الهدف
تضم كتل Transformer طبقات مختلفة يمكن أن تكون أهدافًا. يُدرس أثرها بتدريب نماذج كلام على LibriSpeech مع استخدام طبقات مختلفة سماتٍ مستهدفة.
يعمل خرج الشبكة ذات التغذية الأمامية (FFN) جيدًا، بينما لا تؤدي مخرجات كتل الانتباه الذاتي إلى نموذج قابل للاستخدام.

إضافة السياق إلى الأهداف
يستخدم المعلم الانتباه الذاتي عبر المدخل الكامل لإنتاج أهداف سياقية، بخلاف نماذج تعيد بناء أجزاء محلية أو تتنبأ بها. وهذا يطرح السؤال: هل يحتاج data2vec إلى أهداف سياقية ليعمل جيدًا؟
ينشئ الباحثون أهدافًا ترى جزءًا محددًا مسبقًا من المدخلات، ويقيّدون انتباه المعلم بجزء من السياق المحيط. وبعد التدريب يُضبط النموذج مع الوصول إلى السياق الكامل.
السياق الأكبر يحسن الأداء عادة، وتكون الدقة الأفضل عند رؤية العينة كاملة. وهذا يؤيد أن التمثيلات المستهدفة الأغنى قد تحقق أداءً أفضل.

استخراج السمات والحجب الخاصان بكل نمط
الهدف الأساسي هو آلية تعلم بسيطة للأنماط المختلفة. قد تتشارك الأطر الحالية منهج تعلم موحدًا، لكنها ما تزال تستخدم حجبًا واستخراج سمات خاصين بكل نمط.
هذا التخصص مفهوم لاختلاف طبيعة المدخلات. فالتعرف على الكلام يستخدم مثلًا موجة عالية الدقة بتردد 10 كيلوهرتز وآلاف العينات. وتحولها شبكة التفافية متعددة الطبقات إلى تسلسلات سمات 50 هرتز.
الأهداف المنظمة والسياقية
الفارق الأساسي عن نماذج التنبؤ المحجوب الأخرى هو سياقية سمات أهداف التدريب. تُبنى بالانتباه الذاتي عبر المدخل المحجوب الكامل في وضع المعلم.
تستخدم BYOL (Bootstrap Your Own Latent) وDINO تمثيلات كامنة أيضًا، لكن تركيزها الأساسي هو تمثيلات ثابتة إزاء التحويلات.
أفكار ختامية
تشير الدراسات الحديثة إلى أن البنى الموحدة قد تعالج الأنماط المتعددة بكفاءة. يستخدم data2vec التعلم ذاتي الإشراف للكلام والصور واللغة.
الفكرة الأساسية هي التنبؤ بالمعلومات السياقية للمدخل بالانحدار من رؤية جزئية له. المنهج فعال؛ إذ يتفوق ViT-B وViT-L كنموذجين منفردين على نماذج ذاتية الإشراف سابقة في ImageNet-1K.
يمثل data2vec إنجازًا مهمًا لأنه يبين أن طريقة تعلم واحدة لأنماط متعددة قد تسهّل تعلم النماذج عبر أنواع مختلفة من البيانات.












