ميتا V-JEPA 2: نموذج الذكاء الاصطناعي الذي يمنح الروبوتات الحس السليم

يُعتبر Video Joint Embedding Predictive Architecture 2 (V-JEPA 2) من ميتا تقدمًا كبيرًا في الذكاء الاصطناعي (AI). يساعد الروبوتات على فهم التنبؤ بالتفاعلات الفيزيائية. يتم تدريب النموذج على أكثر من مليون ساعة من الفيديو. هذا يسمح للروبوتات بالتعلم والتنبؤ بما سيحدث بعد ذلك. كما يسمح للروبوتات بالتخطيط للactions في بيئات جديدة، مما يسمح لهم بالتفاعل مع الأجسام غير المألوفة بشكل أكثر فعالية.

يستخدم V-JEPA 2 التعلم الذاتي الإشرافي. يتعلم مباشرة من بيانات الفيديو، دون الحاجة إلى تعليقات بشرية. هذا يجعلها مختلفة عن نماذج الذكاء الاصطناعي الأخرى التي تعتمد على بيانات تم تعليمها. يمكن للروبوتات التنبؤ بالنتائج بناءً على السياق البصري. يمكنهم التكيف والتخطيط للactions حسب الحاجة. هذا يbringنا أقرب إلى تحقيق الذكاء الآلي المتقدم (AMI).

بناءً على معمارية ميتا للتنبؤ بالتركيب المشترك (JEPA)، يعزز V-JEPA 2 التنبؤ بالaction ونمذجة العالم، مما يسمح للروبوتات بالتعامل مع مهام جديدة في إعدادات غير مألوفة. تشارك ميتا هذا النموذج مع مجتمع البحث لتسريع تقدم الذكاء الاصطناعي وتحسين قدرات الروبوتات.

لماذا يعتبر الحس السليم في الروبوتات صعبًا دائمًا

الحس السليم هو القدرة على اتخاذ قرارات أساسية. على سبيل المثال، معرفة أن الكوب سوف ينسكب إذا ما انحنى أو فهم أن الكرسي قد يمنع المسار. بالنسبة للبشر، يأتي هذا المعرفة بشكل طبيعي من خلال الخبرة. ومع ذلك، تواجه الروبوتات تحديات في تطوير هذه النزعة نفسية.

معظم الروبوتات يتم برمجةها لمهام محددة في بيئات محددة. تفعل هذه المهام جيدًا. لكن عندما تتغير الحالات أو تظهر عناصر غير متوقعة، تواجه الروبوتات صعوبات. غالبًا ما تفشل في التعرف على السبب والنتيجة أو التنبؤ بالنتائج من actions. على سبيل المثال، قد تعرف الروبوت كيفية وضع الكوب على سطح مستو. ومع ذلك، قد لا تتنبأ بأن ميل الكوب قد يسبب انسكابه.

تعتبر نماذج الذكاء الاصطناعي الحالية، مثل التي تعتمد على التعلم بالتعزيز (RL)، محدودة. يتطلب التعلم بالتعزيز مقدارًا كبيرًا من التعلم بالtrial-and-error. هذا يجعل العملية بطيئة ومكلفة. نماذج اللغة الكبيرة (LLMs) تتفوق في اللغة ولكنها تفتقر إلى الأساس في العالم الفيزيائي. غالبًا ما تخيل استجابات بناءً على النص فقط، مما يجعلها غير موثوقة في الحالات الديناميكية. نماذج الرؤية الحاسوبية التقليدية محدودة أيضًا في قدراتها. هذه النماذج هي محددة بالمهام وتفشل في التكيف مع سيناريوهات جديدة أو غير متوقعة.

لمعالجة هذه القضايا، يوصي الخبراء باستخدام نماذج العالم. تمكن نماذج العالم الروبوتات من محاكاة وتنبؤ الإجراءات المستقبلية بناءً على الخبرات السابقة. تساعد هذه النماذج الروبوتات على فهم الديناميات الفيزيائية للعالم. على سبيل المثال، التنبؤ بما سيحدث عند نقل كائن أو تصادم كائنين. يعتبر V-JEPA 2 من ميتا أول نموذج يدمج هذه المبادئ. يتعلم مباشرة من بيانات الفيديو الخام. هذا يجعلها قابلة للتكيف مع البيئات الفعلية، مما يسمح للروبوتات بالتفكير والتخطيط بناءً على التفاعلات الفيزيائية الديناميكية.

فهم V-JEPA 2

V-JEPA 2 هو نموذج تعلم ذاتي إشرافي تم إنشاؤه بواسطة فريق Fundamental AI Research (FAIR) التابع لميتا. على عكس نماذج الذكاء الاصطناعي التقليدية التي تتطلب بيانات تم تعليمها، يتعلم V-JEPA 2 من بيانات الفيديو غير المعلّمة عن طريق التنبؤ بأجزاء الفيديو المفقودة. هذا العملية تسمى التنبؤ على مستوى التمثيل. بدلاً من التركيز على كل بكسل، يعمل V-JEPA 2 مع تمثيلات مجردة تلتقط الديناميات والعلاقات الأساسية بين الكائنات والإجراءات في البيئة.

النموذج مبني على معمارية Joint Embedding Predictive Architecture (JEPA) التابعة لميتا، المصممة لفهم الديناميات الفيزيائية. يتكون من مكونين رئيسيين: محول يعالج الفيديو الخام لإنشاء تمثيلات مفيدة، وتنبؤي يستخدم هذه التمثيلات لتنبؤ بالأحداث المستقبلية. يتم تدريب V-JEPA 2 على أكثر من مليون ساعة من الفيديو، مما يسمح له بالتعلم من الأنماط المعقدة في العالم الفيزيائي. من خلال التعلم من الفيديو، يمكن للنموذج التنبؤ بالأحداث المستقبلية والتفاعلات، مما يحسن كيفية تخطيط الروبوتات واتخاذ القرارات.

V-JEPA 2 يساعد الروبوتات على أداء التخطيط من الصفر. هذا يعني أن الروبوتات يمكنها التعامل مع المهام في بيئات جديدة حتى بدون تدريب مسبق. بدلاً من ذلك، يمكن للروبوتات أداء مهام مثل التقاط الأجسام ووضعها في مواقع جديدة، حتى لو لم يرؤوا هذه المهام من قبل. هذا يجعل V-JEPA 2 تحسنًا كبيرًا في التنبؤ بالaction ونمذجة العالم، مما يجعل الروبوتات أكثر قدرة على التكيف مع الحالات الجديدة.

النموذج يتعلم من بيانات الفيديو الخام، مما يسمح للروبوتات بالتنبؤ بالأحداث المستقبلية. هذا يجعل الروبوتات أكثر قدرة في الحالات الفعلية. V-JEPA 2 يbringنا أقرب إلى روبوتات يمكنها التخطيط وأداء المهام مثل البشر. تشارك ميتا V-JEPA 2 مع مجتمع البحث لتسريع تقدم الذكاء الاصطناعي.

كيف يعمل V-JEPA 2: العملية ذات المرحلتين

V-JEPA 2 يعمل في مرحلتين متميزتين. كل مرحلة تمكن النموذج من التعلم من بيانات الفيديو الخام ومن ثم تطبيق هذه المعرفة لاتخاذ قرارات مستنيرة في المهام الفعلية.

المرحلة 1: التعلم بالتمثيل بدون إجراءات

يبدأ V-JEPA 2 بالتدريب المسبق على أكثر من مليون ساعة من الفيديو ومليون صورة. يتعلم النموذج عن طريق التنبؤ بأجزاء الفيديو المفقودة. يعالج الفيديو كأنابيب ثلاثية الأبعاد، والتي تعمل كرموز أساسية للنموذج. يستخدم النموذج معمارية Transformer الرؤية (ViT) مع التضمين الدوراني ثلاثي الأبعاد (3D-RoPE) لالتقاط المعلومات المكانية والزمانية بشكل أكثر فعالية.

المحول يعالج الأنابيب لإنشاء متجهات ميزة عالية الأبعاد. هذه المتجهات تمثل الديناميات المكانية والزمانية للفيديو. يستخدم النموذج هدف التمويه، حيث يتم إخفاء أجزاء كبيرة من الفيديو. يحاول النموذج التنبؤ بالمحتوى المخفي باستخدام الأجزاء المرئية. يساعد محول الهدف EMA على تجنب الحلول التافهة وضمان التعلم المستقر. وظيفة الخسارة تقلل المسافة L1 بين التنبؤات وخرج محول الهدف EMA، مع التركيز على المفاهيم ذات المستوى الأعلى مثل ثبات الكائن والحركة، بدلاً من التفاصيل على مستوى البكسل.

المرحلة 2: التخطيط والتحكم المشروط بالإجراءات

في المرحلة الثانية، ينتقل النموذج إلى التدريب المشروط بالإجراءات. يتم تجميد أوزان المحول، ويتم تدريب تنبؤي جديد باستخدام بيانات من تفاعلات الروبوت. تتضمن هذه البيانات ملاحظات الفيديو والactions المرتبطة بها، عادةً من مجموعة بيانات DROID (حوالي 62 ساعة من بيانات الروبوت). الآن، يمكن للنموذج التنبؤ بحالة البيئة المستقبلية بناءً على الحالة الحالية والactions الممكنة.

يحدد V-JEPA 2 مشكلة طاقة التخفيض الشرطي. يرمز لكل من الملاحظة الحالية وصورته الهدف إلى خرائط ميزة. ثم يتنبأ النموذج بكيفية تغير الحالة مع تسلسلات الإجراءات المختلفة. يتم العثور على تسلسل الإجراء الأمثل عن طريق تقليل المسافة L1 بين الحالة المستقبلية المتوقعة وتمثيل الهدف. يتم استخدام طريقة Cross-Entropy (CEM) لتحسين المسار.

يتم تنفيذ الإجراء الأول من التسلسل الأمثل، ويتم تكرار العملية في حلقة تحكم متكررة. هذا يسمح بالتخطيط والتكيف في الوقت الفعلي. من خلال استخدام معالجة الأنابيب ثلاثية الأبعاد، يلتقط V-JEPA 2 العلاقات المكانية والزمانية، مما يسمح للروبوتات بالتفكير في الحركة والتفاعلات بين الكائنات ونتائج إجراءاتها في البيئات المعقدة. هذا يسمح بالتخطيط والتحكم من الصفر، حتى في السيناريوهات الجديدة، دون الحاجة إلى تعليمات مهام محددة أو هندسة المكافأة.

تطبيقات V-JEPA 2 في الروبوتات

V-JEPA 2 يغير طريقة تفاعل الروبوتات مع العالم. لا يزال العديد من التطبيقات قيد التطوير، ولكن النموذج أظهر قدرات قوية في البيئات الخاضعة للرقابة.

التحكم في التقاط والوضع

في مختبرات، أتاح V-JEPA 2 للروبوتات أداء مهام التقاط والوضع مع تدريب قليل. باستخدام 62 ساعة فقط من بيانات مجموعة DROID، يمكن للروبوتات التعامل مع كائنات متنوعة، بما في ذلك الكائنات الصلبة والمرنة. هذه القدرة حاسمة في مجالات مثل اللوجستيات والتصنيع وروبوتات المنزل، حيث تختلف الأجسام بشكل كبير في الحجم والتعقيد.

التنقل في البيئات الديناميكية

V-JEPA 2 يمكن نمذجة الديناميات الزمنية، مما يجعله مفيدًا للتنقل في الوقت الفعلي في البيئات التي تحتوي على أشخاص أو حيوانات أو عقبات متحركة. على الرغم من أنه لم يتم استخدامه بعد في المركبات أو الطائرات بدون طيار، يمكن أن تساهم قدراته التنبؤية في مساعدة الروبوتات على توقع التغييرات وتعديل مساراتها. هذا هو مفتاح الأمان والكفاءة في البيئات المزدحمة.

التفاعل بين الإنسان والروبوت

من خلال التعلم لتنبؤ بإجراءات الإنسان، يمكن لـ V-JEPA 2 تحسين التعاون بين الإنسان والروبوت. يمكن للروبوتات الاستجابة بطريقة أكثر طبيعية وأمانًا في المساحات المشتركة، مثل المستشفيات والمنازل أو المصانع. على الرغم من أنه لا يزال قيد التقدم، تمثل هذه القدرة خطوة نحو روبوتات اجتماعية يمكنها التكيف مع محيطها.

التعميم والتخطيط من الصفر

V-JEPA 2 يمكن التعميم عبر المهام والبيئات. يمكن للروبوتات استخدام التمثيلات المكتسبة في مواقف جديدة دون الحاجة إلى تدريب إضافي. هذا التخطيط من الصفر يسمح للروبوتات بالتكيف بسرعة مع المهام الجديدة، وبالتالي يقلل الحاجة إلى جمع بيانات جديدة أو إعادة التدريب.

اتخاذ القرارات في الوقت الفعلي والكفاءة

بفضل تصميمه الفعال، يدعم V-JEPA 2 التخطيط والتحكم في الوقت الفعلي. تقارير ميتا أن V-JEPA 2 هو 30 مرة أسرع من نموذج Nvidia’s Cosmos في بعض المقاييس. هذه السرعة ضرورية للمهام التي تحتاج إلى قرارات سريعة، مثل التلاعب الروبوتي أو التنقل في البيئات المتغيرة.

التحديات والقيود العملية

على الرغم من أن V-JEPA 2 قد أحرز تقدمًا كبيرًا في التعلم الذاتي الإشرافي والتخطيط الروبوتي، لا يزال هناك تحديات للتعامل معها قبل نشره على نطاق واسع. هنا هي القيود الرئيسية:

الاعتماد على البيانات البصرية فقط

V-JEPA 2 يتم تدريبه فقط على بيانات الفيديو والصورة. هذا يجعلها فعالة للمهام البصرية، ولكن يحد من قدرتها على أداء مهام متعددة الحواس، مثل التلاعب اللمسي أو استخدام الإشارات السمعية. تعتمد الروبوتات الفعلية على مدخلات حسية متعددة.

الحساسية لموقع وضبط الكاميرا

يعتمد النموذج على مدخلات RGB أحادية، والتي يمكن أن تدهور الأداء إذا لم تكن قاعدة الروبوت أو الإطار المرجعي مرئية. قد تكون هناك حاجة إلى تعديلات يدوية لإعدادات الكاميرا لضمان الأداء المستمر.

القيود في التخطيط على المدى الطويل والمتعدد المراحل

V-JEPA 2 يؤدي أداءً جيدًا في المهام قصيرة الأمد ولكن ي투اجه صعوبات في التخطيط على المدى الطويل. تتراكم الأخطاء في التنبؤات وتوسيع مساحات الإجراءات تجعل العمليات المتعددة المراحل معقدة.

الطلبات الحاسوبية العالية

على الرغم من أنه أسرع من نماذج مثل Nvidia’s Cosmos، يحتوي V-JEPA 2 على أكثر من 1.2 مليار معامل. هذا يتطلب موارد حاسوبية كبيرة، مما قد يشكل تحديًا للمختبرات أو المنظمات الصغيرة التي تفتقر إلى البنية التحتية.

التعميم في البيئات غير المنظمة

V-JEPA 2 يؤدي أداءً جيدًا في الإعدادات الخاضعة للرقابة ولكن قد يواجه مشاكل في البيئات غير المألوفة أو غير المنظمة. معدل نجاحه في مهام التقاط والوضع هو حول 80٪، ولكن قد يفشل في الحالات النادرة.

التكامل مع حزم الروبوتات الكاملة

为了 أن يكون مفيدًا، يجب على V-JEPA 2 التكامل مع محوّلات الحركة والمتحسسات في الوقت الفعلي ومخططات المهام. تحقيق التكامل السلس في البيئات الديناميكية يبقى تحديًا.

الاعتبارات الأخلاقية والتحيز

مثل جميع النماذج الكبيرة، قد يرث V-JEPA 2 التحيزات من بيانات التدريب. في التطبيقات الفعلية، خاصة تلك التي تتضمن التفاعل البشري، يمكن أن تؤدي هذه التحيزات إلى نتائج غير مقصودة. الإشراف الأخلاقي ضروري.

النتيجة

V-JEPA 2 يمثل تقدمًا كبيرًا في الذكاء الاصطناعي والروبوتات. يسمح للروبوتات بفهم والتفاعل مع العالم الفيزيائي مثل السلوك البشري. على الرغم من أن النموذج أظهر أداءً قويًا في التنبؤ بالإجراءات وفهم العالم والتخطيط دون تدريب مسبق، لا يزال يواجه العديد من التحديات.

V-JEPA 2 يعتمد على البيانات البصرية وله بعض القيود في المهام متعددة الحواس، والتخطيط على المدى الطويل، والتكامل مع أنظمة الروبوتات الكاملة. ومع ذلك، فإن قدرته على اتخاذ القرارات في الوقت الفعلي والتكيف مع البيئات الجديدة تجعلها مفيدة جدًا للمواقف الفعلية المعقدة.

ميتا تواصل تحسين V-JEPA 2، مما سيساهم في تقدم الذكاء الاصطناعي وجعل الروبوتات أكثر ذكاءً. هذا التقدم سيكون قيمًا لصناعات مثل الرعاية الصحية واللوجستيات والمركبات المستقلة. V-JEPA 2 لديه إمكانات كبيرة وسيplayed دورًا حاسمًا في مستقبل الروبوتات.