ميتا V-JEPA 2: نموذج الذكاء الاصطناعي الذي يجلب الحس السليم إلى الروبوتات

نموذج التركيبة التنبؤية المشتركة للفيديو 2 (V-JEPA 2) من ميتا هو تقدم كبير في مجال الذكاء الاصطناعي (AI). وهو يساعد الروبوتات على فهم وتوقع التفاعلات الفيزيائية. يتم تدريب النموذج على أكثر من مليون ساعة من الفيديو. هذا يسمح للروبوتات بالتعلم والتنبؤ بما سيحدث بعد ذلك. كما يسمح للروبوتات بالتخطيط للactions في بيئات جديدة، مما يسمح لهم بالتفاعل مع الأجسام غير المألوفة بشكل أكثر فعالية.

يستخدم V-JEPA 2 التعلم الذاتي الخالي من الإشراف. يتعلم مباشرة من بيانات الفيديو، دون الحاجة إلى تعليمات بشرية. هذا يجعلها مختلفة عن نماذج الذكاء الاصطناعي الأخرى التي تعتمد على بيانات مخططة. يمكن للروبوتات توقع النتائج بناءً على السياق البصري. يمكنهم التكيف والتخطيط للactions كما هو مطلوب. هذا يbringنا أقرب إلى تحقيق الذكاء الآلي المتقدم (AMI).

بناءً على نموذج التركيبة التنبؤية المشتركة (JEPA) من ميتا، يُحسن V-JEPA 2 من توقع الإجراءات ونمذجة العالم، مما يسمح للروبوتات بمواجهة مهام جديدة في بيئات غير مألوفة. ميتا تشارك هذا النموذج مع مجتمع البحث لتسريع تقدم الذكاء الاصطناعي وتحسين قدرات الروبوتات.

لماذا كان الحس السليم في الروبوتات صعبًا دائمًا

الحس السليم هو القدرة على اتخاذ القرارات الأساسية. على سبيل المثال، معرفة أن كوبًا سيسقط إذا تم إمالة أو فهم أن كرسيًا قد يمنع المسار. بالنسبة للبشر، تأتي هذه المعرفة بشكل طبيعي من خلال الخبرة. ومع ذلك، تواجه الروبوتات تحديات في تطوير هذه الذكاء نفسه.

معظم الروبوتات يتم برمجتها لمهام محددة في بيئات خاضعة للرقابة. تفعل هذه المهمة بشكل جيد. لكن عندما تتغير الحالات أو تظهر عناصر غير متوقعة، تواجه الروبوتات صعوبات. غالبًا ما تفشل في التعرف على السبب والنتيجة أو توقع عواقب الإجراءات. على سبيل المثال، قد يعرف روبوت كيف يضع كوبًا على سطح مستوٍ. ومع ذلك، قد لا يتوقع أن ميل الكوب قد يسبب سقوطه.

نماذج الذكاء الاصطناعي الحالية، مثل التي تعتمد على التعلم بالتعزيز (RL)، تواجه قيودًا. يحتاج RL إلى كمية كبيرة من التعلم بالtrial-and-error. هذا يجعل العملية بطيئة ومستهلكة للموارد. النماذج اللغوية الكبيرة (LLMs) تتفوق في اللغة لكنها تفتقر إلى التأسيس في العالم الفيزيائي. غالبًا ما تخيل استجابات بناءً على النص فقط، مما يجعلها غير موثوقة في الحالات الديناميكية. النماذج التقليدية لرؤية الكمبيوتر أيضًا محدودة في قدراتها. هذه النماذج هي محددة بالمهمة وتفشل في التكيف مع سيناريوهات جديدة أو غير متوقعة.

للمواجهة هذه القضايا، يوصي الخبراء باستخدام نماذج العالم. نماذج العالم تمكن الروبوتات من محاكاة وتوقع الإجراءات المستقبلية بناءً على الخبرات السابقة. هذه النماذج تساعد الروبوتات على فهم ديناميكيات العالم. على سبيل المثال، توقع ما سيحدث عند تحريك كائن أو تصادم كائنين. نموذج ميتا V-JEPA 2 هو أول نموذج يدمج هذه المبادئ. يتعلم مباشرة من بيانات الفيديو الخام. هذا يجعلها قابلة للتكيف مع البيئات الحقيقية، مما يسمح للروبوتات بالتفكير والتخطيط بناءً على التفاعلات الفيزيائية الديناميكية.

فهم V-JEPA 2

V-JEPA 2 هو نموذج تعلم ذاتي خالي من الإشراف تم إنشاؤه بواسطة فريق البحث الأساسي في الذكاء الاصطناعي (FAIR) من ميتا. على عكس نماذج الذكاء الاصطناعي التقليدية التي تتطلب بيانات مخططة، يتعلم V-JEPA 2 من بيانات الفيديو غير المخططة عن طريق توقع الأجزاء المفقودة من تسلسلات الفيديو. هذا العملية معروفة باسم التنبؤ على مستوى التمثيل. بدلاً من التركيز على كل بكسل، يعمل V-JEPA 2 مع تمثيلات مجردة تلتقط الديناميكيات الرئيسية والعلاقات بين الكائنات والإجراءات في البيئة.

النموذج مبني على التركيبة التنبؤية المشتركة (JEPA) من ميتا، المصممة لفهم الديناميكيات الفيزيائية. لديها مكونين رئيسيين: محول يعالج الفيديو الخام لإنشاء تمثيلات مفيدة، ومتنبئ يستخدم هذه التمثيلات لتوقع الأحداث المستقبلية. V-JEPA 2 يتم تدريبه على أكثر من مليون ساعة من الفيديو، مما يسمح له بالتعلم من أنماط معقدة في العالم الفيزيائي. من خلال التعلم من الفيديو، يمكن للنموذج توقع الإجراءات والتفاعلات المستقبلية، مما يحسن كيفية تخطيط وتحديد الإجراءات من قبل الروبوتات.

V-JEPA 2 يساعد الروبوتات على أداء التخطيط بدون إطلاق النار. هذا يعني أن الروبوتات يمكنها التعامل مع المهام في بيئات جديدة حتى بدون تدريب مسبق. بدلاً من ذلك، يمكن للروبوتات أداء مهام مثل उठاء الأجسام ووضعها في مواقع جديدة، حتى لو لم يرؤوا هذه المهام من قبل. هذا يجعل V-JEPA 2 تحسنًا كبيرًا في توقع الإجراءات ونمذجة العالم، مما يجعل الروبوتات أكثر قدرة على التكيف مع الحالات الجديدة.

يتمتع النموذج بالقدرة على التعلم من بيانات الفيديو الخام، مما يسمح للروبوتات بتوقع الأحداث المستقبلية. هذا يجعل الروبوتات أكثر قدرة في الحالات الحقيقية. V-JEPA 2 يقربنا من الروبوتات التي يمكنها التخطيط والتنفيذ للمهام مثل البشر. ميتا تشارك V-JEPA 2 مع مجتمع البحث لتسريع تقدم الذكاء الاصطناعي. الروبوتات التي تستخدم V-JEPA 2 يمكنها العمل في بيئات ديناميكية، والتكيف بسرعة، والتخطيط للمهام بشكل أكثر كفاءة.

كيف يعمل V-JEPA 2: العملية ذات المرحلتين

V-JEPA 2 يعمل في مرحلتين متميزتين. كل مرحلة تمكن النموذج من التعلم من بيانات الفيديو الخام ومن ثم تطبيق هذا المعرفة لاتخاذ قرارات مستنيرة في المهام الحقيقية.

المرحلة 1: التعلم التمثيلي الخالي من الإجراءات

V-JEPA 2 يبدأ بالتدريب المسبق على أكثر من مليون ساعة من الفيديو ومليون صورة. يتعلم النموذج عن طريق توقع الأجزاء المفقودة من تسلسلات الفيديو. يعالج الفيديو كأنابيب ثلاثية الأبعاد، والتي تعمل كرموز رئيسية للنموذج. يستخدم النموذج معمارية Transformer للرؤية (ViT) مع التضمين المكاني الدوراني ثلاثي الأبعاد (3D-RoPE) لالتقاط المعلومات المكانية والزمانية بشكل أكثر فعالية.

يعالج المحول الأنابيب لإنشاء متجهات ميزة عالية الأبعاد. هذه المتجهات تمثل الديناميكيات المكانية والزمانية للفيديو. يستخدم النموذج هدف التخفيض للتلوث، حيث يتم إخفاء أجزاء كبيرة من الفيديو. يحاول النموذج توقع المحتوى المخفي باستخدام الأجزاء المرئية. يساعد محول الهدف EMA على تجنب الحلول التافهة وضمان التعلم المستقر. وظيفة الخسارة تقلل من المسافة L1 بين التنبؤات وخرج محول الهدف EMA، مع التركيز على المفاهيم ذات المستوى الأعلى مثل الثبات الكائني والحركة، بدلاً من التفاصيل على مستوى البكسل.

المرحلة 2: التخطيط والتحكم المشروط بالإجراءات

في المرحلة الثانية، ينتقل النموذج إلى التدريب المشروط بالإجراءات. يتم تجميد أوزان المحول، ويتعلم متنبئ جديد باستخدام بيانات من تفاعلات الروبوت. هذه البيانات تشمل ملاحظات الفيديو والactions المرتبطة، عادةً من مجموعة بيانات DROID (حوالي 62 ساعة من بيانات الروبوت). الآن، يمكن للنموذج توقع حالة المستقبل للبيئة بناءً على الحالة الحالية والإجراءات الممكنة.

يحدد V-JEPA 2 مشكلة تقليل الطاقة المشروطة بالهدف. يرمز كل من الملاحظة الحالية وصورته الهدف إلى خرائط ميزة. يتنبأ النموذج كيف ستتغير الحالة مع تسلسلات الإجراءات المختلفة. يتم العثور على تسلسل الإجراء الأمثل عن طريق تقليل المسافة L1 بين الحالة المستقبلية المتوقعة وتمثيل الهدف. يتم استخدام طريقة Cross-Entropy لتحسين المسار.

فقط الإجراء الأول من التسلسل الأمثل يتم تنفيذه، ويتكرر العملية في حلقة تحكم متكررة. هذا يسمح بالتخطيط والتعديل في الوقت الفعلي. من خلال استخدام معالجة الأنابيب ثلاثية الأبعاد، يلتقط V-JEPA 2 العلاقات المكانية والزمانية، مما يسمح للروبوتات بالتفكير في الحركة والتفاعلات الكائنية وعواقب إجراءاتهم في البيئات المعقدة. هذا يسمح بالتخطيط والتحكم بدون إطلاق النار، حتى في سيناريوهات جديدة، دون الحاجة إلى توجيهات مهام محددة أو هندسة المكافأة.

تطبيقات V-JEPA 2 في الروبوتات

V-JEPA 2 يغير الطريقة التي تتفاعل بها الروبوتات مع العالم. العديد من التطبيقات لا تزال قيد التطوير، ولكن النموذج أظهر قدرات قوية في البيئات الخاضعة للرقابة.

التحكم في الأجسام

في الإعدادات المختبرية، أتاح V-JEPA 2 للروبوتات أداء مهام التحكم في الأجسام بتدريب ضئيل. باستخدام 62 ساعة فقط من البيانات من مجموعة بيانات DROID، يمكن للروبوتات التعامل مع أجسام مختلفة، بما في ذلك الأجسام الصلبة والمرنة. هذه القدرة حاسمة في مجالات مثل اللوجستيات والتصنيع وروبوتات المنزل، حيث تختلف الأجسام بشكل كبير في الحجم والتعقيد.

التنقل في البيئات الديناميكية

V-JEPA 2 يمكنه نمذجة الديناميكيات الزمانية، مما يجعله مفيدًا للتنقل في الوقت الفعلي في البيئات التي تحتوي على أشخاص أو حيوانات أو عقبات متحركة. على الرغم من أنه لم يتم استخدامه بعد في المركبات المستقلة أو الطائرات بدون طيار، يمكن لقدراته التنبؤية مساعدة الروبوتات على توقع التغييرات وتعديل مساراتها. هذا هو مفتاح الأمان والكفاءة في البيئات المزدحمة.

التفاعل بين الإنسان والروبوت

من خلال تعلم توقع إجراءات الإنسان، يمكن لـ V-JEPA 2 تحسين التعاون بين الإنسان والروبوت. يمكن للروبوتات الاستجابة بشكل أكثر طبيعية وأمان في المساحات المشتركة، مثل المستشفيات والمنازل أو الأرصفة الصناعية. على الرغم من أنها لا تزال قيد التقدم، تمثل هذه القدرة خطوة نحو روبوتات اجتماعية يمكنها التكيف مع محيطها.

التعميم والتخطيط بدون إطلاق النار

V-JEPA 2 يمكنه التعميم عبر المهام والبيئات. يمكن للروبوتات استخدام التمثيلات المكتسبة في مواقف جديدة دون الحاجة إلى تدريب إضافي. هذا التخطيط بدون إطلاق النار يسمح للروبوتات بالتكيف بسرعة مع مهام جديدة، وبالتالي يقلل من الحاجة إلى جمع بيانات جديدة أو إعادة التدريب.

اتخاذ القرارات في الوقت الفعلي والكفاءة

بفضل تصميمه الفعال، يدعم V-JEPA 2 التخطيط والتحكم في الوقت الفعلي. تقارير ميتا أن V-JEPA 2 أسرع 30 مرة من نموذج Cosmos من Nvidia (NVDA ) في بعض المقاييس. هذه السرعة ضرورية للمهام التي تحتاج إلى قرارات سريعة، مثل التلاعب الروبوتي أو التنقل في البيئات المتغيرة.

التحديات والقيود العملية

على الرغم من أن V-JEPA 2 أحرز تقدمًا كبيرًا في التعلم الذاتي الخالي من الإشراف والتخطيط الروبوتي، لا تزال هناك تحديات للتعامل معها قبل نشره على نطاق واسع. هنا هي القيود الرئيسية:

الاعتماد على البيانات البصرية فقط

V-JEPA 2 يتم تدريبه فقط على بيانات الفيديو والصور. هذا يجعلها فعالة للمهام البصرية، ولكن يحد من قدرتها على أداء المهام متعددة الحواس، مثل التلاعب اللمسي أو استخدام الإشارات السمعية. تعتمد الروبوتات الحقيقية على مدخلات حسية متعددة.

الحساسية لموقع وضبط الكاميرا

يعتمد النموذج على مدخلات RGB أحادية اللون، والتي يمكن أن تدهور الأداء إذا لم تكن قاعدة الروبوت أو إطار المرجعية مرئية. قد تكون هناك حاجة إلى تعديلات يدوية لضبط الكاميرا لضمان الأداء الثابت.

القيود في التخطيط على المدى الطويل والمتعدد المراحل

V-JEPA 2 يعمل جيدًا مع المهام قصيرة المدى، ولكنه يجد صعوبة في التخطيط على المدى الطويل. تتراكم الأخطاء في التنبؤات وتوسيع مساحات الإجراء، مما يجعل العمليات المعقدة متعددة المراحل صعبة.

الطلبات الحسابية العالية

على الرغم من أنه أسرع من نماذج مثل Cosmos من Nvidia، فإن V-JEPA 2 يحتوي على أكثر من 1.2 مليار معامل. هذا يتطلب موارد حسابية كبيرة، مما قد يشكل تحديًا للمعاملات الصغيرة أو المنظمات ذات البنية التحتية المحدودة.

التعميم في البيئات غير المهيكلة

V-JEPA 2 يعمل جيدًا في الإعدادات الخاضعة للرقابة، ولكنه قد يواجه مشاكل في البيئات غير المألوفة أو غير المهيكلة. معدل نجاحه في مهام التحكم في الأجسام هو حوالي 80٪، ولكنه قد يفشل في الحالات النادرة.

التكامل مع المكدس الروبوتي الكامل

为了 أن يكون مفيدًا، يجب على V-JEPA 2 التكامل مع مراقبي الحركة والمتحسسات في الوقت الفعلي ومخططي المهام. تحقيق التكامل السلس في البيئات الديناميكية يبقى تحديًا.

الاعتبارات الأخلاقية والانحياز

مثل جميع النماذج الكبيرة، قد يرث V-JEPA 2 الانحياز من بيانات التدريب. في التطبيقات الحقيقية، خاصة تلك التي تتضمن التفاعل البشري، يمكن أن يؤدي هذا الانحياز إلى نتائج غير مقصودة. الإشراف الأخلاقي ضروري.

النقطة الأساسية

V-JEPA 2 يمثل تقدمًا كبيرًا في الذكاء الاصطناعي والروبوتات. إنه يسمح للروبوتات بفهم والتفاعل مع العالم الفيزيائي مثل السلوك البشري. على الرغم من أن النموذج أظهر أداءً قويًا في توقع الإجراءات وفهم العالم والتخطيط بدون تدريب مسبق، إلا أنه لا يزال يواجه عدة تحديات.

يعتمد V-JEPA 2 على البيانات البصرية وله بعض القيود في المهام متعددة الحواس، والتخطيط على المدى الطويل، والتكامل مع الأنظمة الروبوتية الكاملة. ومع ذلك، فإن قدرته على اتخاذ القرارات في الوقت الفعلي والتكيف مع البيئات الجديدة تجعله مفيدًا جدًا للمواقف الحقيقية المعقدة.

ميتا تواصل تحسين V-JEPA 2، مما سيساهم في تقدم الذكاء الاصطناعي وجعل الروبوتات أكثر ذكاءً. هذا التقدم سيكون قيمًا للصناعات مثل الرعاية الصحية واللوجستيات والمركبات المستقلة. V-JEPA 2 لديه إمكانات كبيرة وسيلعب دورًا حاسمًا في مستقبل الروبوتات.