تقدم شركة mimic robotics نظام FLUX-mimic لجلب نماذج الفيديو والفعل إلى مصنع أودي

شركة mimic robotics قد قدمت نظام FLUX-mimic، وهو نموذج جديد للفعل والفيديو مصمم للمساعدة في تعلم الروبوتات الصناعية لمهام التعامل المعقدة من كميات صغيرة من بيانات التمثيل.

تم تطوير النظام بالتعاون مع شركة Black Forest Labs، وهي شركة متخصصة في الذكاء الاصطناعي البصري، وتم اختباره بالفعل مع شركة أودي عبر مهام تصنيع متعددة كانت صعبة التutomatisation في الماضي، بما في ذلك العمل مع مواد مرنة وتغييرات في تكوين الأجزاء والتعامل الدقيق.

تشير الإعلانات إلى تحول محتمل في مجال الذكاء الاصطناعي الفيزيائي. بدلاً من الاعتماد بشكل رئيسي على مجموعات كبيرة من بيانات التمثيل الروبوتية، يحاول نظام FLUX-mimic نقل المعرفة التي تم الحصول عليها من نموذج فيديو مولد إلى نظام قادر على التحكم في الآلات الفيزيائية.

نهج جديد لتعلم الروبوتات

许多 من أنظمة الروبوتات العامة اليوم تعتمد على نماذج الفهم البصري واللغوي والفعل، والمعروفة باسم VLAs. هذه الأنظمة عادة ما تجمع نموذجًا مدربًا على الصور واللغة مع مكون إضافي يتنبأ بحركات الروبوت.

هذا النهج يعطي الروبوتات فهمًا семантиًا، مثل التعرف على كائن أو تفسير تعليمات مكتوبة. ومع ذلك، لا تحوز الصور الثابتة على المعرفة الكاملة لحركة الكائنات وتفاعلاتها.

يجب أن تتعلم المعرفة المفقودة من بيانات التمثيل الروبوتية، والتي يمكن أن تكون مكلفة وطويلة. كل تمثيل يتطلب روبوتًا физيًا ومشغل وفراغ عمل مناسب وبيانات فعل مسجلة بدقة.

يتبع نظام FLUX-mimic مسارًا مختلفًا. يستخدم التمثيلات البصرية التي تنتجها نموذج FLUX 3 من شركة Black Forest Labs كأساس للتنبؤ بكيفية سير المهمة بمرور الوقت. يصف نموذج FLUX 3 على أنه نموذج متعدد الوسائط قادر على توليد الصور والفيديو والصوت والفعل، بدلاً من نظام محدود بالصورة الثابتة.

然后 يقوم محول الفعل بترجمة التنبؤ البصري للنموذج إلى أوامر يمكن للروبوت تنفيذها. في المصطلحات العملية، يتوقع النظام أولًا كيفية إكمال المهمة بنجاح ثم يحدد الحركات الفيزيائية اللازمة لإنتاج ذلك النتيجة.

بناءً على هيكل mimic-video

يستند نظام FLUX-mimic على نظام mimic-video، وهو بحث سابقة من الشركة حول استخدام نماذج الفيديو المسبقة للتدريب كأساس للتحكم الروبوتي.

بدلاً من طلب نموذج رؤية ولغة تقليدي للتنبؤ بالحركة من الإطارات الفردية، يخلق نظام mimic-video خطة بصرية كامنة تمثل كيفية تطور المهمة. ثم يستخدم محول الفعل هذا التمثيل الداخلي لتوليد حركات الروبوت.

في ورقة بحثه، ذكرت الشركة أن نظام mimic-video حقق كفاءة عينة تقريبية عشر مرات أكبر وسرعة انحدار تدريب ضعفًا مقارنة بنموذج VLA قابل للمقارنة عبر تقييماته. تم تدريب النظام الحقيقي باستخدام حوالي 500 مسار من إعداد روبوت ذي يدين مزدوجين.

يوسع نظام FLUX-mimic هذا المفهوم باستخدام هيكل نموذج FLUX 3 وتصميم تم إنشاؤه خصيصًا للذكاء الاصطناعي الفيزيائي.

وفقًا لشركة mimic robotics، يمكن أن تصل المهام التي كانت تتطلب في السابق 30 ساعة أو أكثر من بيانات التمثيل الروبوتية إلى أداء جاهز للانتاج باستخدام 30 دقيقة فقط من البيانات. وهذا الرقم يمثل النتائج المبلغ عنها من الشركة وسيحتاج في النهاية إلى التقييم عبر مجموعة أوسع من المصانع وتكوينات الأجهزة وضروف الإنتاج.

ومع ذلك، فإن تقليل متطلبات البيانات إلى هذا الحد يمكن أن يغير بشكل كبير اقتصاديات الروبوتات الصناعية. غالبًا ما تمتد تكاليف النشر إلى ما وراء الروبوت نفسه، مع تخصيص موارد كبيرة للبرمجة والدمج والتحاكي والاختبار وإعادة الهندسة كلما تغير المنتج أو العملية.

أودي توفر اختبارًا صناعيًا صعبًا

تعمل شركة أودي مع شركة mimic robotics لتقييم نظام FLUX-mimic في بيئات تصنيع حقيقية، حيث يجب على أنظمة التutomatisation التعامل مع تباين المنتجات ومتطلبات الإنتاج الصارمة والمهام التي لا يمكن دائمًا تقليلها إلى حركات متكررة.

تقول شركة أودي إن الروبوتات قد قامت بمهام تعامل معقدة مع مواد لينة كانت صعبة للغاية للتutomatisation بالطرق التقليدية. المواد اللينة تحديداً صعبة بسبب تغير شكلها أثناء التعامل، مما يجعل من الصعب تعريف كل حركة من خلال إحداثيات أو قواعد محددة.

أبحاث أودي في التautomatisation تعكس لماذا يصبح التكيف أكثر أهمية. في منشأتها في Böllinger Höfe، قامت الشركة بتحديث الذكاء الاصطناعي والروبوتات المتحركة وتكنولوجيا الرؤية والتقنيات الجديدة للاختيار في مختبر حقيقي. لاحظت شركة أودي أن مستوى التخصيص العالي في السيارات مثل e-tron GT يخلق عمليات لوجستية معقدة تتضمن عددًا كبيرًا من الأجزاء المختلفة.

الروبوتات الصناعية التقليدية لا تزال فعالة للغاية عندما يكون البيئة منظمة وكل كائن يصل إلى موقع متوقع. ومع ذلك، تصبح أقل اقتصادية عندما تتغير الأجزاء أو المواد أو متغيرات المنتج بدرجة كافية لتطلب عمل هندسي متكرر.

يمكن أن تجعل أنظمة التعلم هذه العمليات الأقل حجمًا وأكثر تغييرًا أكثر ملاءمة للتautomatisation. بدلاً من كتابة برنامج جديد لكل مهمة، يمكن للمصنعين تقديم السلوك المرغوب وتحفيز النظام على تعلم كيفية إعادة إنتاجه.

دمج النماذج والأجهزة والتمثيلات البشرية

النموذج هو جزء من منصة روبوتية كاملة يتم تطويرها من قبل شركة mimic robotics.

تطوير الشركة يدين بأجهزة روبوتية ذكية وملابس لجمع البيانات ونمذجة التعلم الروبوتي وبنية النشر. نظامها القابل للارتداء مصمم لتسجيل حركات اليد البشرية في تنسيق يمكن نقله بشكل مباشر إلى أيدي الروبوت.

يركز هذا النهج على الأيدي بدلاً من الروبوتات الإنسانية الكاملة يعكس نهجًا أكثر تركيزًا على التautomatisation الصناعي. يمكن تثبيت الأيدي الذكية على أذرع روبوتية تقليدية تستخدم بالفعل في المصانع، مما يقلل من الحاجة إلى إدخال نموذج روبوتي جديد كليًا. يصف ETH Zurich هذا النهج على أنه يجمع بين التلاعب البشري مع الأجهزة الصناعية التقليدية لمواجهة المهام التي تتطلب التكيف والتصحيح الذاتي.

تأسست شركة mimic robotics كفرع من ETH Zurich في عام 2024، وقد نمت لتصبح أكثر من 50 موظفًا عبر زيورخ وسان فرانسيسكو. يمتد فريقها ليشمل بحث النماذج والروبوتات وتطوير الأجهزة وعمليات البيانات والتنفيذ الصناعي.

الآثار الأوسع للتautomatisation في المصانع

أهمية نظام FLUX-mimic ستعتمد أقل على التمثيلات الفردية واكثر على ما إذا كان يمكن للтехнологيا الحفاظ على معدلات نجاح عالية على مدار آلاف دورات الإنتاج.

تتطلب المصانع أداءً متسقًا وأوقات دورة متوقعة وعمليات آمنة حول الموظفين واستعادة سريعة من الأخطاء والدمج مع أنظمة التصنيع الحالية. نموذج يتعلم بسرعة ولكن يتصرف بطريقة غير متوقعة لن يقدم أي ميزة على التautomatisation التقليدية.

ومع ذلك، إذا كان يمكن لنماذج الفيديو والفعل الحفاظ على كفاءة البيانات المبلغ عنها بينما ت满ي متطلبات الموثوقية الصناعية، يمكنها توسيع نطاق الروبوتات إلى فئات العمل التي ظلت يدوية لأنها كانت متغيرة أو مكلفة للبرمجة.

يمكن أن تشمل هذه المهام تجميع المكونات المرنة وتنسيق المخزون المختلط وفرز الأجسام غير المنتظمة وتغليف المنتجات التي تتغير بانتظام ودعم العمال في العمليات التي تتطلب جهدًا بدنيًا.

الفرصة على المدى الطويل ليست مجرد يد روبوتية أكثر قدرة، بل نموذج نشر مختلف حيث يعلّم المصنعون الآلات من خلال التمثيل بدلاً من تحديد كل حركة مسبقًا.

مشاركة أودي توفر لنظام FLUX-mimic فرصة لإثبات أن هذا النهج يمكن أن يتجاوز بيئات البحث المحكومة. النجاح على أرضية مصنع السيارات سيكون دليلًا هامًا على أن نماذج الفيديو المولدة يمكن أن تصبح أكثر من أدوات لإنشاء الوسائط الرقمية، حيث تعمل بدلاً من ذلك كجزء من طبقة الذكاء التي تتحكم في الآلات في العالم الفيزيائي.