mimic robotics Memperkenalkan FLUX-mimic untuk Menghadirkan Video-Action Model ke Lantai Pabrik Audi

mimic robotics telah memperkenalkan FLUX-mimic, sebuah Video-Action Model baru yang dirancang untuk membantu robot industri belajar tugas manipulasi kompleks dari jumlah data demonstrasi yang jauh lebih kecil.

Dirancang dalam kolaborasi dengan perusahaan AI visual Black Forest Labs, sistem ini sudah diuji dan diterapkan dengan Audi di seluruh tugas manufaktur yang secara historis sulit untuk diotomatisasi, termasuk pekerjaan yang melibatkan bahan fleksibel, konfigurasi bagian yang berubah, dan manipulasi presisi.

Pengumuman ini menunjuk pada perubahan potensial dalam physical AI. Alih-alih mengandalkan koleksi demonstrasi robot yang besar, FLUX-mimic mencoba mentransfer pengetahuan yang sudah dipelajari oleh model video generatif ke dalam sistem yang mampu mengontrol mesin fisik.

Pendekatan Baru untuk Pembelajaran Robot

Banyak sistem robotik umum saat ini didasarkan pada Vision-Language-Action models, yang umum dikenal sebagai VLAs. Sistem ini biasanya menggabungkan model yang dilatih pada gambar dan bahasa dengan komponen tambahan yang memprediksi gerakan yang harus dilakukan robot.

Pendekatan ini memberikan robot pemahaman semantik tertentu, seperti mengenali objek atau menafsirkan instruksi tertulis. Namun, gambar statis tidak sepenuhnya menangkap bagaimana objek membengkok, bergerak, bertabrakan, atau merespons kontak fisik.

Pengetahuan yang hilang harus dipelajari dari demonstrasi robot, yang dapat mahal dan memakan waktu untuk dikumpulkan. Setiap demonstrasi memerlukan robot fisik, operator, ruang kerja yang sesuai, dan data aksi yang direkam dengan hati-hati.

FLUX-mimic mengambil rute yang berbeda. Ini menggunakan representasi visual yang dihasilkan oleh model FLUX 3 Black Forest Labs sebagai dasar untuk memprediksi bagaimana tugas harus berkembang dari waktu ke waktu. Black Forest Labs menjelaskan FLUX 3 sebagai model multimodal yang dapat menghasilkan gambar, video, audio, dan aksi, bukan sistem yang terbatas pada generasi gambar statis.

Sebuah decoder aksi kemudian menerjemahkan prediksi visual model menjadi perintah yang dapat dieksekusi robot. Dalam istilah praktis, sistem pertama kali memperkirakan apa yang berhasil menyelesaikan tugas dan kemudian menentukan gerakan fisik yang diperlukan untuk menghasilkan hasil tersebut.

Membangun pada Arsitektur mimic-video

FLUX-mimic membangun pada mimic-video, penelitian perusahaan sebelumnya tentang menggunakan model video pra-dilatih sebagai tulang punggung untuk kontrol robotik.

Alih-alih meminta model visi-bahasa konvensional untuk menyimpulkan gerakan dari bingkai individu, mimic-video membuat rencana visual laten yang mewakili bagaimana tugas mungkin berkembang. Sebuah decoder aksi terpisah menggunakan representasi internal tersebut untuk menghasilkan gerakan robot.

Dalam makalah penelitiannya, perusahaan melaporkan bahwa mimic-video mencapai efisiensi sampel sekitar sepuluh kali lebih besar dan kecepatan konvergensi pelatihan dua kali lipat dari arsitektur VLA yang setara di seluruh evaluasinya. Sistem dunia nyata dilatih menggunakan sekitar 500 trajeksi dari pengaturan robot dua-tangan yang dexterous.

FLUX-mimic memperluas konsep tersebut menggunakan arsitektur di balik FLUX 3 dan desain yang dibuat khusus untuk AI fisik.

Menurut mimic robotics, tugas yang mungkin sebelumnya memerlukan 30 jam atau lebih demonstrasi robot dapat mencapai kinerja siap produksi dengan hanya 30 menit data. Angka tersebut mewakili hasil yang dilaporkan perusahaan dan pada akhirnya perlu dievaluasi di seluruh berbagai pabrik, konfigurasi perangkat keras, dan kondisi produksi.

Audi Menyediakan Tes Industri yang Menantang

Audi bekerja sama dengan mimic robotics untuk mengevaluasi FLUX-mimic di lingkungan manufaktur nyata, di mana sistem otomatisasi harus menghadapi variasi produk, persyaratan produksi yang ketat, dan tugas yang tidak selalu dapat direduksi menjadi gerakan berulang.

Pembuat mobil tersebut mengatakan bahwa robot telah melakukan pekerjaan manipulasi tubuh lunak yang kompleks yang akan sangat sulit untuk diatasi dengan robotik konvensional. Bahan lunak sangat menantang karena bentuknya berubah selama penanganan, membuatnya sulit untuk mendefinisikan setiap gerakan melalui koordinat tetap atau aturan.

Penelitian otomatisasi yang lebih luas dari Audi menggambarkan mengapa adaptabilitas menjadi semakin penting. Di fasilitas Böllinger Höfe, perusahaan telah menguji kecerdasan buatan, robot mobil, visi komputer, dan teknologi pemilihan baru dalam laboratorium dunia nyata. Audi telah mencatat bahwa tingkat kustomisasi yang tinggi pada kendaraan seperti e-tron GT menciptakan proses logistik yang kompleks yang melibatkan sejumlah besar bagian yang berbeda.

Robot industri tradisional tetap sangat efektif ketika lingkungan terstruktur dan setiap objek tiba dalam posisi yang dapat diprediksi. Mereka menjadi kurang ekonomis ketika bagian, bahan, atau varian produk berubah cukup sering untuk memerlukan pekerjaan rekayasa berulang.

Sistem berbasis pembelajaran dapat membuat proses dengan volume yang lebih rendah dan variasi yang lebih tinggi lebih praktis untuk diotomatisasi. Alih-alih menulis program baru untuk setiap tugas, produsen dapat mendemonstrasikan perilaku yang diinginkan dan membiarkan sistem mempelajari cara mereproduksinya.

Menggabungkan Model, Perangkat Keras, dan Demonstrasi Manusia

Model ini merupakan bagian dari platform robotik full-stack yang sedang dikembangkan oleh mimic robotics.

Perusahaan membangun perangkat keras tangan robotik dexterous, peralatan pengumpulan data yang dapat dikenakan, model pembelajaran robot, dan infrastruktur penerapan. Sistem yang dapat dikenakan dirancang untuk merekam gerakan tangan manusia dalam format yang dapat ditransfer lebih langsung ke tangan robot perusahaan.

Fokus pada tangan bukan robot humanoid lengkap mencerminkan pendekatan yang lebih terarah untuk otomatisasi industri. Tangan dexterous dapat dipasang pada lengan robot konvensional yang sudah digunakan di pabrik, mengurangi kebutuhan untuk memperkenalkan bentuk robot baru. ETH Zurich menjelaskan pendekatan ini sebagai menggabungkan manipulasi seperti manusia dengan perangkat keras industri yang mapan untuk menangani tugas yang memerlukan adaptabilitas dan koreksi diri.

Didirikan sebagai spin-off ETH Zurich pada 2024, mimic robotics telah tumbuh menjadi lebih dari 50 karyawan di seluruh Zurich dan San Francisco. Timnya mencakup penelitian model, robotika, pengembangan perangkat keras, operasi data, dan penerapan industri.

Implikasi yang Lebih Luas untuk Otomatisasi Pabrik

Signifikansi FLUX-mimic akan bergantung kurang pada demonstrasi terisolasi daripada pada apakah teknologi dapat mempertahankan tingkat keberhasilan yang tinggi selama ribuan siklus produksi.

Pabrik memerlukan kinerja yang konsisten, waktu siklus yang dapat diprediksi, operasi yang aman di sekitar karyawan, pemulihan cepat dari kesalahan, dan integrasi dengan sistem manufaktur yang ada. Model yang belajar dengan cepat tetapi berperilaku tidak dapat diprediksi akan menawarkan sedikit keuntungan dibandingkan dengan otomatisasi konvensional.

Namun, jika model video-aksi dapat mempertahankan efisiensi data yang dilaporkan sambil memenuhi persyaratan keandalan industri, mereka dapat memperluas robotika ke kategori pekerjaan yang tetap manual karena terlalu bervariasi atau mahal untuk diprogram.

Ini dapat mencakup perakitan komponen fleksibel, penanganan inventori campuran, pengurutan objek tidak teratur, pengemasan produk yang sering berubah, dan mendukung pekerja dengan proses yang memerlukan tenaga fisik.

Kesempatan jangka panjang bukanlah hanya tangan robotik yang lebih mampu. Ini adalah model penerapan yang berbeda di mana produsen mengajar mesin melalui demonstrasi daripada menentukan setiap gerakan sebelumnya.

Keterlibatan Audi memberikan FLUX-mimic kesempatan untuk membuktikan bahwa pendekatan ini dapat melampaui lingkungan penelitian yang terkendali. Keberhasilan di lantai pabrik mobil akan menawarkan indikasi penting bahwa model video generatif dapat menjadi lebih dari alat untuk membuat media digital, berfungsi sebagai bagian dari lapisan kecerdasan yang mengontrol mesin di dunia fisik.