Meta V-JEPA 2: Model AI yang Membawa Naluri Umum ke Robot

Meta’s Video Joint Embedding Predictive Architecture 2 (V-JEPA 2) adalah kemajuan signifikan dalam Kecerdasan Buatan (AI). Ini membantu robot memahami dan memprediksi interaksi fisik. Model ini dilatih pada lebih dari satu juta jam video. Ini memungkinkan robot untuk belajar dan memprediksi apa yang akan terjadi selanjutnya. Ini juga memungkinkan robot untuk merencanakan tindakan dalam lingkungan baru, sehingga mereka dapat berinteraksi dengan objek yang tidak dikenal lebih efektif.

V-JEPA 2 menggunakan pembelajaran mandiri. Ini belajar langsung dari data video, tanpa memerlukan anotasi manusia. Ini membuatnya berbeda dari model AI lain yang bergantung pada data yang dilabeli. Robot dapat memprediksi hasil berdasarkan konteks visual. Mereka dapat beradaptasi dan merencanakan tindakan sesuai kebutuhan. Ini membawa kita lebih dekat untuk mencapai Kecerdasan Mesin Maju (AMI).

Dengan membangun pada Arsitektur Prediktif Embedding Gabungan Meta (JEPA), V-JEPA 2 meningkatkan prediksi tindakan dan pemodelan dunia, memungkinkan robot untuk menangani tugas baru dalam lingkungan yang tidak dikenal. Meta berbagi model ini dengan komunitas penelitian untuk mempercepat kemajuan AI dan meningkatkan kemampuan robot.

Mengapa Naluri Umum pada Robot Selalu Sulit

Naluri umum adalah kemampuan untuk membuat keputusan dasar. Misalnya, mengetahui bahwa cangkir akan tumpah jika dimiringkan atau memahami bahwa kursi mungkin dapat menghalangi jalan. Bagi manusia, pengetahuan ini datang secara alami melalui pengalaman. Namun, robot menghadapi tantangan dalam mengembangkan intuisi yang sama.

Sebagian besar robot diprogram untuk tugas tertentu dalam lingkungan yang terkendali. Mereka melakukan tugas-tugas tersebut dengan baik. Namun, ketika situasi berubah atau elemen yang tidak terduga muncul, robot mengalami kesulitan. Mereka sering gagal untuk mengenali penyebab dan akibat atau memprediksi konsekuensi dari tindakan. Misalnya, robot mungkin tahu cara meletakkan cangkir di permukaan yang rata. Namun, mereka mungkin tidak dapat memprediksi bahwa miringkan cangkir dapat menyebabkannya tumpah.

Model AI saat ini, seperti model yang berbasis pada Pembelajaran Penguatan (RL), menghadapi keterbatasan. RL memerlukan jumlah besar pembelajaran trial-and-error. Ini membuat prosesnya lambat dan intensif sumber daya. Model bahasa besar (LLM) unggul dalam bahasa tetapi kekurangan landasan dalam dunia fisik. Mereka sering mengalami halusinasi respons berdasarkan teks saja, membuat mereka tidak dapat diandalkan dalam situasi dinamis. Model penglihatan komputer tradisional juga terbatas dalam kemampuan mereka. Model-model ini spesifik tugas dan gagal beradaptasi dengan skenario baru atau tidak terduga.

Untuk mengatasi masalah ini, para ahli menyarankan menggunakan model dunia. Model dunia memungkinkan robot untuk mensimulasikan dan memprediksi tindakan masa depan berdasarkan pengalaman masa lalu. Model-model ini membantu robot memahami dinamika fisik dunia. Misalnya, memprediksi apa yang akan terjadi ketika objek dipindahkan atau ketika dua objek bertabrakan. V-JEPA 2 Meta adalah model pertama yang mengintegrasikan prinsip-prinsip ini. Ini belajar langsung dari data video mentah. Ini membuatnya dapat beradaptasi dengan lingkungan dunia nyata, memungkinkan robot untuk berpikir dan merencanakan berdasarkan interaksi fisik dinamis.

Memahami V-JEPA 2

V-JEPA 2 adalah model pembelajaran mandiri yang dibuat oleh tim Penelitian AI Fundamental Meta (FAIR). Tidak seperti model AI tradisional yang memerlukan data yang dilabeli, V-JEPA 2 belajar dari video yang tidak dilabeli dengan memprediksi bagian yang hilang dari urutan video. Proses ini dikenal sebagai prediksi tingkat representasi. Alih-alih fokus pada setiap piksel, V-JEPA 2 bekerja dengan representasi abstrak yang menangkap dinamika dan hubungan kunci antara objek dan tindakan dalam lingkungan.

Model ini dibangun di atas Arsitektur Prediktif Embedding Gabungan Meta (JEPA), yang dirancang untuk memahami dinamika fisik. Ini memiliki dua komponen kunci: enkoder, yang memproses video mentah untuk membuat representasi yang berguna, dan prediktor, yang menggunakan representasi tersebut untuk memprediksi peristiwa masa depan. V-JEPA 2 dilatih pada lebih dari satu juta jam video, memungkinkan untuk belajar pola kompleks dalam dunia fisik. Dengan belajar dari video, model dapat memprediksi tindakan dan interaksi masa depan, meningkatkan kemampuan robot untuk merencanakan dan membuat keputusan.

V-JEPA 2 membantu robot melakukan perencanaan zero-shot. Ini berarti robot dapat menangani tugas dalam lingkungan baru bahkan tanpa pelatihan sebelumnya. Sebagai gantinya, robot dapat melakukan tugas seperti mengambil objek dan meletakkannya di lokasi baru, bahkan jika mereka belum pernah melihat tugas-tugas tersebut sebelumnya. Ini membuat V-JEPA 2 menjadi peningkatan signifikan dalam prediksi tindakan dan pemodelan dunia, membuat robot lebih dapat beradaptasi dengan situasi baru.

Model ini belajar dari data video mentah, memungkinkan robot untuk memprediksi peristiwa masa depan. Ini membuat robot lebih mampu dalam situasi dunia nyata. V-JEPA 2 membawa kita lebih dekat ke robot yang dapat merencanakan dan melaksanakan tugas seperti manusia. Meta berbagi V-JEPA 2 dengan komunitas penelitian untuk mempercepat kemajuan AI. Robot yang menggunakan V-JEPA 2 dapat beroperasi dalam lingkungan dinamis, beradaptasi dengan cepat, dan merencanakan tugas dengan lebih efisien.

Cara V-JEPA 2 Beroperasi: Proses Dua Tahap

V-JEPA 2 bekerja dalam dua tahap yang berbeda. Setiap tahap memungkinkan model untuk belajar dari data video mentah dan kemudian menerapkan pengetahuan tersebut untuk membuat keputusan yang tepat dalam tugas dunia nyata.

Tahap 1: Pembelajaran Representasi Bebas Tindakan

V-JEPA 2 dimulai dengan pelatihan pra-pelatihan besar pada lebih dari 1 juta jam video dan 1 juta gambar. Model ini belajar dengan memprediksi bagian yang hilang dari urutan video. Ini memproses video sebagai 3D tubelet, yang berfungsi sebagai token utama untuk model. Model ini menggunakan arsitektur Vision Transformer (ViT) dengan 3D Rotary Position Embeddings (3D-RoPE) untuk menangkap informasi spasial dan temporal lebih efektif.

Enkoder memproses tubelet untuk membuat vektor fitur berdimensi tinggi. Vektor-vektor ini merepresentasikan dinamika spasial dan temporal dari video. Model ini menggunakan tujuan denoising mask, di mana sebagian besar video disembunyikan. Model ini mencoba memprediksi konten yang tersembunyi dengan menggunakan bagian yang terlihat. Enkoder target Exponential Moving Average (EMA) membantu model menghindari solusi yang sepele dan memastikan pembelajaran yang stabil. Fungsi kerugian meminimalkan jarak L1 antara prediksi dan output enkoder target EMA, fokus pada konsep tingkat yang lebih tinggi seperti keberlangsungan objek dan gerakan, bukan detail tingkat piksel.

Tahap 2: Perencanaan dan Kontrol yang Dikondisikan oleh Tindakan

Pada tahap kedua, model ini beralih ke pelatihan yang dikondisikan oleh tindakan. Bobot enkoder dibekukan, dan prediktor baru dilatih menggunakan data dari interaksi robot. Data ini termasuk pengamatan video dan tindakan kontrol yang sesuai, biasanya dari dataset DROID (sekitar 62 jam data robot). Sekarang, model ini dapat memprediksi keadaan masa depan lingkungan berdasarkan keadaan saat ini dan tindakan yang mungkin.

V-JEPA 2 menetapkan masalah minimisasi energi yang dikondisikan oleh tujuan. Ini mengkodekan baik pengamatan saat ini dan gambar tujuan menjadi peta fitur. Model ini kemudian memprediksi bagaimana keadaan akan berubah dengan urutan tindakan yang berbeda. Urutan tindakan optimal ditemukan dengan meminimalkan jarak L1 antara keadaan masa depan yang diprediksi dan representasi tujuan. Metode Cross-Entropy (CEM) digunakan untuk optimasi trajektori.

Hanya tindakan pertama dari urutan optimal yang dilakukan, dan proses ini diulangi dalam loop kontrol horizon yang menurun. Ini memungkinkan perencanaan dan adaptasi waktu nyata. Dengan menggunakan pemrosesan tubelet 3D, V-JEPA 2 menangkap ketergantungan spasial dan temporal, yang memungkinkan robot untuk berpikir tentang gerakan, interaksi objek, dan konsekuensi dari tindakan mereka dalam lingkungan yang kompleks. Ini memungkinkan perencanaan dan kontrol zero-shot, bahkan dalam skenario baru, tanpa memerlukan demonstrasi tugas spesifik atau rekayasa hadiah.

Aplikasi V-JEPA 2 dalam Robotika

V-JEPA 2 mengubah cara robot berinteraksi dengan dunia. Banyak aplikasi masih dalam pengembangan, tetapi model ini telah menunjukkan kemampuan yang kuat dalam lingkungan yang terkendali.

Manipulasi Pick-and-Place

Di lingkungan laboratorium, V-JEPA 2 telah memungkinkan robot untuk melakukan tugas pick-and-place dengan pelatihan minimal. Menggunakan hanya 62 jam data dari dataset DROID, robot dapat memanipulasi berbagai objek, termasuk objek yang kaku dan dapat diubah bentuk. Kemampuan ini sangat penting dalam bidang seperti logistik, manufaktur, dan robotika rumah, di mana objek bervariasi secara signifikan dalam ukuran dan kompleksitas.

Navigasi dalam Lingkungan Dinamis

V-JEPA 2 dapat memodelkan dinamika temporal, yang membuatnya berguna untuk navigasi waktu nyata dalam lingkungan dengan orang, hewan, atau hambatan yang bergerak. Meskipun belum digunakan dalam kendaraan otonom atau drone, kemampuan prediktifnya dapat membantu robot untuk memprediksi perubahan dan menyesuaikan jalur mereka. Ini sangat penting untuk keselamatan dan efisiensi dalam lingkungan yang sibuk.

Interaksi Manusia-Robot

Dengan mempelajari untuk memprediksi tindakan manusia, V-JEPA 2 dapat meningkatkan kolaborasi manusia-robot. Robot dapat merespons lebih alami dan aman dalam ruang yang dibagikan, seperti rumah sakit, rumah, atau lantai industri. Meskipun masih dalam proses, kemampuan ini mewakili langkah menuju robot yang sadar sosial yang dapat beradaptasi dengan lingkungan mereka.

Generalisasi dan Perencanaan Zero-Shot

V-JEPA 2 dapat menggeneralisasi tugas dan lingkungan. Robot dapat menggunakan representasi yang dipelajari dalam situasi baru tanpa memerlukan pelatihan tambahan. Perencanaan zero-shot ini memungkinkan robot untuk beradaptasi dengan tugas baru dengan cepat, sehingga mengurangi kebutuhan untuk mengumpulkan data baru atau pelatihan ulang.

Pengambilan Keputusan Waktu Nyata dan Efisiensi

Dengan desain yang efisien, V-JEPA 2 mendukung perencanaan dan kontrol waktu nyata. Meta melaporkan bahwa V-JEPA 2 30x lebih cepat daripada model Cosmos Nvidia (NVDA ) dalam beberapa benchmark. Kecepatan ini sangat penting untuk tugas yang memerlukan keputusan cepat, seperti manipulasi robot atau navigasi dalam lingkungan yang berubah.

Tantangan Praktis dan Keterbatasan

Meskipun V-JEPA 2 telah membuat kemajuan signifikan dalam pembelajaran mandiri dan perencanaan robot, masih ada tantangan yang harus diatasi sebelum dapat diterapkan secara luas. Berikut adalah keterbatasan kunci:

Ketergantungan pada Data Visual Saja

V-JEPA 2 dilatih hanya pada data video dan gambar. Ini membuatnya efektif untuk tugas visual, tetapi membatasi kemampuannya untuk melakukan tugas multi-sensorik, seperti manipulasi taktil atau menggunakan petunjuk auditori. Robot dunia nyata bergantung pada banyak input sensorik.

Sensitivitas terhadap Posisi dan Kalibrasi Kamera

Model ini bergantung pada input RGB monokuler, yang dapat menurunkan kinerja jika basis robot atau bingkai referensi tidak terlihat. Penyesuaian manual pada pengaturan kamera mungkin diperlukan untuk memastikan kinerja yang konsisten.

Keterbatasan dalam Perencanaan Jangka Panjang dan Multi-Langkah

V-JEPA 2 berkinerja baik dengan tugas horizon pendek tetapi mengalami kesulitan dengan perencanaan jangka panjang. Akumulasi kesalahan dalam prediksi dan perluasan ruang tindakan membuat operasi yang kompleks dan multi-langkah menjadi sulit.

Tuntutan Komputasi yang Tinggi

Meskipun lebih cepat daripada model seperti Cosmos Nvidia, V-JEPA 2 memiliki lebih dari 1,2 miliar parameter. Ini memerlukan sumber daya komputasi yang signifikan, yang mungkin menjadi tantangan bagi laboratorium atau organisasi yang lebih kecil dengan infrastruktur yang terbatas.

Generalisasi dalam Lingkungan yang Tidak Terstruktur

V-JEPA 2 berkinerja baik dalam pengaturan yang terkendali tetapi mungkin menghadapi masalah dalam lingkungan yang tidak dikenal atau tidak terstruktur. Tingkat keberhasilannya dalam tugas pick-and-place sekitar 80%, tetapi mungkin gagal dalam kasus ujung.

Integrasi dengan Tumpukan Robotik Penuh

Untuk berguna, V-JEPA 2 harus diintegrasikan dengan pengontrol motor, sensor waktu nyata, dan perencana tugas. Mencapai interoperabilitas yang mulus dalam lingkungan dinamis tetap menjadi tantangan.

Pertimbangan Etis dan Bias

Seperti semua model besar, V-JEPA 2 mungkin mewarisi bias dari data pelatihannya. Dalam aplikasi dunia nyata, terutama yang melibatkan interaksi manusia, bias ini bisa menyebabkan hasil yang tidak diinginkan. Pengawasan etis sangat penting.

Ringkasan

V-JEPA 2 merupakan kemajuan signifikan dalam AI dan robotika. Ini memungkinkan robot untuk memahami dan berinteraksi dengan dunia fisik seperti perilaku manusia. Meskipun model ini telah menunjukkan kinerja yang kuat dalam memprediksi tindakan, memahami dunia, dan merencanakan tanpa pelatihan sebelumnya, masih ada beberapa tantangan yang dihadapi.

V-JEPA 2 bergantung pada data visual dan memiliki beberapa keterbatasan dalam tugas multi-sensorik, perencanaan jangka panjang, dan integrasi dengan sistem robotik lengkap. Namun, kemampuannya untuk membuat keputusan waktu nyata dan beradaptasi dengan lingkungan baru membuatnya sangat berguna untuk situasi dunia nyata yang kompleks.

Meta terus memperbaiki V-JEPA 2, yang akan berkontribusi pada kemajuan AI dan membuat robot lebih pintar. Kemajuan ini akan sangat berharga untuk industri seperti kesehatan, logistik, dan kendaraan otonom. V-JEPA 2 memiliki potensi besar dan akan memainkan peran kritis dalam masa depan robotika.