Meta V-JEPA 2: Модель штучного інтелекту, яка привносить здоровий глузд у роботів

Модель Meta Video Joint Embedding Predictive Architecture 2 (V-JEPA 2) є значним кроком вперед у сфері Штучного інтелекту (AI). Вона допомагає роботам зрозуміти та передбачити фізичні взаємодії. Модель була навчена на понад одному мільйоні годин відео. Це дозволяє роботам вивчити та передбачити, що станеться далі. Вона також дозволяє роботам планувати дії в нових середовищах, що дозволяє їм взаємодіяти з незнайомими об’єктами більш ефективно.

V-JEPA 2 використовує самонавчання. Вона вивчає безпосередньо з відеоданих, без потреби у людських анотаціях. Це відрізняє її від інших моделей AI, які залежать від маркованих даних. Роботи можуть передбачити результати на основі візуального контексту. Вони можуть адаптуватися та планувати дії за необхідністю. Це наближає нас до досягнення Просунутого машинного інтелекту (AMI).

Розбудовуючи модель Meta Joint Embedding Predictive Architecture (JEPA), V-JEPA 2 покращує передбачення дій та моделювання світу, що дозволяє роботам виконувати нові завдання в незнайомих середовищах. Meta поділяється цією моделлю з дослідницькою спільнотою, щоб прискорити прогрес AI та покращити можливості роботів.

Чому здоровий глузд у роботах завжди був складним

Здоровий глузд – це можливість приймати базові рішення. Наприклад, знання того, що чаша виклине розлив, якщо її нахилити, або розуміння того, що стілець може блокувати шлях. Для людей це знання приходить природно через досвід. Однак роботам складно розвивати цей же інстинкт.

Більшість роботів програмуються для виконання конкретних завдань у контрольованих середовищах. Вони добре виконують ці завдання. Але коли ситуації змінюються або з’являються несподівані елементи, роботи складноють. Вони часто не можуть визначити причину та наслідки або передбачити наслідки дій. Наприклад, робот може знати, як поставити чашу на рівну поверхню. Однак він може не передбачити, що нахил чаші може викликати розлив.

Поточні моделі AI, такі як ті, що базуються на навчання з підкріпленням (RL), мають обмеження. RL вимагає великої кількості навчання з проб та помилок. Це робить процес повільним та ресурсоємним. Моделі великих мов добре виконують завдання з мовою, але не мають зв’язку з фізичним світом. Вони часто галюцинують відповіді, засновані лише на тексті, що робить їх ненадійними в динамічних ситуаціях. Традиційні моделі комп’ютерного зору також мають обмежені можливості. Ці моделі призначені для виконання конкретних завдань та не можуть адаптуватися до нових чи несподіваних сценаріїв.

Щоб вирішити ці питання, експерти рекомендують використовувати моделі світу. Моделі світу дозволяють роботам симулювати та передбачати майбутні дії на основі минулих досвідів. Ці моделі допомагають роботам зрозуміти фізичні динаміки світу. Наприклад, передбачення того, що станеться, коли об’єкт переміщується чи коли два об’єкти зіштовхуються. Модель Meta V-JEPA 2 є першою моделлю, яка інтегрує ці принципи. Вона вивчає безпосередньо з сирих відеоданих. Це робить її придатною для реальних середовищ, що дозволяє роботам міркувати та планувати дії на основі динамічних фізичних взаємодій.

Розуміння V-JEPA 2

V-JEPA 2 – це модель самонавчання, створена командою Fundamental AI Research (FAIR) Meta. На відміну від традиційних моделей AI, які вимагають марковані дані, V-JEPA 2 вивчає безпосередньо з невідзначених відеоданих. Це відбувається шляхом передбачення відсутніх частин відеопослідовностей. Цей процес називається передбаченням на рівні представлення. Замість того, щоб зосереджуватися на кожному пікселі, V-JEPA 2 працює з абстрактними представленнями, які захоплюють ключові динаміки та відносини між об’єктами та діями в середовищі.

Модель побудована на основі моделі Meta Joint Embedding Predictive Architecture (JEPA), призначеної для розуміння фізичних динамік. Вона має два ключові компоненти: кодувальник, який обробляє сире відео для створення корисних представлень, та передбачувач, який використовує ці представлення для передбачення майбутніх подій. V-JEPA 2 була навчена на понад одному мільйоні годин відео, що дозволяє їй вивчити складні закономірності у фізичному світі. Вивчивши відеодані, модель може передбачити майбутні дії та взаємодії, покращуючи плани та рішення роботів.

V-JEPA 2 допомагає роботам виконувати завдання з нульовим плануванням. Це означає, що роботи можуть виконувати завдання в нових середовищах, навіть без попередньої підготовки. Замість цього роботи можуть виконувати завдання, такі як підняття об’єктів та розміщення їх у нових місцях, навіть якщо вони ніколи раніше не бачили цих завдань. Це робить V-JEPA 2 значним покращенням у передбаченні дій та моделюванні світу, роблячи роботи більш адаптивними до нових ситуацій.

Модель вивчає з сирих відеоданих, що дозволяє роботам передбачити майбутні події. Це робить роботи більш здатними у реальних ситуаціях. V-JEPA 2 наближає нас до роботів, які можуть планувати та виконувати завдання, як люди. Meta поділяється цією моделлю з дослідницькою спільнотою, щоб прискорити прогрес AI. Роботи, які використовують V-JEPA 2, можуть працювати в динамічних середовищах, швидко адаптуватися та планувати завдання більш ефективно.

Як працює V-JEPA 2: двостадійний процес

V-JEPA 2 працює у двох окремих стадіях. Кожна стадія дозволяє моделі вивчити з сирих відеоданих та застосувати ці знання для прийняття інформованих рішень у реальних завданнях.

Стадія 1: вивчення представлень без дій

V-JEPA 2 починається з великомасштабної попередньої підготовки на понад одному мільйоні годин відео та одному мільйоні зображень. Модель вивчає шляхом передбачення відсутніх частин відеопослідовностей. Вона обробляє відео як 3D-трубки, які служать основними токенами для моделі. Модель використовує Vision Transformer (ViT) архітектуру з 3D обертальними позиційними вкладеннями (3D-RoPE), щоб краще захопити просторову та часову інформацію.

Кодувальник обробляє трубки для створення високовимірних векторів особливостей. Ці вектори представляють як просторову, так і часову динаміку відео. Модель використовує маску денойзингову ціль, де великі частини відео приховані. Модель намагається передбачити прихований вміст, використовуючи видимі частини. Експоненційний руховий середній цільовий кодувальник допомагає моделі уникнути тривіальних рішень та забезпечити стабільне навчання. Функція втрат мінімізує L1 відстань між передбаченнями та виходом EMA цільового кодувальника, зосереджуючись на вищому рівні понять, таких як постійність об’єктів та рух, а не на рівні пікселів.

Стадія 2: планування та контроль з умовою дій

На другій стадії модель переходить до умовної дії підготовки. Ваги кодувальника заморожені, а новий передбачувач навчається за допомогою даних з взаємодій роботів. Ці дані включають відеоспостереження та відповідні дії контролю, зазвичай з DROID dataset (близько 62 годин даних роботів). Тепер модель може передбачити майбутній стан середовища на основі поточного стану та можливих дій.

V-JEPA 2 встановлює проблему мінімізації енергії з умовою цілі. Вона кодує поточне спостереження та зображення цілі в карти особливостей. Модель потім передбачає, як стан зміниться з різними послідовностями дій. Оптимальна послідовність дій знаходиться шляхом мінімізації L1 відстані між передбаченим майбутнім станом та представленням цілі. Метод перетину ентропії (CEM) використовується для оптимізації траєкторії.

Тільки перша дія оптимальної послідовності виконується, а процес повторюється в циклі керування з відступаючим горизонтом. Це дозволяє планувати та адаптуватися в реальному часі. Використовуючи обробку 3D-трубок, V-JEPA 2 захоплює як просторову, так і часову залежності, що дозволяє роботам міркувати про рух, взаємодію об’єктів та наслідки своїх дій у складних середовищах. Це дозволяє виконувати завдання з нульовим плануванням та контролем, навіть у нових сценаріях, без потреби у завдань-демо чи інженерії винагород.

Застосування V-JEPA 2 у робототехніці

V-JEPA 2 змінює спосіб взаємодії роботів зі світом. Багато застосунків ще розробляються, але модель продемонструвала сильні можливості у контрольованих середовищах.

Маніпуляція підняттям та розміщенням

У лабораторних умовах V-JEPA 2 дозволила роботам виконувати завдання з підняттям та розміщенням з мінімальною підготовкою. Використовуючи лише 62 години даних з DROID dataset, роботи можуть маніпулювати різними об’єктами, включаючи як жорсткі, так і деформовані. Ця можливість є важливою у галузях, таких як логістика, виробництво та домашня робототехніка, де об’єкти значно різняться за розміром та складністю.

Навігація у динамічних середовищах

V-JEPA 2 може моделювати часові динаміки, що робить її корисною для навігації у реальному часі в середовищах з рухомими людьми, тваринами чи перешкодами. Хоча вона ще не була використана у автономних транспортних засобах чи безпілотних апаратах, її передбачувальні можливості можуть допомогти роботам передбачити зміни та调整 свої шляхи. Це є важливим для безпеки та ефективності у зайнятих середовищах.

Взаємодія людини та робота

Вивчивши передбачення дій людини, V-JEPA 2 може покращити взаємодію людини та робота. Роботи можуть реагувати більш природно та безпечно у спільних просторах, таких як лікарні, будинки чи промислові підлоги. Хоча це ще у процесі розробки, ця можливість представляє крок до соціально обізнаних роботів, які можуть адаптуватися до свого оточення.

Загальність та планування з нульовим кроком

V-JEPA 2 може загальнитися через завдання та середовища. Роботи можуть використовувати вивчені представлення у нових ситуаціях без потреби у додатковій підготовці. Це планування з нульовим кроком дозволяє роботам швидко адаптуватися до нових завдань, тим самим зменшуючи потребу у новому зборі даних чи повторній підготовці.

Прийняття рішень у реальному часі та ефективність

З її ефективним дизайном V-JEPA 2 підтримує планування та контроль у реальному часі. Meta повідомляє, що V-JEPA 2 у 30 разів швидше, ніж модель Nvidia Cosmos у деяких бенчмарках. Ця швидкість є важливою для завдань, які потребують швидких рішень, таких як маніпуляція роботами чи навігація у змінних середовищах.

Практичні виклики та обмеження

Хоча V-JEPA 2 зробила значний прогрес у самонавчанні та плануванні роботів, все ще існують виклики, які потрібно вирішити, перш ніж вона може бути широко розгорнута. Ось ключові обмеження:

Залежність лише від візуальних даних

V-JEPA 2 навчається лише на відео- та зображеннях. Це робить її ефективною для візуальних завдань, але обмежує її здатність виконувати завдання з多чуттєвої взаємодії, такі як тактильна маніпуляція чи використання аудіо-сигналів. Реальні роботи залежать від декількох сенсорних входів.

Чутливість до позиції та калібрування камери

Модель залежить від монокулярного RGB-входу, що може погіршити продуктивність, якщо база чи система координат робота не видима. Можливо, будуть потрібні ручні корекції налаштувань камери, щоб забезпечити стабільну продуктивність.

Обмеження у довгостроковому та багатокроковому плануванні

V-JEPA 2 працює добре з короткостроковими завданнями, але складнощі виникають при довгостроковому плануванні. Накопичення помилок у передбаченні та розширення простору дій роблять складні багатокрокові операції складними.

Високі обчислювальні вимоги

Хоча V-JEPA 2 швидша, ніж моделі, такі як Nvidia’s Cosmos, вона має понад 1,2 мільярда параметрів. Це вимагає значних обчислювальних ресурсів, що може бути викликом для менших лабораторій чи організацій з обмеженою інфраструктурою.

Загальність у неструктурованих середовищах

V-JEPA 2 працює добре у контрольованих умовах, але може зіштовхнутися з проблемами у незнайомих чи неструктурованих середовищах. Її успішність у завданнях з підняттям та розміщенням становить близько 80%, але вона може не спрацювати у крайніх випадках.

Інтеграція з повними робототехнічними стеками

Щоб бути корисною, V-JEPA 2 повинна інтегруватися з контролерами руху, реальними сенсорами та планувальниками завдань. Досягнення гладкої міжопераційності у динамічних середовищах залишається викликом.

Етичні та упереджені розгляди

Як і всі великі моделі, V-JEPA 2 може успадкувати упередження з її навчальних даних. У реальних застосунках, особливо тих, що включають взаємодію з людиною, ці упередження можуть привести до непередбачуваних результатів. Етичний нагляд є важливим.

Основне

V-JEPA 2 представляє значний крок вперед у сфері AI та робототехніки. Вона дозволяє роботам зрозуміти та взаємодіяти з фізичним світом, як і людська поведінка. Хоча модель продемонструвала сильну продуктивність у передбаченні дій, розумінні світу та плануванні без попередньої підготовки, вона все ще зіштовхується з декількома викликами.

V-JEPA 2 залежить від візуальних даних та має деякі обмеження у багатокрокових завданнях, довгостроковому плануванні та інтеграції з повними робототехнічними системами. Однак її здатність приймати рішення у реальному часі та адаптуватися до нових середовищ робить її дуже корисною для складних реальних ситуацій.

Meta продовжує удосконалювати V-JEPA 2, що буде сприяти розвитку AI та покращенню роботів. Цей прогрес буде цінним для галузей, таких як охорона здоров’я, логістика та автономні транспортні засоби. V-JEPA 2 має великий потенціал та відіграє важливу роль у майбутньому робототехніки.