CoreWeave запускає шаблони фізичного ШІ для розроблення робототехніки й автономних транспортних засобів

Перш ніж команда з робототехніки зможе випробувати нову політику керування, комусь потрібно налагодити спільну роботу симулятора, даних, сховища й обчислювальних ресурсів. CoreWeave береться за цю підготовчу роботу з Physical AI Launchables — каталогом перевірених шаблонів робочих навантажень, про запуск якого компанія оголосила 21 жовтня. Каталог призначений для робототехніки, автономних транспортних засобів і симуляції.

Шаблони об’єднують середовища для п’яти інструментів — NVIDIA Isaac Sim, CARLA, MuJoCo, NVIDIA AlpaSim і NVIDIA Cosmos 3, — щоб інженери могли налаштувати й запустити робоче навантаження однією командою, а не збирати для нього інфраструктуру з нуля. До запуску також увійшли навички, які дають змогу агентам програмування працювати з тими самими процесами.

Для розробників важливо зрозуміти, що саме можна зробити повторюваним. Launchables покликаний зберігати працездатне середовище між експериментами, водночас даючи командам змогу змінювати сцени, набори даних, моделі й налаштування, від яких залежить результат.

Перенесення підготовки інфраструктури за межі експерименту

Експеримент із фізичним ШІ — це більше, ніж просто запуск моделі. Для оцінювання водіння потрібні симулятор і сценарії, а для навчання робота — середовище, політика керування та спосіб збирати результати. Усі ці компоненти також потребують належного сховища, обчислювальних ресурсів і обмежень на виконання.

За словами CoreWeave, її інженери створили й протестували конфігурації, на яких ґрунтується кожен шаблон. Команди можуть адаптувати ці конфігурації до своїх завдань, використовуючи зарезервовані ресурси для поточних програм або додаткові ресурси для окремих експериментів. Для кожного підтримуваного інструмента також є порожній шаблон, який надає середовище, не визначаючи наперед робоче навантаження.

«Physical AI Launchables дає їм перевірену відправну точку для інструментів, якими вони вже користуються, тож більше часу можна присвятити роботі, яку здатні виконати лише вони», — сказав в оголошенні Річард Алфелд, старший віцепрезидент CoreWeave з питань фізичного ШІ.

Ця відмінність має значення: CoreWeave забезпечує пакування та рівень виконання, тоді як програмне забезпечення для симуляції й моделювання надають NVIDIA та інші розробники. Команди й далі самі вирішують, що тестувати та чи є результати значущими.

Які завдання можуть виконувати перші шаблони

Технічна публікація про запуск від CoreWeave докладніше розкриває вміст каталогу. Наведені приклади охоплюють маніпуляції роботів, симуляцію водіння, синтетичні дані та навчання з підкріпленням:

• NVIDIA Isaac Sim: захоплення й переміщення предметів роботизованою рукою, розмічені складські сцени та експерименти з динамікою транспортних засобів.
• CARLA: серії сценаріїв водіння, за результатами яких створюються відео для перегляду.
• MuJoCo: паралельні експерименти з навчанням із підкріпленням і завдання з маніпуляції предметами на кухні.
• NVIDIA AlpaSim: оцінювання водіння із замкненим контуром керування.
• NVIDIA Cosmos 3: створення відеосценаріїв, збір даних для яких може бути складним або дорогим.

Це стартові конфігурації, а не незмінний набір демонстрацій. Інженери можуть змінювати параметри робочого навантаження або редагувати код застосунків, зберігаючи базове перевірене середовище. До запуску також увійшли навички NVIDIA Cosmos Data Factory для доповнення, розмічення, упорядкування та пошуку даних; CoreWeave повідомляє, що планує додати інші пов’язані шаблони.

Агенти програмування отримують ті самі засоби керування, що й інженери

Launchables містить спеціальні навички CoreWeave для Claude Code, Codex та інших агентів програмування. Вони надають агенту рекомендації щодо відповідних налаштувань і доступ до команд для запуску, моніторингу й отримання результатів виконання.

У релізі наголошено на різниці між завершенням завдання та успіхом експерименту. Процес може завершитися, так і не підтвердивши, що політика керування добре впоралася зі сценаріями водіння або що робот виконав своє завдання. Завдяки поверненню звітів, метрик, медіафайлів і діагностичних даних через єдиний інтерфейс і інженери, і агенти отримують матеріали для оцінювання після виконання.

Це може зробити автоматизацію кориснішою під час повторюваних експериментів. Агент здатен допомогти виконати робочий процес, але команда все одно має визначити належні методи оцінювання й критерії успіху. Працездатне розгортання саме по собі не доводить, що модель готова до роботи у фізичній системі.

Використання GPU лише для завдань, що потребують GPU

В оголошенні також ідеться про те, як завдання використовують ресурси. Якщо це допускає робоче навантаження, шаблони відокремлюють підготовку на CPU та подальшу обробку від виконання на GPU, звільняючи ресурси GPU після завершення цього етапу. У шаблонах зазначено вимоги до ресурсів і обмеження паралельності, щоб полегшити координацію паралельних запусків.

Це важливо, адже вартість експерименту охоплює і час, протягом якого дороге обладнання простоює в очікуванні інших завдань. Розділення етапів може поліпшити розподіл ресурсів, хоча фактична користь залежить від робочого навантаження та обсягу необхідної підготовки, симуляції, навчання й аналізу.

У наданому оголошенні CoreWeave не оприлюднила загального тесту продуктивності Launchables або універсального показника скорочення часу на налаштування. Наразі компанія пропонує перевірену конфігурацію та єдиний спосіб роботи з нею, а не виміряне підвищення продуктивності, яке стосується кожного проєкту з робототехніки.

Як Launchables вписується в стек фізичного ШІ CoreWeave

Цей запуск розширює діяльність CoreWeave: компанія пропонує не лише обчислювальні потужності GPU, а й програмні процеси, у яких ці потужності використовуються. На сторінці платформи фізичного ШІ компанія описує інфраструктуру, що охоплює обчислення на GPU і CPU, мережеві засоби, сховища, оркестрацію Kubernetes і Slurm на Kubernetes. Ці компоненти відповідають різним потребам підготовки даних, симуляції та навчання моделей.

Ширша хмарна платформа компанії об’єднує цю інфраструктуру з CoreWeave Forge, що пропонує інструменти для спостереження за моделями й агентами, їх оцінювання та вдосконалення. Launchables доповнює ці рівні перевіреними інженерними робочими навантаженнями. Стратегія полягає в тому, щоб зменшити кількість середовищ, які команді потрібно налаштовувати під час переходу від роботи з даними до експериментів та оцінювання.

Серед партнерів із розробки програмного забезпечення, які використовують інфраструктуру компанії, CoreWeave також назвала Cadence, Convergent Science, Encord, nTop, PhysicsX і Voxel51. Їхня співпраця охоплює широкий спектр напрямів — від інструментів для роботи з даними й комп’ютерного зору до інженерного моделювання. Однак це не означає, що продукти всіх партнерів уже доступні як шаблони запуску.

Швидший старт усе одно потребує належного оцінювання

Перевага очевидна: якщо середовище зберігається від одного експерименту до наступного, команди можуть більше часу приділяти порівнянню моделей і з’ясуванню причин збоїв. Спільні шаблони також спрощують відтворення колегами певної конфігурації перед зміною окремого параметра.

Найскладніші питання стосуються самої предметної галузі. Симульовані сцени мають відображати корисні умови, синтетичні дані — відповідати поставленому завданню, а оцінювання — виявляти збої, які мають значення поза симулятором. Launchables спрощує запуск таких перевірок, але не скасовує потреби ретельно їх проєктувати.

За початковим переліком і додатковою інформацією CoreWeave скеровує зацікавлені команди до огляду Launchables для фізичного ШІ. Для розробників робототехніки й автономних транспортних засобів практична перевага полягає в тому, що шлях від задуму експерименту до результатів, які можна проаналізувати, стає коротшим.