NVIDIA Cosmos: Empowerment фізичного штучного інтелекту за допомогою симуляцій

Розробка фізичних систем штучного інтелекту, таких як роботи на заводських підлогах та автономні транспортні засоби на вулицях, сильно залежить від великих, високоякісних наборів даних для навчання. Однак збір реальних даних є дорогим, тривалим і часто обмеженим лише кількома великими технологічними компаніями. Платформа NVIDIA’s Cosmos (NVDA ) вирішує цю проблему, використовуючи передові фізичні симуляції для генерації реалістичних синтетичних даних у масштабі. Це дозволяє інженерам тренувати моделі штучного інтелекту без витрат і затримок, пов’язаних із збором реальних даних. Ця стаття обговорює, як Cosmos поліпшує доступ до необхідних навчальних даних і прискорює розвиток безпечного, надійного штучного інтелекту для реальних застосувань.

Поняття фізичного штучного інтелекту

Фізичний штучний інтелект відноситься до систем штучного інтелекту, які можуть сприймати, розуміти і діяти у фізичному світі. На відміну від традиційного штучного інтелекту, який може аналізувати текст або зображення, фізичний штучний інтелект повинен мати справу з реальними складностями, такими як просторові відносини, фізичні сили і динамічні середовища. Наприклад, самоходний автомобіль повинен розпізнавати пішоходів, передбачати їх рухи і коригувати свій шлях в реальному часі, враховуючи фактори, такі як погода і стан дороги. Аналогічно, робот у складі повинен орієнтуватися серед перешкод і маніпулювати об’єктами з точністю.

Розробка фізичного штучного інтелекту є складною, оскільки вона вимагає великих обсягів даних для навчання моделей на різноманітних реальних сценаріях. Збір цих даних, незалежно від того, чи це години відеозаписів проїзду чи демонстрації робототехнічних завдань, може бути тривалим і дорогим. Крім того, тестування штучного інтелекту у реальному світі може бути ризикованим, оскільки помилки можуть призвести до аварій. NVIDIA Cosmos вирішує ці проблеми, використовуючи фізичні симуляції для генерації реалістичних синтетичних даних. Цей підхід спрощує і прискорює розвиток фізичних систем штучного інтелекту.

Що таке світові фундаментальні моделі?

У основі NVIDIA Cosmos лежить колекція моделей штучного інтелекту, званих світовими фундаментальними моделями (WFMs). Ці моделі штучного інтелекту спеціально розроблені для симуляції віртуальних середовищ, які тісно імітують фізичний світ. Генеруючи фізично-інформовані відео або сценарії, WFM симулюють, як об’єкти взаємодіють на основі просторових відносин і фізичних законів. Наприклад, WFM міг би симулювати автомобіль, який проїжджає через дощ, показуючи, як вода впливає на зчеплення або як фари відбиваються від мокрої поверхні.

WFMs є важливими для фізичного штучного інтелекту, оскільки вони забезпечують безпечну, контрольовану область для навчання і тестування систем штучного інтелекту. Замість збору реальних даних розробники можуть використовувати WFM для генерації синтетичних даних – реалістичних симуляцій середовищ і взаємодій. Цей підхід не тільки знижує витрати, але й прискорює розвиток і дозволяє тестувати складні, рідкісні сценарії (наприклад, незвичайні ситуації з рухом) без ризиків, пов’язаних з реальним тестуванням. WFM є загальними моделями, які можна донастроїти для конкретних застосувань, подібно до того, як великі мовні моделі адаптуються для завдань, таких як переклад або чат-боти.

Презентація NVIDIA Cosmos

NVIDIA Cosmos – це платформа, розроблена для того, щоб дозволити розробникам створювати і налаштовувати WFM для застосувань фізичного штучного інтелекту, особливо в автономних транспортних засобах (AV) і робототехніці. Cosmos інтегрує передові генеративні моделі, інструменти обробки даних і функції безпеки для розробки систем штучного інтелекту, які взаємодіють з фізичним світом. Платформа є відкритою, з моделями, доступними під перmissive ліцензіями.

Ключові компоненти платформи включають:

• Генеративні світові фундаментальні моделі (WFMs): попередньо натреновані моделі, які симулюють фізичні середовища і взаємодії.
• Розширені токенізаційні інструменти: інструменти, які ефективно стискають і обробляють дані для швидшого навчання моделей.
• Прискорена обробка даних: система для обробки великих наборів даних, що працює на основі інфраструктури NVIDIA.

Одна з ключових новинок Cosmos – це модель раціонального мислення для фізичного штучного інтелекту. Ця модель надає розробникам можливість створювати і модифікувати віртуальні світи. Вони можуть налаштовувати симуляції для конкретних потреб, таких як тестування здатності робота піднімати об’єкти або оцінка реакції AV на раптову перешкоду.

Ключові особливості NVIDIA Cosmos

NVIDIA Cosmos надає різні компоненти для вирішення конкретних проблем у розвитку фізичного штучного інтелекту:

• Cosmos Transfer WFM: ці моделі приймають структуровані відеовходи, такі як сегментовані карти, глибинні карти або сканиування лідара, і генерують керовані, фотореалістичні відеовихіди. Ця можливість особливо корисна для створення синтетичних даних для навчання систем сприйняття штучного інтелекту, таких як системи, які допомагають AV розпізнавати об’єкти або роботам розпізнавати їх оточення.
• Cosmos Predict WFM: моделі Cosmos Predict генерують віртуальні стани світу на основі багатомодальних входів, включаючи текст, зображення і відео. Вони можуть передбачати майбутні сценарії, такі як те, як сцена може розвиватися з часом, і підтримувати генерацію چندокадрових послідовностей для складних послідовностей. Розробники можуть налаштовувати ці моделі, використовуючи набір даних фізичного штучного інтелекту NVIDIA, щоб задовольнити свої конкретні потреби, такі як передбачення руху пішоходів або дій роботів.
• Cosmos Reason WFM: модель Cosmos Reason – це повністю налаштовувана WFM з просторово-часовою свідомістю. Її здатність до раціонального мислення дозволяє їй розуміти як просторові відносини, так і те, як вони змінюються з часом. Модель використовує ланцюгове мислення для аналізу відеоданих і передбачення результатів, таких як те, чи людина перейде дорогу, або чи коробка впаде з полиці.

Застосування і випадки використання

NVIDIA Cosmos вже має значний вплив на галузь, з кількома провідними компаніями, які приймають платформу для своїх проектів фізичного штучного інтелекту. Ці ранні приймачі підкреслюють універсальність і практичний вплив Cosmos у різних секторах:

• 1X: використовує Cosmos для просунутої робототехніки, щоб покращити свою здатність розробляти системи штучного інтелекту.
• Agility Robotics: розширює своє партнерство з NVIDIA для використання Cosmos у системах гуманоїдної робототехніки.
• Figure AI: використовує Cosmos для просунутої гуманоїдної робототехніки, зосереджуючись на штучному інтелекті, який може виконувати складні завдання.
• Foretellix: застосовує Cosmos у симуляції автономних транспортних засобів для генерації широкого спектра тестових сценаріїв.
• Skild AI: використовує Cosmos для розробки рішень штучного інтелекту для різних застосувань.
• Uber: інтегрує Cosmos у розвиток автономних транспортних засобів для покращення навчальних даних для систем самоходних транспортних засобів.
• Oxa: використовує Cosmos для прискорення промислової мобільності.
• Virtual Incision: досліджує Cosmos для хірургічної робототехніки для покращення точності у сфері охорони здоров’я.

Ці випадки використання демонструють, як Cosmos може задовольняти широкий спектр потреб, від транспорту до охорони здоров’я, забезпечуючи синтетичні дані для навчання цих фізичних систем штучного інтелекту.

Майбутні наслідки

Запуск NVIDIA Cosmos важливий для розвитку фізичних систем штучного інтелекту. Надавши відкриту платформу з потужними інструментами і моделями, NVIDIA робить розвиток фізичного штучного інтелекту доступним для більш широкого кола розробників і організацій. Це може привести до значних досягнень у кількох областях.

У сфері автономного транспорту покращені навчальні дані і симуляції можуть привести до безпечнішого і надійнішого самоходного руху. У робототехніці швидша розробка роботів, здатних виконувати складні завдання, може трансформувати галузі, такі як виробництво, логістика і охорона здоров’я. У сфері охорони здоров’я технології, такі як хірургічна робототехніка, досліджувана компанією Virtual Incision, можуть покращити точність і результати медичних процедур.

Висновок

NVIDIA Cosmos відіграє важливу роль у розвитку фізичного штучного інтелекту. Ця платформа дозволяє розробникам генерувати високоякісні синтетичні дані, надаючи попередньо натреновані, фізично-інформовані світові фундаментальні моделі (WFMs) для створення реалістичних симуляцій. З відкритим доступом, просунутими функціями і засобами безпеки, Cosmos забезпечує швидшу, більш ефективну розробку штучного інтелекту. Платформа вже стимулює значні досягнення у галузях, таких як транспорт, робототехніка і охорона здоров’я, забезпечуючи синтетичні дані для будівництва інтелектуальних систем, які взаємодіють з фізичним світом.