NVIDIA Cosmos: Розширення можливостей фізичного штучного інтелекту за допомогою симуляцій

Розробка фізичних систем штучного інтелекту, таких як роботи на заводських цехах та автономні транспортні засоби на вулицях, значною мірою залежить від великих, високоякісних наборів даних для навчання. Однак збір реальних даних є дорогим, трудомістким і часто обмеженим кількома великими технологічними компаніями. Космос від NVIDIA Платформа вирішує цю проблему, використовуючи передові фізичні симуляції для створення реалістичних синтетичних даних у великому масштабі. Це дозволяє інженерам навчати моделі ШІ без витрат і затримок, пов'язаних зі збором реальних даних. У цій статті обговорюється, як Cosmos покращує доступ до необхідних навчальних даних і прискорює розробку безпечного та надійного ШІ для реальних застосувань.

Розуміння фізичного ШІ

Фізичний ШІ стосується систем штучного інтелекту, які можуть сприймати, розуміти та діяти у фізичному світі. На відміну від традиційного ШІ, який може аналізувати текст або зображення, фізичний ШІ повинен мати справу зі складнощами реального світу, такими як просторові відносини, фізичні сили та динамічне середовище. Наприклад, безпілотний автомобіль повинен розпізнавати пішоходів, передбачати їхні рухи та коригувати свій шлях у режимі реального часу, враховуючи такі фактори, як погодні та дорожні умови. Аналогічно, робот на складі повинен долати перешкоди та маніпулювати об'єктами з точністю.

Розробка фізичного ШІ є складною, оскільки вимагає величезних обсягів даних для навчання моделей у різних реальних сценаріях. Збір цих даних, будь то години відеозаписів водіння чи демонстрації робототехнічних завдань, може бути трудомістким і дорогим. Крім того, тестування ШІ в реальному світі може бути ризикованим, оскільки помилки можуть призвести до аварій. NVIDIA Cosmos вирішує ці проблеми, використовуючи фізичні симуляції для створення реалістичних синтетичних даних. Такий підхід спрощує та прискорює розробку фізичних систем ШІ.

Що таке моделі Всесвітнього фонду?

В основі NVIDIA Cosmos це колекція моделей штучного інтелекту під назвою «світ» моделі фундаменту (WFM)Ці моделі штучного інтелекту спеціально розроблені для моделювання віртуальних середовищ, які точно імітують фізичний світ. Генеруючи відео або сценарії з урахуванням фізики, WFM моделюють взаємодію об'єктів на основі просторових відносин та фізичних законів. Наприклад, WFM може імітувати рух автомобіля крізь зливу, показуючи, як вода впливає на зчеплення або як фари відбиваються від мокрих поверхонь.

Моделі WFM (моделі керування функцією перетворення) мають вирішальне значення для фізичного ШІ, оскільки вони забезпечують безпечний, контрольований простір для навчання та тестування систем ШІ. Замість збору реальних даних, розробники можуть використовувати WFM для створення синтетичних даних — реалістичних симуляцій середовищ та взаємодій. Такий підхід не тільки знижує витрати, але й прискорює процес розробки та дозволяє тестувати складні, рідкісні сценарії (такі як незвичайні дорожні ситуації) без ризиків, пов'язаних з тестуванням у реальному світі. WFM — це моделі загального призначення, які можна налаштувати для конкретних застосувань, подібно до того, як великі мовні моделі адаптуються для таких завдань, як переклад або чат-боти.

Презентація NVIDIA Cosmos

NVIDIA Cosmos — це платформа, розроблена для того, щоб розробники могли створювати та налаштовувати WFM (моделі робочих процесів) для фізичних застосувань штучного інтелекту, зокрема в автономних транспортних засобах (ATV) та робототехніці. Cosmos інтегрує передові генеративні моделі, інструменти обробки даних та функції безпеки для розробки систем штучного інтелекту, які взаємодіють з фізичним світом. Платформа має відкритий вихідний код, а моделі доступні за ліцензіями, що дозволяють реалізувати її.

Ключові компоненти платформи включають:

• Моделі генеративного світового фундаменту (WFM): Попередньо навчені моделі, що імітують фізичне середовище та взаємодію.
• Розширені токенаізатори: Інструменти, які ефективно стискають та обробляють дані для швидшого навчання моделі.
• Прискорений конвеєр обробки даних: Система для обробки великих наборів даних, що працює на обчислювальній інфраструктурі NVIDIA.

Ключовою новинкою Cosmos є його модель міркувань для фізичного ШІ. Ця модель надає розробникам можливість створювати та змінювати віртуальні світи. Вони можуть адаптувати симуляції до конкретних потреб, таких як тестування здатності робота піднімати предмети або оцінка реакції автономного транспортного засобу на раптову перешкоду.

Ключові характеристики NVIDIA Cosmos

NVIDIA Cosmos пропонує різні компоненти для вирішення конкретних проблем у розробці фізичного штучного інтелекту:

• Cosmos Transfer WFMs: Ці моделі приймають структуровані відеовхідні дані, такі як карти сегментації, карти глибини або лідарні сканування, та генерують керовані фотореалістичні відеовиходи. Ця можливість особливо корисна для створення синтетичних даних для навчання штучного інтелекту сприйняття, таких як системи, що допомагають автономним транспортним засобам ідентифікувати об'єкти або роботам розпізнавати своє оточення.
• Cosmos Predict WFMs: Моделі Cosmos Predict генерують стани віртуального світу на основі мультимодальних вхідних даних, включаючи текст, зображення та відео. Вони можуть передбачати майбутні сценарії, такі як розвиток сцени з часом, та підтримувати генерацію кількох кадрів для складних послідовностей. Розробники можуть налаштовувати ці моделі за допомогою фізичного набору даних штучного інтелекту NVIDIA відповідно до своїх конкретних потреб, таких як прогнозування рухів пішоходів або дій роботів.
• Космос Різон, WFM: Модель Cosmos Reason — це повністю настроювана модель роботи з реальними процесами (WFM) з просторово-часовою усвідомленістю. Її здатність до міркування дозволяє їй розуміти як просторові відносини, так і те, як вони змінюються з часом. Модель використовує ланцюгове міркування для аналізу відеоданих та прогнозування результатів, наприклад, чи переступить людина пішохідний перехід, чи впаде коробка з полиці.

Програми та випадки використання

NVIDIA Cosmos вже має значний вплив на галузь, і кілька провідних компаній використовують цю платформу для своїх проектів фізичного штучного інтелекту. Ці перші користувачі підкреслюють універсальність та практичний вплив Cosmos у різних секторах:

• 1XВикористання Cosmos для передової робототехніки з метою покращення їхньої здатності розробляти роботів на базі штучного інтелекту.
• Робототехніка аджилитиРозширення партнерства з NVIDIA для використання Cosmos для гуманоїдних роботизованих систем.
• Малюнок AIВикористання Cosmos для розвитку гуманоїдної робототехніки, зосереджуючись на штучному інтелекті, здатному виконувати складні завдання.
• ForetellixЗастосування Cosmos у симуляції автономних транспортних засобів для створення широкого спектру сценаріїв тестування.
• Навички ШІВикористання Cosmos для розробки рішень на основі штучного інтелекту для різних застосувань.
• УберІнтеграція Cosmos у розробку автономних транспортних засобів для покращення навчальних даних для систем безпілотного керування.
• ОксаВикористання Cosmos для пришвидшення автоматизації промислової мобільності.
• Віртуальний розрізДослідження космосу для хірургічної робототехніки з метою підвищення точності в охороні здоров'я.

Ці варіанти використання демонструють, як Cosmos може задовольнити широкий спектр потреб, від транспорту до охорони здоров'я, надаючи синтетичні дані для навчання цих фізичних систем штучного інтелекту.

Майбутні наслідки

Запуск NVIDIA Cosmos важливий для розробки фізичних систем штучного інтелекту. Пропонуючи платформу з відкритим кодом із потужними інструментами та моделями, NVIDIA робить розробку фізичного ШІ доступною для ширшого кола розробників та організацій. Це може призвести до значного прогресу в кількох сферах.

В автономному транспорті покращені навчальні дані та симуляції можуть призвести до створення безпечніших та надійніших автомобілів з автономним керуванням. У робототехніці швидший розвиток роботів, здатних виконувати складні завдання, може трансформувати такі галузі, як виробництво, логістика та охорона здоров'я. В охороні здоров'я такі технології, як хірургічна робототехніка, досліджена в рамках Virtual Incision, можуть покращити точність та результати медичних процедур.

Bottom Line

NVIDIA Cosmos відіграє життєво важливу роль у розвитку фізичного штучного інтелекту. Ця платформа дозволяє розробникам генерувати високоякісні синтетичні дані, надаючи попередньо навчені, засновані на фізиці моделі світового фундаменту (WFM) для створення реалістичних симуляцій. Завдяки відкритому доступу до коду, розширеним функціям та етичним гарантіям, Cosmos забезпечує швидшу та ефективнішу розробку штучного інтелекту. Платформа вже сприяє значному прогресу в таких галузях, як транспорт, робототехніка та охорона здоров'я, надаючи синтетичні дані для побудови інтелектуальних систем, що взаємодіють з фізичним світом.