NVIDIA Cosmos: Расширение возможностей физического ИИ с помощью моделирования

Разработка физических систем ИИ, таких как роботы на заводах и автономные транспортные средства на улицах, в значительной степени зависит от больших, высококачественных наборов данных для обучения. Однако сбор реальных данных является дорогостоящим, отнимающим много времени и часто ограничивается несколькими крупными технологическими компаниями. Cosmos от NVIDIA Платформа решает эту проблему, используя передовые физические симуляции для генерации реалистичных синтетических данных в масштабе. Это позволяет инженерам обучать модели ИИ без затрат и задержек, связанных со сбором данных реального мира. В этой статье обсуждается, как Cosmos улучшает доступ к необходимым учебным данным и ускоряет разработку безопасного и надежного ИИ для приложений реального мира.

Понимание физического ИИ

Физический ИИ относится к системам искусственного интеллекта, которые могут воспринимать, понимать и действовать в физическом мире. В отличие от традиционного ИИ, который может анализировать текст или изображения, физический ИИ должен иметь дело со сложностями реального мира, такими как пространственные отношения, физические силы и динамическая среда. Например, беспилотный автомобиль должен распознавать пешеходов, предсказывать их движения и корректировать свой путь в реальном времени, учитывая такие факторы, как погода и дорожные условия. Аналогично, робот на складе должен обходить препятствия и точно манипулировать объектами.

Разработка физического ИИ — сложная задача, поскольку для обучения моделей в разнообразных реальных условиях требуются огромные объёмы данных. Сбор этих данных, будь то многочасовые записи вождения или демонстрации роботизированных задач, может быть трудоёмким и дорогостоящим. Более того, тестирование ИИ в реальных условиях может быть рискованным, поскольку ошибки могут привести к авариям. NVIDIA Cosmos решает эти проблемы, используя физическое моделирование для генерации реалистичных синтетических данных. Такой подход упрощает и ускоряет разработку систем физического ИИ.

Что такое модели Всемирного фонда?

В основе NVIDIA Космос это коллекция моделей ИИ, называемая миром модели фундамента (WFM). Эти модели ИИ специально разработаны для моделирования виртуальных сред, которые точно имитируют физический мир. Создавая видео или сценарии, учитывающие физику, WFM имитируют взаимодействие объектов на основе пространственных отношений и физических законов. Например, WFM может имитировать движение автомобиля во время ливня, показывая, как вода влияет на сцепление или как фары отражаются от мокрых поверхностей.

WFM имеют решающее значение для физического ИИ, поскольку они обеспечивают безопасное, контролируемое пространство для обучения и тестирования систем ИИ. Вместо сбора данных реального мира разработчики могут использовать WFM для генерации синтетических данных — реалистичных симуляций сред и взаимодействий. Такой подход не только снижает затраты, но и ускоряет процесс разработки и позволяет тестировать сложные, редкие сценарии (например, необычные дорожные ситуации) без рисков, связанных с тестированием в реальном мире. WFM — это универсальные модели, которые можно настраивать для конкретных приложений, подобно тому, как большие языковые модели адаптируются для таких задач, как перевод или чат-боты.

Представление NVIDIA Cosmos

NVIDIA Cosmos — это платформа, разработанная для того, чтобы позволить разработчикам создавать и настраивать WFM для приложений физического ИИ, в частности, в автономных транспортных средствах (AV) и робототехнике. Cosmos объединяет передовые генеративные модели, инструменты обработки данных и функции безопасности для разработки систем ИИ, взаимодействующих с физическим миром. Платформа имеет открытый исходный код, модели доступны по разрешительным лицензиям.

Ключевые компоненты платформы включают в себя:

• Модели фундамента генеративного мира (WFM): Предварительно обученные модели, имитирующие физическую среду и взаимодействия.
• Расширенные токенизаторы: Инструменты, которые эффективно сжимают и обрабатывают данные для более быстрого обучения моделей.
• Ускоренный конвейер обработки данных: Система для обработки больших наборов данных на базе вычислительной инфраструктуры NVIDIA.

Ключевым новшеством Cosmos является его модель рассуждений для физического ИИ. Эта модель дает разработчикам возможность создавать и изменять виртуальные миры. Они могут адаптировать симуляции к конкретным потребностям, например, тестировать способность робота подбирать объекты или оценивать реакцию АВ на внезапное препятствие.

Основные характеристики NVIDIA Cosmos

NVIDIA Cosmos предоставляет различные компоненты для решения конкретных задач при разработке физического ИИ:

• WFM Cosmos Transfer: Эти модели принимают структурированные видеовходы, такие как карты сегментации, карты глубины или лидарные сканирования, и генерируют управляемые фотореалистичные видеовыходы. Эта возможность особенно полезна для создания синтетических данных для обучения ИИ восприятия, например, систем, которые помогают беспилотным автомобилям идентифицировать объекты, а роботам — распознавать свое окружение.
• Cosmos Predict WFM: Модели Cosmos Predict генерируют состояния виртуального мира на основе мультимодальных входных данных, включая текст, изображения и видео. Они могут предсказывать будущие сценарии, например, как сцена может развиваться с течением времени, и поддерживают многокадровую генерацию для сложных последовательностей. Разработчики могут настраивать эти модели с помощью физического набора данных ИИ NVIDIA для удовлетворения своих конкретных потребностей, например, прогнозирования движений пешеходов или действий роботов.
• Космическая причина WFM: Модель Cosmos Reason — это полностью настраиваемая WFM с пространственно-временной осведомленностью. Ее способность к рассуждению позволяет ей понимать как пространственные отношения, так и то, как они меняются со временем. Модель использует цепочку рассуждений для анализа видеоданных и прогнозирования результатов, например, выйдет ли человек на пешеходный переход или упадет ли коробка с полки.

Приложения и варианты использования

NVIDIA Cosmos уже оказывает значительное влияние на отрасль, поскольку несколько ведущих компаний внедряют платформу для своих проектов физического ИИ. Эти ранние последователи подчеркивают универсальность и практическое влияние Cosmos в различных секторах:

• 1X: Использование Cosmos для передовой робототехники с целью улучшения возможностей разработки роботов, управляемых искусственным интеллектом.
• Робототехника Аджилити: Расширение партнерства с NVIDIA для использования Cosmos в гуманоидных роботизированных системах.
• Рисунок AI: Использование Cosmos для развития гуманоидной робототехники с упором на ИИ, способный выполнять сложные задачи.
• Форетелликс: Применение Cosmos в моделировании автономных транспортных средств для создания широкого спектра сценариев тестирования.
• Навыки ИИ: Использование Cosmos для разработки решений на основе искусственного интеллекта для различных приложений.
• Uber: Интеграция Cosmos в разработку автономных транспортных средств для улучшения данных обучения для систем беспилотного вождения.
• Окса: Использование Cosmos для ускорения автоматизации промышленной мобильности.
• Виртуальный разрез: Изучение космоса для хирургической робототехники с целью повышения точности в здравоохранении.

Эти примеры использования демонстрируют, как Cosmos может удовлетворить широкий спектр потребностей — от транспорта до здравоохранения — путем предоставления синтетических данных для обучения этих физических систем ИИ.

Будущие последствия

Запуск NVIDIA Cosmos важен для разработки систем физического ИИ. Предлагая платформу с открытым исходным кодом с мощными инструментами и моделями, NVIDIA делает разработку физического ИИ доступной для более широкого круга разработчиков и организаций. Это может привести к значительным достижениям в нескольких областях.

В области автономного транспорта улучшенные данные обучения и моделирования могут привести к созданию более безопасных и надежных беспилотных автомобилей. В робототехнике более быстрое развитие роботов, способных выполнять сложные задачи, может трансформировать такие отрасли, как производство, логистика и здравоохранение. В здравоохранении такие технологии, как хирургическая робототехника, как это было исследовано Virtual Incision, могут повысить точность и результаты медицинских процедур.

Выводы

NVIDIA Cosmos играет важную роль в разработке физического ИИ. Эта платформа позволяет разработчикам генерировать высококачественные синтетические данные, предоставляя предварительно обученные, основанные на физике модели мира (WFM) для создания реалистичных симуляций. Благодаря открытому доступу, расширенным функциям и этическим гарантиям Cosmos обеспечивает более быструю и эффективную разработку ИИ. Платформа уже является движущей силой крупных достижений в таких отраслях, как транспорт, робототехника и здравоохранение, предоставляя синтетические данные для создания интеллектуальных систем, взаимодействующих с физическим миром.