NVIDIA Cosmos: Овластяване на физическия изкуствен интелект чрез симулации

Разработването на физически системи с изкуствен интелект, като роботи във фабрични цехове и автономни превозни средства по улиците, разчита до голяма степен на големи, висококачествени набори от данни за обучение. Събирането на данни от реалния свят обаче е скъпо, отнема време и често е ограничено до няколко големи технологични компании. Космосът на NVIDIA Платформата се справя с това предизвикателство, като използва усъвършенствани физични симулации, за да генерира реалистични синтетични данни в мащаб. Това позволява на инженерите да обучават модели с изкуствен интелект без разходите и забавянето, свързани със събирането на данни от реалния свят. Тази статия обсъжда как Cosmos подобрява достъпа до основни данни за обучение и ускорява разработването на безопасен и надежден изкуствен интелект за реални приложения.

Разбиране на физическия изкуствен интелект

Физически AI се отнася до системи с изкуствен интелект, които могат да възприемат, разбират и действат във физическия свят. За разлика от традиционния изкуствен интелект, който може да анализира текст или изображения, физическият изкуствен интелект трябва да се справя със сложни ситуации в реалния свят, като пространствени взаимоотношения, физически сили и динамична среда. Например, самоуправляващ се автомобил трябва да разпознава пешеходци, да предвижда движенията им и да коригира пътя си в реално време, като същевременно взема предвид фактори като метеорологични условия и пътни условия. По подобен начин, робот в склад трябва да се ориентира в препятствия и да манипулира обекти с прецизност.

Разработването на физически изкуствен интелект е предизвикателство, защото изисква огромни количества данни за обучение на модели върху различни реални сценарии. Събирането на тези данни, независимо дали става въпрос за часове кадри от шофиране или демонстрации на роботизирани задачи, може да бъде отнемащо време и скъпо. Освен това, тестването на изкуствен интелект в реалния свят може да бъде рисковано, тъй като грешките могат да доведат до инциденти. NVIDIA Cosmos се справя с тези предизвикателства, като използва симулации, базирани на физика, за генериране на реалистични синтетични данни. Този подход опростява и ускорява разработването на физически системи с изкуствен интелект.

Какво представляват моделите на Световната фондация?

В основата на NVIDIA Космос е колекция от модели на изкуствен интелект, наречени свят модели на основите (WFM)Тези AI модели са специално проектирани да симулират виртуални среди, които имитират физическия свят. Чрез генериране на видеоклипове или сценарии, съобразени с физиката, WFM симулират как обектите взаимодействат въз основа на пространствени взаимоотношения и физични закони. Например, WFM може да симулира шофиране на автомобил през дъждовна буря, показвайки как водата влияе на сцеплението или как фаровете се отразяват от мокрите повърхности.

WFM (модели с общо предназначение) са от решаващо значение за физическия ИИ, защото осигуряват безопасно и контролируемо пространство за обучение и тестване на ИИ системи. Вместо да събират данни от реалния свят, разработчиците могат да използват WFM, за да генерират синтетични данни – реалистични симулации на среди и взаимодействия. Този подход не само намалява разходите, но и ускорява процеса на разработка и позволява тестване на сложни, редки сценарии (като необичайни пътни ситуации) без рисковете, свързани с тестването в реалния свят. WFM са модели с общо предназначение, които могат да бъдат фино настроени за специфични приложения, подобно на начина, по който големите езикови модели се адаптират за задачи като превод или чатботове.

Представяне на NVIDIA Cosmos

NVIDIA Cosmos е платформа, предназначена да позволи на разработчиците да изграждат и персонализират WFM-ове за физически приложения с изкуствен интелект, особено в автономни превозни средства (AV) и роботика. Cosmos интегрира усъвършенствани генеративни модели, инструменти за обработка на данни и функции за безопасност, за да разработва системи с изкуствен интелект, които взаимодействат с физическия свят. Платформата е с отворен код, като моделите са достъпни под разрешителни лицензи.

Ключовите компоненти на платформата включват:

• Модели на генеративни световни основи (WFM): Предварително обучени модели, които симулират физическа среда и взаимодействия.
• Разширени токенизатори: Инструменти, които ефективно компресират и обработват данни за по-бързо обучение на модели.
• Ускорен тръбопровод за обработка на данни: Система за обработка на големи набори от данни, задвижвана от изчислителната инфраструктура на NVIDIA.

Ключова новост на Cosmos е неговият модел на разсъждение за физическия изкуствен интелект. Този модел предоставя на разработчиците възможността да създават и модифицират виртуални светове. Те могат да приспособят симулациите към специфични нужди, като например тестване на способността на робот да вдига предмети или оценка на реакцията на автономно превозно средство на внезапно препятствие.

Основни характеристики на NVIDIA Cosmos

NVIDIA Cosmos предоставя различни компоненти за справяне със специфични предизвикателства при разработването на физически изкуствен интелект:

• WFM-ове за Cosmos Transfer: Тези модели приемат структурирани видео входни данни, като например карти на сегментиране, карти на дълбочина или лидарни сканирания, и генерират контролируеми, фотореалистични видео изходи. Тази възможност е особено полезна за създаване на синтетични данни за обучение на изкуствен интелект с възприятие, като например системи, които помагат на автономните превозни средства да идентифицират обекти или роботите да разпознават заобикалящата ги среда.
• Cosmos Predict WFMs: Моделите на Cosmos Predict генерират състояния на виртуалния свят въз основа на мултимодални входни данни, включително текст, изображения и видео. Те могат да предсказват бъдещи сценарии, като например как дадена сцена може да се развива с течение на времето, и да поддържат генериране на множество кадри за сложни последователности. Разработчиците могат да персонализират тези модели, използвайки физическия набор от данни с изкуствен интелект на NVIDIA, за да отговорят на специфичните си нужди, като например предсказване на движенията на пешеходци или действията на роботи.
• Космос Резонанс WFM: Моделът Cosmos Reason е напълно персонализируема WFM с пространствено-времева осведоменост. Способността му за разсъждение му позволява да разбира както пространствените взаимоотношения, така и как те се променят с течение на времето. Моделът използва верижно разсъждение, за да анализира видео данни и да предсказва резултати, като например дали човек ще стъпи на пешеходна пътека или дали кутия ще падне от рафт.

Приложения и случаи на употреба

NVIDIA Cosmos вече оказва значително влияние върху индустрията, като няколко водещи компании внедряват платформата за своите проекти с физически изкуствен интелект. Тези ранни потребители подчертават гъвкавостта и практическото въздействие на Cosmos в различни сектори:

• 1XИзползване на Cosmos за напреднала роботика, за да се подобри способността им да разработват роботи, управлявани от изкуствен интелект.
• Роботика за ловкостРазширяване на партньорството им с NVIDIA за използване на Cosmos за хуманоидни роботизирани системи.
• Фигура AIИзползване на Космоса за развитие на хуманоидната роботика, с фокус върху изкуствен интелект, който може да изпълнява сложни задачи.
• ForetellixПрилагане на Cosmos в симулацията на автономни превозни средства за генериране на широк спектър от тестови сценарии.
• Умение AIИзползване на Cosmos за разработване на решения, базирани на изкуствен интелект, за различни приложения.
• UberИнтегриране на Cosmos в разработването на автономни превозни средства за подобряване на данните за обучение на системи за автономно управление.
• ОксаИзползване на Cosmos за ускоряване на автоматизацията на индустриалната мобилност.
• Виртуален разрезИзследване на Космоса за хирургическа роботика за подобряване на прецизността в здравеопазването.

Тези случаи на употреба демонстрират как Cosmos може да отговори на широк спектър от нужди, от транспорт до здравеопазване, като предоставя синтетични данни за обучение на тези физически системи с изкуствен интелект.

Бъдещи последици

Стартирането на NVIDIA Cosmos е важно за разработването на физически системи с изкуствен интелект. Като предлага платформа с отворен код с мощни инструменти и модели, NVIDIA прави разработването на физически ИИ достъпно за по-широк кръг от разработчици и организации. Това би могло да доведе до значителен напредък в няколко области.

В автономния транспорт, подобрените данни за обучение и симулации биха могли да доведат до по-безопасни и по-надеждни автономни автомобили. В роботиката, по-бързото разработване на роботи, способни да изпълняват сложни задачи, би могло да трансформира индустрии като производство, логистика и здравеопазване. В здравеопазването, технологии като хирургическата роботика, изследвана от Virtual Incision, биха могли да подобрят прецизността и резултатите от медицинските процедури.

Долната линия

NVIDIA Cosmos играе жизненоважна роля в разработването на физическия изкуствен интелект. Тази платформа позволява на разработчиците да генерират висококачествени синтетични данни, като предоставя предварително обучени, базирани на физика модели на световни основи (WFM) за създаване на реалистични симулации. Със своя достъп с отворен код, разширени функции и етични гаранции, Cosmos позволява по-бързо и по-ефективно разработване на изкуствен интелект. Платформата вече е движеща сила за значителен напредък в индустрии като транспорт, роботика и здравеопазване, като предоставя синтетични данни за изграждане на интелигентни системи, които взаимодействат с физическия свят.