NVIDIA Cosmos: Wzmocnienie fizycznej sztucznej inteligencji dzięki symulacjom

Rozwój fizycznych systemów AI, takich jak roboty na halach fabrycznych i autonomiczne pojazdy na ulicach, w dużej mierze opiera się na dużych, wysokiej jakości zestawach danych do szkolenia. Jednak zbieranie danych ze świata rzeczywistego jest kosztowne, czasochłonne i często ograniczone do kilku dużych firm technologicznych. Cosmos firmy NVIDIA platforma radzi sobie z tym wyzwaniem, wykorzystując zaawansowane symulacje fizyczne do generowania realistycznych danych syntetycznych na dużą skalę. Umożliwia to inżynierom trenowanie modeli AI bez kosztów i opóźnień związanych ze zbieraniem danych ze świata rzeczywistego. W tym artykule omówiono, w jaki sposób Cosmos poprawia dostęp do niezbędnych danych szkoleniowych i przyspiesza rozwój bezpiecznej, niezawodnej AI do zastosowań w świecie rzeczywistym.

Zrozumienie fizycznej sztucznej inteligencji

Fizyczna sztuczna inteligencja odnosi się do systemów sztucznej inteligencji, które mogą postrzegać, rozumieć i działać w świecie fizycznym. W przeciwieństwie do tradycyjnej SI, która może analizować tekst lub obrazy, fizyczna SI musi radzić sobie ze złożonością świata rzeczywistego, taką jak relacje przestrzenne, siły fizyczne i dynamiczne środowiska. Na przykład samochód autonomiczny musi rozpoznawać pieszych, przewidywać ich ruchy i dostosowywać swoją trasę w czasie rzeczywistym, biorąc pod uwagę takie czynniki, jak pogoda i warunki drogowe. Podobnie robot w magazynie musi nawigować przez przeszkody i manipulować obiektami z precyzją.

Opracowywanie fizycznej AI jest trudne, ponieważ wymaga ogromnych ilości danych do trenowania modeli w różnych scenariuszach z życia wziętych. Gromadzenie tych danych, niezależnie od tego, czy są to godziny nagrań z jazdy samochodem, czy demonstracje zadań robotycznych, może być czasochłonne i kosztowne. Ponadto testowanie AI w świecie rzeczywistym może być ryzykowne, ponieważ błędy mogą prowadzić do wypadków. NVIDIA Cosmos rozwiązuje te wyzwania, wykorzystując symulacje oparte na fizyce do generowania realistycznych danych syntetycznych. Takie podejście upraszcza i przyspiesza rozwój fizycznych systemów AI.

Czym są modele World Foundation?

W istocie NVIDIA Kosmos jest zbiorem modeli sztucznej inteligencji zwanym światem modele fundamentowe (WFM). Te modele AI są specjalnie zaprojektowane do symulowania środowisk wirtualnych, które ściśle naśladują świat fizyczny. Poprzez generowanie filmów lub scenariuszy uwzględniających fizykę, WFM symulują interakcje obiektów w oparciu o relacje przestrzenne i prawa fizyki. Na przykład, WFM może symulować samochód jadący przez ulewę, pokazując, jak woda wpływa na przyczepność lub jak światła reflektorów odbijają się od mokrych powierzchni.

WFM są kluczowe dla fizycznej AI, ponieważ zapewniają bezpieczną, kontrolowaną przestrzeń do trenowania i testowania systemów AI. Zamiast zbierać dane ze świata rzeczywistego, programiści mogą używać WFM do generowania danych syntetycznych — realistycznych symulacji środowisk i interakcji. Takie podejście nie tylko obniża koszty, ale także przyspiesza proces rozwoju i umożliwia testowanie złożonych, rzadkich scenariuszy (takich jak nietypowe sytuacje na drodze) bez ryzyka związanego z testowaniem w świecie rzeczywistym. WFM to modele ogólnego przeznaczenia, które można dostroić do konkretnych zastosowań, podobnie jak duże modele językowe są dostosowywane do zadań takich jak tłumaczenie lub chatboty.

Prezentujemy NVIDIA Cosmos

NVIDIA Cosmos to platforma zaprojektowana w celu umożliwienia deweloperom tworzenia i dostosowywania WFM do fizycznych aplikacji AI, w szczególności w pojazdach autonomicznych (AV) i robotyce. Cosmos integruje zaawansowane modele generatywne, narzędzia do przetwarzania danych i funkcje bezpieczeństwa, aby rozwijać systemy AI, które wchodzą w interakcję ze światem fizycznym. Platforma jest open source, a modele są dostępne na podstawie licencji permisywnych.

Kluczowe komponenty platformy obejmują:

• Modele Fundacji Świata Generatywnego (WFM): Wstępnie wyszkolone modele symulujące środowiska fizyczne i interakcje.
• Zaawansowane tokenizatory: Narzędzia umożliwiające efektywną kompresję i przetwarzanie danych w celu szybszego szkolenia modelu.
• Przyspieszony proces przetwarzania danych: System do obsługi dużych zbiorów danych oparty na infrastrukturze obliczeniowej NVIDIA.

Kluczową nowością Cosmos jest model rozumowania dla fizycznej AI. Model ten zapewnia programistom możliwość tworzenia i modyfikowania wirtualnych światów. Mogą dostosowywać symulacje do konkretnych potrzeb, takich jak testowanie zdolności robota do podnoszenia obiektów lub ocena reakcji AV na nagłą przeszkodę.

Kluczowe cechy NVIDIA Cosmos

NVIDIA Cosmos oferuje różnorodne komponenty umożliwiające rozwiązanie konkretnych problemów w rozwoju fizycznej sztucznej inteligencji:

• Cosmos Transfer WFM: Modele te pobierają ustrukturyzowane dane wejściowe wideo, takie jak mapy segmentacji, mapy głębokości lub skany lidarowe, i generują kontrolowane, fotorealistyczne dane wyjściowe wideo. Ta możliwość jest szczególnie przydatna do tworzenia syntetycznych danych do trenowania percepcji AI, takich jak systemy, które pomagają AV identyfikować obiekty lub roboty rozpoznawać swoje otoczenie.
• Cosmos przewiduje WFM: Modele Cosmos Predict generują wirtualne stany świata na podstawie multimodalnych danych wejściowych, w tym tekstu, obrazów i wideo. Mogą przewidywać przyszłe scenariusze, takie jak ewolucja sceny w czasie, i obsługiwać generowanie wielu klatek dla złożonych sekwencji. Deweloperzy mogą dostosowywać te modele, korzystając z fizycznego zestawu danych AI firmy NVIDIA, aby spełnić swoje specyficzne potrzeby, takie jak przewidywanie ruchów pieszych lub działań robotów.
• Cosmos Reason WFM: Model Cosmos Reason to w pełni konfigurowalny WFM ze świadomością przestrzenno-czasową. Jego zdolność rozumowania pozwala mu rozumieć zarówno relacje przestrzenne, jak i to, jak zmieniają się one w czasie. Model wykorzystuje rozumowanie łańcuchowe do analizy danych wideo i przewidywania wyników, takich jak to, czy dana osoba wejdzie na przejście dla pieszych lub czy pudełko spadnie z półki.

Zastosowania i przypadki użycia

NVIDIA Cosmos ma już znaczący wpływ na branżę, a kilka wiodących firm przyjmuje platformę do swoich fizycznych projektów AI. Ci wczesni użytkownicy podkreślają wszechstronność i praktyczny wpływ Cosmos w różnych sektorach:

• 1X:Wykorzystanie Cosmosa do zaawansowanej robotyki w celu poprawy możliwości opracowywania robotów napędzanych sztuczną inteligencją.
• Robotyka Agility:Rozszerzamy współpracę z firmą NVIDIA w celu wykorzystania technologii Cosmos w systemach robotów humanoidalnych.
• Rysunek AI:Wykorzystanie Cosmosu do rozwoju robotyki humanoidalnej, ze szczególnym uwzględnieniem sztucznej inteligencji, która może wykonywać złożone zadania.
• Przepowiednia:Zastosowanie Cosmosa w symulacji pojazdów autonomicznych w celu wygenerowania szerokiej gamy scenariuszy testowych.
• Umiejętności AI:Wykorzystywanie Cosmos do opracowywania rozwiązań opartych na sztucznej inteligencji dla różnych aplikacji.
• Uber:Integracja Cosmos z rozwojem pojazdów autonomicznych w celu ulepszenia danych szkoleniowych dla systemów jazdy autonomicznej.
• Oksa:Wykorzystanie Cosmos do przyspieszenia automatyzacji mobilności przemysłowej.
• Wirtualne nacięcie:Badanie kosmosu pod kątem robotyki chirurgicznej w celu zwiększenia precyzji w opiece zdrowotnej.

Przypadki użycia pokazują, w jaki sposób Cosmos może sprostać szerokiemu zakresowi potrzeb, od transportu po opiekę zdrowotną, poprzez dostarczanie syntetycznych danych do trenowania tych fizycznych systemów sztucznej inteligencji.

Przyszłe konsekwencje

Wprowadzenie NVIDIA Cosmos jest ważne dla rozwoju fizycznych systemów AI. Oferując platformę open-source z potężnymi narzędziami i modelami, NVIDIA udostępnia rozwój fizycznej AI szerszemu gronu programistów i organizacji. Może to doprowadzić do znaczących postępów w kilku obszarach.

W transporcie autonomicznym ulepszone dane szkoleniowe i symulacje mogą prowadzić do bezpieczniejszych i bardziej niezawodnych samochodów autonomicznych. W robotyce szybszy rozwój robotów zdolnych do wykonywania złożonych zadań może przekształcić takie branże jak produkcja, logistyka i opieka zdrowotna. W opiece zdrowotnej technologie takie jak robotyka chirurgiczna, badane przez Virtual Incision, mogą poprawić precyzję i wyniki procedur medycznych.

Bottom Line

NVIDIA Cosmos odgrywa kluczową rolę w rozwoju fizycznej AI. Ta platforma umożliwia deweloperom generowanie wysokiej jakości syntetycznych danych poprzez dostarczanie wstępnie wytrenowanych, opartych na fizyce modeli fundamentów świata (WFM) do tworzenia realistycznych symulacji. Dzięki dostępowi do kodu źródłowego, zaawansowanym funkcjom i zabezpieczeniom etycznym Cosmos umożliwia szybszy i wydajniejszy rozwój AI. Platforma już napędza duże postępy w takich branżach jak transport, robotyka i opieka zdrowotna, dostarczając syntetyczne dane do budowy inteligentnych systemów, które wchodzą w interakcje ze światem fizycznym.