NVIDIA Cosmos: Wspieranie sztucznej inteligencji fizycznej za pomocą symulacji

Rozwój systemów sztucznej inteligencji fizycznej, takich jak roboty na halach produkcyjnych i pojazdy autonomiczne na ulicach, opiera się w dużej mierze na dużych, wysokiej jakości zbiorach danych do szkolenia. Jednak zbieranie danych z świata rzeczywistego jest kosztowne, czasochłonne i często ograniczone do kilku dużych firm technologicznych. Platforma NVIDIA Cosmos (NVDA ) rozwiązuje ten problem, wykorzystując zaawansowane symulacje fizyczne do generowania realistycznych danych syntetycznych w dużym zakresie. To umożliwia inżynierom szkolenie modeli sztucznej inteligencji bez kosztów i opóźnień związanych z gromadzeniem danych z świata rzeczywistego. Artykuł ten omawia, jak Cosmos poprawia dostęp do niezbędnych danych szkoleniowych i przyspiesza rozwój bezpiecznej, niezawodnej sztucznej inteligencji dla aplikacji świata rzeczywistego.

Poznanie sztucznej inteligencji fizycznej

Sztuczna inteligencja fizyczna odnosi się do systemów sztucznej inteligencji, które mogą postrzegać, rozumieć i działać w świecie fizycznym. W przeciwieństwie do tradycyjnej sztucznej inteligencji, która może analizować tekst lub obrazy, sztuczna inteligencja fizyczna musi radzić sobie z złożonościami świata rzeczywistego, takimi jak relacje przestrzenne, siły fizyczne i dynamiczne środowiska. Na przykład, samochód autonomiczny musi rozpoznać pieszych, przewidzieć ich ruchy i dostosować swoją trasę w czasie rzeczywistym, biorąc pod uwagę czynniki takie jak pogoda i stan dróg. Podobnie, robot w magazynie musi nawigować wokół przeszkód i manipulować obiektami z precyzją.

Rozwój sztucznej inteligencji fizycznej jest wyzwaniem, ponieważ wymaga ogromnych ilości danych do szkolenia modeli w różnych scenariuszach świata rzeczywistego. Zbieranie tych danych, czy to godziny nagrania jazdy, czy demonstracje zadań robota, może być czasochłonne i kosztowne. Ponadto, testowanie sztucznej inteligencji w świecie rzeczywistym może być ryzykowne, ponieważ błędy mogą prowadzić do wypadków. NVIDIA Cosmos rozwiązuje te wyzwania, wykorzystując symulacje fizyczne do generowania realistycznych danych syntetycznych. To upraszcza i przyspiesza rozwój systemów sztucznej inteligencji fizycznej.

Czym są modele podstawowe świata?

W sercu NVIDIA Cosmos znajduje się zbiór modeli sztucznej inteligencji zwanych modelami podstawowymi świata (WFMs). Te modele sztucznej inteligencji są specjalnie zaprojektowane do symulowania wirtualnych środowisk, które ściśle naśladują świat fizyczny. Generując filmy lub scenariusze świadome fizyki, WFMs symulują, jak obiekty互одействują na podstawie relacji przestrzennych i praw fizycznych. Na przykład, WFM może symulować samochód jadący przez burzę, pokazując, jak woda wpływa na przyczepność lub jak reflektory odbijają się od mokrych powierzchni.

WFMs są niezbędne dla sztucznej inteligencji fizycznej, ponieważ zapewniają bezpieczną, kontrolowaną przestrzeń do szkolenia i testowania systemów sztucznej inteligencji. Zamiast zbierać dane z świata rzeczywistego, deweloperzy mogą wykorzystać WFMs do generowania danych syntetycznych – realistycznych symulacji środowisk i interakcji. To nie tylko redukuje koszty, ale także przyspiesza rozwój i pozwala na testowanie złożonych, rzadkich scenariuszy (takich jak niezwykłe sytuacje ruchu) bez ryzyka związanego z testowaniem w świecie rzeczywistym. WFMs są modelami ogólnego przeznaczenia, które mogą być dostosowane do konkretnych aplikacji, podobnie jak duże modele językowe są adaptowane do zadań takich jak tłumaczenie lub czatboty.

Przedstawienie NVIDIA Cosmos

NVIDIA Cosmos to platforma zaprojektowana do umożliwienia deweloperom budowy i personalizacji WFM dla aplikacji sztucznej inteligencji fizycznej, szczególnie w pojazdach autonomicznych (AV) i robotyce. Cosmos integruje zaawansowane modele generatywne, narzędzia do przetwarzania danych i funkcje bezpieczeństwa, aby rozwijać systemy sztucznej inteligencji, które взаимодействują ze światem fizycznym. Platforma jest otwarta, z modelami dostępnymi na licencjach permissive.

Kluczowymi składnikami platformy są:

• Model podstawowy świata (WFM): Wstępnie wytrenowane modele, które symulują środowiska fizyczne i interakcje.
• Zaawansowane tokenizatory: Narzędzia, które wydajnie kompresują i przetwarzają dane dla szybszego szkolenia modelu.
• Przyspieszona pipeline przetwarzania danych: System do obsługi dużych zbiorów danych, napędzany przez infrastrukturę obliczeniową NVIDIA.

Kluczową nowością Cosmos jest jego model rozumowania dla sztucznej inteligencji fizycznej. Ten model zapewnia deweloperom możliwość tworzenia i modyfikowania wirtualnych światów. Mogą oni dostosować symulacje do konkretnych potrzeb, takich jak testowanie zdolności robota do podnoszenia obiektów lub ocena reakcji AV na nagłe przeszkody.

Kluczowe funkcje NVIDIA Cosmos

NVIDIA Cosmos zapewnia różne składniki do rozwiązywania konkretnych wyzwań w rozwoju sztucznej inteligencji fizycznej:

• Cosmos Transfer WFM: Te modele przyjmują dane wejściowe w postaci filmów, takich jak mapy segmentacji, mapy głębi lub skany lidarowe, i generują sterowalne, fotorealistyczne dane wyjściowe wideo. Ta funkcjonalność jest szczególnie przydatna do tworzenia danych syntetycznych do szkolenia sztucznej inteligencji percepcyjnej, takiej jak systemy, które pomagają AV rozpoznać obiekty lub robotom rozpoznać ich otoczenie.
• Cosmos Predict WFM: Modele Cosmos Predict generują wirtualne stany świata na podstawie wielomodalnych danych wejściowych, w tym tekstu, obrazów i filmów. Mogą one przewidywać przyszłe scenariusze, takie jak to, jak scena może się rozwinąć w czasie, i wspierać generację wieloklatkową dla złożonych sekwencji. Deweloperzy mogą dostosować te modele za pomocą zestawu danych sztucznej inteligencji fizycznej NVIDIA, aby spełnić ich konkretnych potrzeb, takich jak przewidywanie ruchów pieszych lub działań robota.
• Cosmos Reason WFM: Model Cosmos Reason to w pełni dostosowywalny WFM ze świadomością przestrzenną i czasową. Jego zdolność rozumowania umożliwia mu zrozumienie zarówno relacji przestrzennych, jak i ich zmian w czasie. Model wykorzystuje łańcuchowe rozumowanie do analizy danych wideo i przewidywania wyników, takich jak czy osoba wejdzie na przejście dla pieszych, czy pudełko spadnie z półki.

Zastosowania i przypadki użycia

NVIDIA Cosmos ma już znaczący wpływ na branżę, z kilkoma wiodącymi firmami, które przyjmują tę platformę do swoich projektów sztucznej inteligencji fizycznej. Te wczesne przyjęcia podkreślają wszechstronność i praktyczny wpływ Cosmos w różnych sektorach:

• 1X: Wykorzystuje Cosmos do zaawansowanej robotyki, aby poprawić swoją zdolność do tworzenia robotów napędzanych sztuczną inteligencją.
• Agility Robotics: Rozszerza swoje partnerstwo z NVIDIA, aby wykorzystać Cosmos do systemów robotów humanoidalnych.
• Figure AI: Wykorzystuje Cosmos, aby rozwinąć robotykę humanoidalną, koncentrując się na sztucznej inteligencji, która może wykonywać złożone zadania.
• Foretellix: Stosuje Cosmos w symulacji pojazdów autonomicznych, aby wygenerować szeroki zakres scenariuszy testowych.
• Skild AI: Wykorzystuje Cosmos do tworzenia rozwiązań napędzanych sztuczną inteligencją dla różnych aplikacji.
• Uber: Integruje Cosmos ze swoim rozwojem pojazdów autonomicznych, aby poprawić dane szkoleniowe dla systemów samochodów autonomicznych.
• Oxa: Wykorzystuje Cosmos, aby przyspieszyć automatyzację mobilności przemysłowej.
• Virtual Incision: Bada Cosmos do zastosowań w robotyce chirurgicznej, aby poprawić precyzję w opiece zdrowotnej.

Te przypadki użycia pokazują, jak Cosmos może spełnić szeroki zakres potrzeb, od transportu do opieki zdrowotnej, dostarczając dane syntetyczne do szkolenia tych systemów sztucznej inteligencji fizycznej.

Przyszłe implikacje

Uruchomienie NVIDIA Cosmos jest ważne dla rozwoju systemów sztucznej inteligencji fizycznej. Poprzez oferowanie otwartej platformy z potężnymi narzędziami i modelami, NVIDIA sprawia, że rozwój sztucznej inteligencji fizycznej staje się bardziej dostępny dla szerszego zakresu deweloperów i organizacji. Może to prowadzić do znaczących postępów w kilku obszarach.

W transporcie autonomicznym, udoskonalone dane szkoleniowe i symulacje mogą prowadzić do bezpieczniejszych i bardziej niezawodnych samochodów autonomicznych. W robotyce, szybszy rozwój robotów zdolnych do wykonywania złożonych zadań może przekształcić branże takie jak produkcja, logistyka i opieka zdrowotna. W opiece zdrowotnej, technologie takie jak robotyka chirurgiczna, badana przez Virtual Incision, mogą poprawić precyzję i wyniki procedur medycznych.

Podsumowanie

NVIDIA Cosmos odgrywa kluczową rolę w rozwoju sztucznej inteligencji fizycznej. Ta platforma pozwala deweloperom generować wysokiej jakości dane syntetyczne, zapewniając wstępnie wytrenowane, fizycznie świadome modele podstawowe świata (WFMs) do tworzenia realistycznych symulacji. Z otwartym dostępem, zaawansowanymi funkcjami i zabezpieczeniami etycznymi, Cosmos umożliwia szybszy, bardziej wydajny rozwój sztucznej inteligencji. Platforma już teraz napędza znaczące postępy w branżach takich jak transport, robotyka i opieka zdrowotna, dostarczając dane syntetyczne do budowy inteligentnych systemów, które взаимодействują ze światem fizycznym.