NVIDIA Cosmos: Styrkelse af fysisk AI med simuleringer

Udviklingen af ​​fysiske AI-systemer, såsom robotter på fabriksgulve og autonome køretøjer på gaderne, er i høj grad afhængig af store datasæt af høj kvalitet til træning. Indsamling af data fra den virkelige verden er dog dyrt, tidskrævende og ofte begrænset til et par store teknologivirksomheder. NVIDIAs Cosmos Platformen adresserer denne udfordring ved at bruge avancerede fysiksimuleringer til at generere realistiske syntetiske data i stor skala. Dette gør det muligt for ingeniører at træne AI-modeller uden de omkostninger og forsinkelser, der er forbundet med at indsamle data fra den virkelige verden. Denne artikel diskuterer, hvordan Cosmos forbedrer adgangen til essentielle træningsdata og fremskynder udviklingen af ​​sikker og pålidelig AI til virkelige applikationer.

Forståelse af fysisk AI

Fysisk AI refererer til kunstige intelligenssystemer, der kan opfatte, forstå og handle i den fysiske verden. I modsætning til traditionel kunstig intelligens, som kan analysere tekst eller billeder, skal fysisk kunstig intelligens håndtere virkelige kompleksiteter som rumlige forhold, fysiske kræfter og dynamiske miljøer. For eksempel skal en selvkørende bil genkende fodgængere, forudsige deres bevægelser og justere sin rute i realtid, samtidig med at faktorer som vejr- og vejforhold tages i betragtning. Tilsvarende skal en robot på et lager navigere i forhindringer og manipulere objekter med præcision.

Udvikling af fysisk AI er udfordrende, fordi det kræver enorme mængder data at træne modeller på forskellige virkelige scenarier. Indsamling af disse data, hvad enten det er timevis af køreoptagelser eller demonstrationer af robotopgaver, kan være tidskrævende og dyrt. Desuden kan det være risikabelt at teste AI i den virkelige verden, da fejl kan føre til ulykker. NVIDIA Cosmos adresserer disse udfordringer ved at bruge fysikbaserede simuleringer til at generere realistiske syntetiske data. Denne tilgang forenkler og accelererer udviklingen af ​​fysiske AI-systemer.

Hvad er World Foundation-modeller?

Kernen i NVIDIA Cosmos er en samling af AI-modeller kaldet verden fundamentsmodeller (WFM'er)Disse AI-modeller er specifikt designet til at simulere virtuelle miljøer, der nøje efterligner den fysiske verden. Ved at generere fysikbevidste videoer eller scenarier simulerer WFM'er, hvordan objekter interagerer baseret på rumlige forhold og fysiske love. For eksempel kan en WFM simulere en bil, der kører gennem et regnvejr, og vise, hvordan vand påvirker vejgrebet, eller hvordan forlygter reflekteres fra våde overflader.

WFM'er er afgørende for fysisk AI, fordi de giver et sikkert og kontrollerbart rum til at træne og teste AI-systemer. I stedet for at indsamle data fra den virkelige verden kan udviklere bruge WFM'er til at generere syntetiske data - realistiske simuleringer af miljøer og interaktioner. Denne tilgang reducerer ikke kun omkostningerne, men fremskynder også udviklingsprocessen og giver mulighed for at teste komplekse, sjældne scenarier (såsom usædvanlige trafiksituationer) uden de risici, der er forbundet med test i den virkelige verden. WFM'er er generelle modeller, der kan finjusteres til specifikke applikationer, ligesom store sprogmodeller tilpasses til opgaver som oversættelse eller chatbots.

Afsløring af NVIDIA Cosmos

NVIDIA Cosmos er en platform designet til at gøre det muligt for udviklere at bygge og tilpasse WFM'er til fysiske AI-applikationer, især i autonome køretøjer (AV'er) og robotteknologi. Cosmos integrerer avancerede generative modeller, databehandlingsværktøjer og sikkerhedsfunktioner for at udvikle AI-systemer, der interagerer med den fysiske verden. Platformen er open source med modeller tilgængelige under tilladte licenser.

Nøglekomponenterne i platformen inkluderer:

• Generative verdensfundamentsmodeller (WFM'er): Forudtrænede modeller, der simulerer fysiske miljøer og interaktioner.
• Avancerede tokenizere: Værktøjer, der effektivt komprimerer og behandler data for hurtigere modeltræning.
• Accelereret databehandlingspipeline: Et system til håndtering af store datasæt, drevet af NVIDIAs computerinfrastruktur.

En vigtig nyhed ved Cosmos er dens ræsonnementmodel for fysisk AI. Denne model giver udviklere mulighed for at skabe og modificere virtuelle verdener. De kan skræddersy simuleringer til specifikke behov, såsom at teste en robots evne til at opsamle objekter eller vurdere en AIs reaktion på en pludselig forhindring.

Nøglefunktioner i NVIDIA Cosmos

NVIDIA Cosmos leverer forskellige komponenter til at håndtere specifikke udfordringer inden for fysisk AI-udvikling:

• Cosmos Transfer WFM'er: Disse modeller tager strukturerede videoinput, såsom segmenteringskort, dybdekort eller lidar-scanninger, og genererer kontrollerbare, fotorealistiske videooutput. Denne funktion er især nyttig til at skabe syntetiske data for at træne perceptions-AI, såsom systemer, der hjælper AV'er med at identificere objekter eller robotter med at genkende deres omgivelser.
• Cosmos forudsiger WFM'er: Cosmos Predict-modeller genererer virtuelle verdenstilstande baseret på multimodale input, herunder tekst, billeder og video. De kan forudsige fremtidige scenarier, f.eks. hvordan en scene kan udvikle sig over tid, og understøtte multiframe-generering til komplekse sekvenser. Udviklere kan tilpasse disse modeller ved hjælp af NVIDIAs fysiske AI-datasæt for at imødekomme deres specifikke behov, f.eks. forudsigelse af fodgængerbevægelser eller robothandlinger.
• Cosmos Reason WFM: Cosmos Reason-modellen er en fuldt tilpasselig WFM med spatiotemporal bevidsthed. Dens ræsonnementsevne gør det muligt at forstå både rumlige forhold og hvordan de ændrer sig over tid. Modellen bruger tankekæder til at analysere videodata og forudsige resultater, f.eks. om en person vil træde ind i et fodgængerfelt, eller om en kasse vil falde ned fra en hylde.

Applikationer og brugssager

NVIDIA Cosmos har allerede en betydelig indflydelse på branchen, hvor flere førende virksomheder har taget platformen til sig til deres fysiske AI-projekter. Disse tidlige brugere fremhæver Cosmos' alsidighed og praktiske effekt på tværs af forskellige sektorer:

• 1XBrug af Cosmos til avanceret robotteknologi for at forbedre deres evne til at udvikle AI-drevne robotter.
• Agility RoboticsUdvidelse af deres partnerskab med NVIDIA for at udnytte Cosmos til humanoide robotsystemer.
• Figur AIBrug af Cosmos til at fremme humanoid robotteknologi med fokus på AI, der kan udføre komplekse opgaver.
• ForetellixAnvendelse af Cosmos i simulering af autonome køretøjer til at generere en bred vifte af testscenarier.
• Færdig AIBrug af Cosmos til at udvikle AI-drevne løsninger til forskellige applikationer.
• UberIntegrering af Cosmos i deres udvikling af autonome køretøjer for at forbedre træningsdata til selvkørende systemer.
• OkayBrug af Cosmos til at accelerere automatisering af industriel mobilitet.
• Virtuel indsnitUdforskning af Cosmos for kirurgisk robotteknologi til forbedring af præcision i sundhedsvæsenet.

Disse use cases demonstrerer, hvordan Cosmos kan opfylde en bred vifte af behov, fra transport til sundhedspleje, ved at levere syntetiske data til træning af disse fysiske AI-systemer.

Fremtidige implikationer

Lanceringen af ​​NVIDIA Cosmos er vigtig for udviklingen af ​​fysiske AI-systemer. Ved at tilbyde en open source-platform med kraftfulde værktøjer og modeller gør NVIDIA udvikling af fysisk AI tilgængelig for en bredere vifte af udviklere og organisationer. Dette kan føre til betydelige fremskridt på flere områder.

Inden for autonom transport kan forbedrede træningsdata og simuleringer føre til sikrere og mere pålidelige selvkørende biler. Inden for robotteknologi kan den hurtigere udvikling af robotter, der er i stand til at udføre komplekse opgaver, transformere industrier som fremstilling, logistik og sundhedspleje. Inden for sundhedspleje kan teknologier som kirurgisk robotteknologi, som udforsket af Virtual Incision, forbedre præcisionen og resultaterne af medicinske procedurer.

The Bottom Line

NVIDIA Cosmos spiller en afgørende rolle i udviklingen af ​​fysisk AI. Denne platform giver udviklere mulighed for at generere syntetiske data af høj kvalitet ved at levere prætrænede, fysikbaserede verdensfundamentsmodeller (WFM'er) til at skabe realistiske simuleringer. Med sin open source-adgang, avancerede funktioner og etiske sikkerhedsforanstaltninger muliggør Cosmos hurtigere og mere effektiv AI-udvikling. Platformen driver allerede store fremskridt inden for brancher som transport, robotteknologi og sundhedspleje ved at levere syntetiske data til at bygge intelligente systemer, der interagerer med den fysiske verden.