NVIDIA Cosmos: Fremmer Fysisk AI med Simulationer

Udviklingen af fysisk AI-systemer, såsom robotter på fabriksgulve og selvkørende køretøjer på gaderne, afhænger stærkt af store, højkvalitetsdata til træning. Dog er indsamlingen af virkelige data kostbar, tidskrævende og ofte begrænset til få store teknologivirksomheder. NVIDIA’s Cosmos (NVDA ) -platform møder denne udfordring ved at bruge avancerede fysiksimuleringer til at generere realistiske syntetiske data i stor målestok. Dette muliggør, at ingeniører kan træne AI-modeller uden de omkostninger og forsinkelser, der er forbundet med indsamling af virkelige data. Denne artikel diskuterer, hvordan Cosmos forbedrer adgangen til væsentlige træningsdata og accelererer udviklingen af sikre, pålidelige AI til virkelige anvendelser.

Forståelse af Fysisk AI

Fysisk AI henviser til kunstig intelligenssystemer, der kan opfatte, forstå og handle i den fysiske verden. I modsætning til traditionel AI, der måske analyserer tekst eller billeder, må fysisk AI beskæftige sig med virkelige kompleksiteter som rumlige relationer, fysiske kræfter og dynamiske miljøer. For eksempel skal en selvkørende bil kunne genkende fodgængere, forudsige deres bevægelser og justere sin rute i realtid, samtidig med at den tager hensyn til faktorer som vejr og vejforhold. Lignende skal en robot på et lager nøje navigere rundt omhindringer og manipulere objekter med præcision.

Udviklingen af fysisk AI er udfordrende, da det kræver store mængder data til at træne modeller på diverse virkelige scenarier. Indsamlingen af disse data, enten det er timer af kørselsfilm eller robotiske opgavedemonstrationer, kan være tidskrævende og dyrt. Desuden kan testning af AI i den virkelige verden være risikabelt, da fejl kan føre til ulykker. NVIDIA Cosmos møder disse udfordringer ved at bruge fysikbaserede simuleringer til at generere realistiske syntetiske data. Denne tilgang forenkler og accelererer udviklingen af fysisk AI-systemer.

Hvad er Verdensgrundmodeller?

I centrum af NVIDIA Cosmos ligger en samling af AI-modeller kaldet verdensgrundmodeller (WFMs). Disse AI-modeller er specifikt designede til at simulere virtuelle miljøer, der ligner den fysiske verden. Ved at generere fysikbevidste videoer eller scenarier simulerer WFMs, hvordan objekter interagerer baseret på rumlige relationer og fysiske love. For eksempel kunne en WFM simulere en bil, der kører gennem en regnstorm, og vise, hvordan vand påvirker trækkraft eller hvordan forlygter reflekterer af våde overflader.

WFMs er afgørende for fysisk AI, da de giver en sikker, kontrollerbar plads til at træne og teste AI-systemer. I stedet for at indsamle virkelige data kan udviklere bruge WFMs til at generere syntetiske data – realistiske simuleringer af miljøer og interaktioner. Denne tilgang reducerer ikke kun omkostningerne, men accelererer også udviklingsprocessen og tillader testning af komplekse, sjældne scenarier (såsom usædvanlige trafiksituationer) uden de risici, der er forbundet med testning i den virkelige verden. WFMs er generelle modeller, der kan tilpasses til bestemte anvendelser, ligesom store sprogmodeller tilpasses til opgaver som oversættelse eller chatbots.

Præsentation af NVIDIA Cosmos

NVIDIA Cosmos er en platform designet til at enable udviklere til at bygge og tilpasse WFMs til fysisk AI-anvendelser, især i selvkørende køretøjer (AVs) og robotteknologi. Cosmos integrerer avancerede generative modeller, dataprocesseringsværktøjer og sikkerhedsfunktioner til at udvikle AI-systemer, der interagerer med den fysiske verden. Platformen er open source, med modeller tilgængelige under permissive licenser.

Nøglekomponenter i platformen omfatter:

• Generative Verdensgrundmodeller (WFMs): Forudtrænede modeller, der simulerer fysiske miljøer og interaktioner.
• Avancerede Tokenizere: Værktøjer, der effektivt komprimerer og behandler data for hurtigere modeltræning.
• Accelereret Dataprocesseringspipeline: Et system til håndtering af store datasæt, drevet af NVIDIA’s computermiljø.

En nøgle-novelitet i Cosmos er dens resonansmodel for fysisk AI. Denne model giver udviklere mulighed for at skabe og ændre virtuelle verdener. De kan tilpasse simulationer til bestemte behov, såsom testning af en robots evne til at samle objekter eller vurdering af en AV’s reaktion på pludselige hindringer.

Nøglefunktioner i NVIDIA Cosmos

NVIDIA Cosmos tilbyder forskellige komponenter til at møde bestemte udfordringer i udviklingen af fysisk AI:

• Cosmos Overfør WFMs: Disse modeller tager strukturerede videoindtastninger, såsom segmenteringskort, dybdekort eller lidar-scans, og genererer kontrollerbare, fotorealistiske videooutput. Denne funktion er særligt nyttig til at skabe syntetiske data til træning af perception AI, såsom systemer, der hjælper AV’er med at identificere objekter eller robotter med at genkende deres omgivelser.
• Cosmos Forudsig WFMs: Cosmos Forudsig-modeller genererer virtuelle verdensstater baseret på multimodale indtastninger, herunder tekst, billeder og video. De kan forudsige fremtidige scenarier, såsom hvordan en scene måske udvikler sig over tid, og understøtte multiframgenerering for komplekse sekvenser. Udviklere kan tilpasse disse modeller ved hjælp af NVIDIA’s fysisk AI-datasæt for at møde deres specifikke behov, såsom forudsigelse af fodgængernes bevægelser eller robotiske handlinger.
• Cosmos Ræson WFM: Cosmos Ræson-modellen er en fuldt tilpasselig WFM med rumligt og tidsmæssigt bevidsthed. Dens ræsoneringsfunktion giver mulighed for at forstå både rumlige relationer og hvordan de ændrer sig over tid. Modellen bruger kæde-af-tanker-ræsonering til at analysere video-data og forudsige resultater, såsom om en person vil gå ind i en fodgængerovergang eller om en kasse vil falde af en hylder.

Anvendelser og BrugsEksempler

NVIDIA Cosmos har allerede en betydelig indvirkning på branchen, med flere førende virksomheder, der adopterer platformen til deres fysisk AI-projekter. Disse tidlige adoptanter fremhæver Cosmos’ fleksibilitet og praktiske indvirkning på tværs af forskellige sektorer:

• 1X: Bruger Cosmos til avanceret robotteknologi til at forbedre deres evne til at udvikle AI-drevne robotter.
• Agility Robotics: Udvider deres samarbejde med NVIDIA til at bruge Cosmos til humanoid robotteknologi.
• Figure AI: Bruger Cosmos til at fremme humanoid robotteknologi, med fokus på AI, der kan udføre komplekse opgaver.
• Foretellix: Anvender Cosmos i selvkørende køretøjsimulation til at generere en bred vifte af testscenarier.
• Skild AI: Bruger Cosmos til at udvikle AI-drevne løsninger til forskellige anvendelser.
• Uber: Integrerer Cosmos i deres selvkørende køretøjsudvikling til at forbedre træningsdata for selvkørende systemer.
• Oxa: Bruger Cosmos til at accelerere industriel mobilitetsautomatisering.
• Virtual Incision: Undersøger Cosmos til kirurgisk robotteknologi til at forbedre præcision i sundhedssektoren.

Disse brugs eksempler demonstrerer, hvordan Cosmos kan møde en bred vifte af behov, fra transport til sundhedssektor, ved at tilbyde syntetiske data til træning af disse fysisk AI-systemer.

Fremtidige Implikationer

Lanceringen af NVIDIA Cosmos er vigtig for udviklingen af fysisk AI-systemer. Ved at tilbyde en open-source-platform med kraftfulde værktøjer og modeller gør NVIDIA det muligt for en bredere række af udviklere og organisationer at deltage i udviklingen af fysisk AI. Dette kunne føre til betydelige fremskridt i flere områder.

I selvkørende transport kan forbedrede træningsdata og simuleringer føre til sikrere og mere pålidelige selvkørende biler. I robotteknologi kan den hurtigere udvikling af robotter, der kan udføre komplekse opgaver, transformere industrier som fremstilling, logistik og sundhedssektor. I sundhedssektoren kunne teknologier som kirurgisk robotteknologi, som undersøges af Virtual Incision, forbedre præcision og resultater i medicinske procedurer.

Bottom Line

NVIDIA Cosmos spiller en vital rolle i udviklingen af fysisk AI. Denne platform giver udviklere mulighed for at generere højkvalitets syntetiske data ved at tilbyde forudtrænede, fysikbaserede verdensgrundmodeller (WFMs) til at skabe realistiske simuleringer. Med sin open-source-adgang, avancerede funktioner og etiske sikkerhedsforanstaltninger giver Cosmos mulighed for hurtigere, mere effektiv AI-udvikling. Platformen er allerede drivende større fremskridt i industrier som transport, robotteknologi og sundhedssektor, ved at tilbyde syntetiske data til at bygge intelligente systemer, der interagerer med den fysiske verden.