NVIDIA Cosmos: Styrker fysisk AI med simuleringer

Utviklingen av fysiske AI-systemer, som roboter på fabrikkgulv og autonome kjøretøy på gatene, er i stor grad avhengig av store datasett av høy kvalitet for opplæring. Det er imidlertid kostbart, tidkrevende og ofte begrenset til noen få store teknologiselskaper å samle inn data fra den virkelige verden. NVIDIAs Cosmos Plattformen løser denne utfordringen ved å bruke avanserte fysikksimuleringer for å generere realistiske syntetiske data i stor skala. Dette gjør det mulig for ingeniører å trene AI-modeller uten kostnadene og forsinkelsene som er forbundet med å samle inn data fra den virkelige verden. Denne artikkelen diskuterer hvordan Cosmos forbedrer tilgangen til viktige treningsdata og akselererer utviklingen av trygg og pålitelig AI for applikasjoner i den virkelige verden.

Forstå fysisk AI

Fysisk AI refererer til kunstig intelligens-systemer som kan oppfatte, forstå og handle i den fysiske verden. I motsetning til tradisjonell AI, som kan analysere tekst eller bilder, må fysisk AI håndtere virkelige kompleksiteter som romlige forhold, fysiske krefter og dynamiske miljøer. For eksempel må en selvkjørende bil gjenkjenne fotgjengere, forutsi bevegelsene deres og justere banen i sanntid, samtidig som den tar hensyn til faktorer som vær- og veiforhold. På samme måte må en robot i et lager navigere hindringer og manipulere objekter med presisjon.

Å utvikle fysisk AI er utfordrende fordi det krever enorme mengder data for å trene modeller på ulike virkelige scenarier. Å samle inn disse dataene, enten det er timer med kjøreopptak eller demonstrasjoner av robotoppgaver, kan være tidkrevende og dyrt. Dessuten kan det være risikabelt å teste AI i den virkelige verden, ettersom feil kan føre til ulykker. NVIDIA Cosmos løser disse utfordringene ved å bruke fysikkbaserte simuleringer for å generere realistiske syntetiske data. Denne tilnærmingen forenkler og akselererer utviklingen av fysiske AI-systemer.

Hva er verdensfundamentsmodeller?

Kjernen i NVIDIA Cosmos er en samling av AI-modeller kalt verden fundamentmodeller (WFM-er)Disse AI-modellene er spesielt utviklet for å simulere virtuelle miljøer som etterligner den fysiske verden. Ved å generere fysikkbevisste videoer eller scenarier, simulerer WFM-er hvordan objekter samhandler basert på romlige forhold og fysiske lover. For eksempel kan en WFM simulere en bil som kjører gjennom et regnvær, og vise hvordan vann påvirker veigrepet eller hvordan frontlykter reflekteres fra våte overflater.

WFM-er er avgjørende for fysisk AI fordi de gir et trygt og kontrollerbart rom for å trene og teste AI-systemer. I stedet for å samle inn data fra den virkelige verden, kan utviklere bruke WFM-er til å generere syntetiske data – realistiske simuleringer av miljøer og interaksjoner. Denne tilnærmingen reduserer ikke bare kostnader, men akselererer også utviklingsprosessen og tillater testing av komplekse, sjeldne scenarier (som uvanlige trafikksituasjoner) uten risikoen forbundet med testing i den virkelige verden. WFM-er er generelle modeller som kan finjusteres for spesifikke applikasjoner, på samme måte som store språkmodeller tilpasses oppgaver som oversettelse eller chatboter.

Avduking av NVIDIA Cosmos

NVIDIA Cosmos er en plattform utviklet for å gjøre det mulig for utviklere å bygge og tilpasse WFM-er for fysiske AI-applikasjoner, spesielt i autonome kjøretøy (AV-er) og robotikk. Cosmos integrerer avanserte generative modeller, databehandlingsverktøy og sikkerhetsfunksjoner for å utvikle AI-systemer som samhandler med den fysiske verden. Plattformen er åpen kildekode, med modeller tilgjengelig under tillatende lisenser.

Viktige komponenter i plattformen inkluderer:

• Generative verdensfundamentsmodeller (WFM-er): Forhåndstrente modeller som simulerer fysiske miljøer og interaksjoner.
• Avanserte tokenizere: Verktøy som effektivt komprimerer og behandler data for raskere modelltrening.
• Akselerert databehandlingsrørledning: Et system for håndtering av store datasett, drevet av NVIDIAs datainfrastruktur.

En viktig nyhet i Cosmos er resonnementsmodellen for fysisk AI. Denne modellen gir utviklere muligheten til å lage og modifisere virtuelle verdener. De kan skreddersy simuleringer til spesifikke behov, for eksempel å teste en robots evne til å plukke opp objekter eller vurdere en AIs respons på en plutselig hindring.

Viktige funksjoner i NVIDIA Cosmos

NVIDIA Cosmos tilbyr ulike komponenter for å håndtere spesifikke utfordringer innen fysisk AI-utvikling:

• Cosmos Transfer WFM-er: Disse modellene tar strukturerte videoinnganger, som segmenteringskart, dybdekart eller lidar-skanninger, og genererer kontrollerbare, fotorealistiske videoutganger. Denne funksjonen er spesielt nyttig for å lage syntetiske data for å trene persepsjons-AI, for eksempel systemer som hjelper AI-er med å identifisere objekter eller roboter med å gjenkjenne omgivelsene sine.
• Cosmos Predictor WFM-er: Cosmos Predict-modeller genererer virtuelle verdenstilstander basert på multimodale inndata, inkludert tekst, bilder og video. De kan forutsi fremtidige scenarier, for eksempel hvordan en scene kan utvikle seg over tid, og støtte generering av flere bilder for komplekse sekvenser. Utviklere kan tilpasse disse modellene ved hjelp av NVIDIAs fysiske AI-datasett for å møte deres spesifikke behov, for eksempel å forutsi fotgjengerbevegelser eller robothandlinger.
• Cosmos Reason WFM: Cosmos Reason-modellen er en fullt tilpassbar WFM med spatiotemporal bevissthet. Resonneringsevnen gjør det mulig å forstå både romlige forhold og hvordan de endrer seg over tid. Modellen bruker tankekjederesonnement for å analysere videodata og forutsi utfall, som om en person vil gå inn i et fotgjengerfelt, eller om en eske vil falle ned fra en hylle.

Applikasjoner og brukstilfeller

NVIDIA Cosmos har allerede en betydelig innvirkning på bransjen, med flere ledende selskaper som tar i bruk plattformen for sine fysiske AI-prosjekter. Disse tidlige brukerne fremhever allsidigheten og den praktiske effekten av Cosmos på tvers av ulike sektorer:

• 1XBruk av Cosmos til avansert robotikk for å forbedre evnen til å utvikle AI-drevne roboter.
• Agility RoboticsUtvider partnerskapet med NVIDIA for å bruke Cosmos til humanoide robotsystemer.
• Figur AIBruk av Cosmos til å fremme humanoid robotikk, med fokus på AI som kan utføre komplekse oppgaver.
• ForetellixBruk av Cosmos i simulering av autonome kjøretøy for å generere et bredt spekter av testscenarier.
• Ferdighet AIBruk av Cosmos til å utvikle AI-drevne løsninger for ulike applikasjoner.
• UberIntegrering av Cosmos i utviklingen av autonome kjøretøy for å forbedre treningsdata for selvkjørende systemer.
• OkBruk av Cosmos for å akselerere automatisering av industriell mobilitet.
• Virtuelt snittUtforsker Cosmos for kirurgisk robotikk for å forbedre presisjonen i helsevesenet.

Disse brukseksemplene demonstrerer hvordan Cosmos kan dekke et bredt spekter av behov, fra transport til helsevesen, ved å tilby syntetiske data for trening av disse fysiske AI-systemene.

Fremtidige implikasjoner

Lanseringen av NVIDIA Cosmos er viktig for utviklingen av fysiske AI-systemer. Ved å tilby en åpen kildekode-plattform med kraftige verktøy og modeller, gjør NVIDIA fysisk AI-utvikling tilgjengelig for et bredere spekter av utviklere og organisasjoner. Dette kan føre til betydelige fremskritt på flere områder.

Innen autonom transport kan forbedrede treningsdata og simuleringer føre til tryggere og mer pålitelige selvkjørende biler. Innen robotikk kan raskere utvikling av roboter som er i stand til å utføre komplekse oppgaver, transformere bransjer som produksjon, logistikk og helsevesen. Innen helsevesenet kan teknologier som kirurgisk robotikk, slik det er utforsket av Virtual Incision, forbedre presisjonen og resultatene av medisinske prosedyrer.

Bunnlinjen

NVIDIA Cosmos spiller en viktig rolle i utviklingen av fysisk AI. Denne plattformen lar utviklere generere syntetiske data av høy kvalitet ved å tilby forhåndstrente, fysikkbaserte verdensgrunnlagsmodeller (WFM-er) for å lage realistiske simuleringer. Med åpen kildekode-tilgang, avanserte funksjoner og etiske sikkerhetstiltak muliggjør Cosmos raskere og mer effektiv AI-utvikling. Plattformen driver allerede store fremskritt innen bransjer som transport, robotikk og helsevesen, ved å tilby syntetiske data for å bygge intelligente systemer som samhandler med den fysiske verden.