NVIDIA Cosmos: Fremmer fysisk AI med simuleringer

Utviklingen av fysisk AI-systemer, som roboter på fabrikkgulver og selvkjørende kjøretøy på gatene, avhenger sterkt av store, høykvalitetsdatasett for trening. Imidlertid er innhenting av virkelighetsdata kostbart, tidskrevende og ofte begrenset til noen få store teknologiselskaper. NVIDIA’s Cosmos (NVDA ) -plattform møter denne utfordringen ved å bruke avanserte fysikk-simuleringer til å generere realistiske syntetiske data i stor skala. Dette muliggjør at ingeniører kan trene AI-modeller uten de kostnadene og forsinkelsene som er forbundet med innhenting av virkelighetsdata. Denne artikkelen diskuterer hvordan Cosmos forbedrer tilgangen til essensiell treningdata og akselerer utviklingen av sikre, pålitelige AI for virkelighetsapplikasjoner.

Forståelse av fysisk AI

Fysisk AI refererer til kunstig intelligens-systemer som kan oppfatte, forstå og handle i den fysiske verden. I motsetning til tradisjonell AI, som kan analysere tekst eller bilder, må fysisk AI håndtere virkelighetskompleksiteter som romlige relasjoner, fysiske krefter og dynamiske miljøer. For eksempel må en selvkjørende bil gjenkjenne fotgjengere, forutsi deres bevegelser og justere sin rute i sanntid, samtidig som den tar hensyn til faktorer som vær og veiforhold. På samme måte må en robot i et lager navigere hindringer og manipulere objekter med presisjon.

Utvikling av fysisk AI er utfordrende fordi det krever store mengder data for å trene modeller på ulike virkelighets-scenarier. Innhenting av disse dataene, enten det er timer med kjørefilmer eller robotiske oppgavedemonstrasjoner, kan være tidskrevende og dyrt. I tillegg kan testing av AI i virkeligheten være risikabelt, ettersom feil kan føre til ulykker. NVIDIA Cosmos møter disse utfordringene ved å bruke fysikk-baserte simuleringer til å generere realistiske syntetiske data. Dette forenkler og akselerer utviklingen av fysisk AI-systemer.

Hva er verdens grunnmodeller?

I kjernen av NVIDIA Cosmos ligger en samling av AI-modeller kalt verdens grunnmodeller (WFMs). Disse AI-modellene er spesifikt designet for å simulere virtuelle miljøer som ligner den fysiske verden. Ved å generere fysikk-bevisste videoer eller scenarier, simulerer WFMs hvordan objekter interagerer basert på romlige relasjoner og fysiske lover. For eksempel kan en WFM simulere en bil som kjører gjennom en regnstorm, og vise hvordan vann påvirker grep eller hvordan lykter reflekteres av våte overflater.

WFMs er avgjørende for fysisk AI fordi de tilbyr en sikker, kontrollerbar rom for å trene og teste AI-systemer. I stedet for å innhente virkelighetsdata, kan utviklere bruke WFMs til å generere syntetiske data – realistiske simuleringer av miljøer og interaksjoner. Dette tilnærmingen reduserer ikke bare kostnadene, men akselerer også utviklingsprosessen og muliggjør testing av komplekse, sjeldne scenarier (slik som uvanlige trafikksituasjoner) uten de risikoer som er forbundet med virkelighets-testing. WFMs er generiske modeller som kan tilpasses for spesifikke applikasjoner, på samme måte som store språkmodeller tilpasses for oppgaver som oversettelse eller chatbots.

Presentasjon av NVIDIA Cosmos

NVIDIA Cosmos er en plattform designet for å muliggjøre at utviklere kan bygge og tilpasse WFMs for fysisk AI-applikasjoner, spesielt i selvkjørende kjøretøy (AVs) og robotikk. Cosmos integrerer avanserte generative modeller, data-prosessering-verktøy og sikkerhetsfunksjoner for å utvikle AI-systemer som interagerer med den fysiske verden. Plattformen er åpen kildekode, med modeller tilgjengelige under permissive lisenser.

Nøkkelkomponenter i plattformen inkluderer:

• Generative verdens grunnmodeller (WFMs): Forhåndstrente modeller som simulerer fysiske miljøer og interaksjoner.
• Avanserte tokenisatorer: Verktøy som effektivt komprimerer og prosesserer data for raskere modell-trening.
• Akselerert data-prosessering-pipeline: Et system for håndtering av store datasett, drevet av NVIDIA’s beregnings-infrastruktur.

En nøkkel-nyhet i Cosmos er dens resonnement-modell for fysisk AI. Denne modellen gir utviklere mulighet til å opprette og modifisere virtuelle verdener. De kan tilpasse simuleringer til spesifikke behov, som testing av en robots evne til å plukke opp objekter eller vurdering av en AV’s respons på et plutselig hindring.

Nøkelfunksjoner i NVIDIA Cosmos

NVIDIA Cosmos tilbyr ulike komponenter for å møte spesifikke utfordringer i fysisk AI-utvikling:

• Cosmos Overfør WFMs: Disse modellene tar strukturerte video-inndata, som segmenterings-kart, dybde-kart eller lidar-scans, og genererer kontrollerbare, fotorealistiske video-utdata. Denne funksjonaliteten er spesielt nyttig for å opprette syntetiske data for å trene persepsjon AI, som systemer som hjelper AVs å identifisere objekter eller roboter å gjenkjenne omgivelsene.
• Cosmos Forutsi WFMs: Cosmos Forutsi-modeller genererer virtuelle verdens-tilstander basert på multimodale inndata, inkludert tekst, bilder og video. De kan forutsi fremtidige scenarier, som hvordan en scene kan utvikle seg over tid, og støtte multi-ramme-generering for komplekse sekvenser. Utviklere kan tilpasse disse modellene ved å bruke NVIDIA’s fysisk AI-datasett for å møte deres spesifikke behov, som forutsiing av fotgjenger-bevegelser eller robotiske handlinger.
• Cosmos Resonner WFM: Cosmos Resonner-modellen er en fullstendig tilpassbar WFM med romlig og tidsmessig bevissthet. Dens resonner-egenskaper muliggjør at den kan forstå både romlige relasjoner og hvordan de endrer seg over tid. Modellen bruker kjede-av-tanker-resonnering til å analysere video-data og forutsi resultater, som om en person vil gå inn i en fotgjenger-overgang, eller en boks vil falle av en hylle.

Aplikasjoner og brukstilfeller

NVIDIA Cosmos har allerede en betydelig innvirkning på industrien, med flere ledende selskaper som adopterer plattformen for sine fysisk AI-prosjekter. Disse tidlige adoptererne høydepunktene variasjonen og den praktiske innvirkningen av Cosmos over ulike sektorer:

• 1X: Bruker Cosmos for avansert robotikk for å forbedre deres evne til å utvikle AI-drevne roboter.
• Agility Robotics: Utvider deres samarbeid med NVIDIA for å bruke Cosmos for humanoid robotiske systemer.
• Figure AI: Bruker Cosmos for å fremme humanoid robotikk, med fokus på AI som kan utføre komplekse oppgaver.
• Foretellix: Bruker Cosmos i selvkjørende kjøretøy-simulering for å generere en rekke test-scenarier.
• Skild AI: Bruker Cosmos for å utvikle AI-drevne løsninger for ulike applikasjoner.
• Uber: Integrierer Cosmos i deres selvkjørende kjøretøy-utvikling for å forbedre treningdata for selvkjørende systemer.
• Oxa: Bruker Cosmos for å akselerere industriell mobilitets-automatisering.
• Virtual Incision: Undersøker Cosmos for kirurgisk robotikk for å forbedre nøyaktigheten i helsevesenet.

Disse brukstilfellene demonstrerer hvordan Cosmos kan møte en rekke behov, fra transport til helsevesen, ved å tilby syntetiske data for å trene disse fysisk AI-systemene.

Fremtidige implikasjoner

Lanseringen av NVIDIA Cosmos er viktig for utviklingen av fysisk AI-systemer. Ved å tilby en åpen kildekode-plattform med kraftfulle verktøy og modeller, gjør NVIDIA det mulig for en bredere rekke av utviklere og organisasjoner å delta i fysisk AI-utvikling. Dette kan føre til betydelige fremgang i flere områder.

I selvkjørende transport kan forbedret treningdata og simuleringer føre til sikrere og mer pålitelige selvkjørende kjøretøy. I robotikk kan raskere utvikling av roboter som kan utføre komplekse oppgaver transformere industrier som produksjon, logistikk og helsevesen. I helsevesenet kan teknologier som kirurgisk robotikk, som undersøkes av Virtual Incision, forbedre nøyaktigheten og resultater av medisinske prosedyrer.

Bunnen av saken

NVIDIA Cosmos spiller en avgjørende rolle i utviklingen av fysisk AI. Denne plattformen muliggjør at utviklere kan generere høykvalitets syntetiske data ved å tilby forhåndstrente, fysikk-baserte verdens grunnmodeller (WFMs) for å opprette realistiske simuleringer. Med sin åpen kildekode-tilgang, avanserte funksjoner og etiske sikkerhetstiltak, muliggjør Cosmos raskere og mer effektiv AI-utvikling. Plattformen driver allerede frem betydelige fremgang i industrier som transport, robotikk og helsevesen, ved å tilby syntetiske data for å bygge intelligente systemer som interagerer med den fysiske verden.