CoreWeave lanserer maler for fysisk KI til utvikling av robotikk og autonome kjøretøy

Før et robotikkteam kan teste en ny policy, må noen få simulatoren, dataene, lagringen og datakraften til å fungere sammen. CoreWeave retter seg mot dette forberedende arbeidet med Launchables for fysisk KI, en katalog med testede arbeidslastmaler som ble kunngjort 21. oktober for robotikk, autonome kjøretøy og simulering.

Malene pakker miljøer for fem verktøy – NVIDIA Isaac Sim, CARLA, MuJoCo, NVIDIA AlpaSim og NVIDIA Cosmos 3 – slik at ingeniører kan konfigurere og starte en arbeidslast med én kommando, i stedet for å sette sammen infrastrukturen fra grunnen av. Lanseringen omfatter også ferdigheter som lar kodeagenter utføre de samme arbeidsflytene.

For utviklere er det viktige spørsmålet hva som kan gjentas på en pålitelig måte. Launchables har som mål å bevare et fungerende miljø mellom eksperimenter, samtidig som teamene kan endre scenene, datasettene, modellene og innstillingene som påvirker resultatet.

Flytter oppsettet ut av selve eksperimentet

Et eksperiment innen fysisk KI innebærer mer enn å kjøre en modell. En kjøreevaluering krever en simulator og scenarioer, mens en jobb innen robotlæring krever et miljø, en policy og en måte å samle inn resultater på. Disse komponentene trenger også egnet lagring, datakraft og grenser for kjøringen.

CoreWeave sier at ingeniørene deres har utviklet og testet konfigurasjonene som ligger til grunn for hver mal. Teamene kan tilpasse konfigurasjonene til sitt eget arbeid og bruke reservert kapasitet til pågående programmer eller ekstrajobber for enkelteksperimenter. Hvert støttede verktøy har også en tom mal som stiller miljøet til rådighet uten å legge føringer for arbeidslasten.

«Launchables for fysisk KI gir dem et testet utgangspunkt for verktøyene de allerede bruker, slik at mer av tiden deres kan gå til arbeidet bare de kan utføre», sa Richard Ahlfeld, CoreWeaves seniorvisepresident for fysisk KI, i kunngjøringen.

Skillet er nyttig: CoreWeave leverer pakkingen og utførelseslaget, mens simulerings- og modelleringsprogramvaren kommer fra NVIDIA og andre utviklere. Teamene avgjør fortsatt selv hva de skal teste, og om resultatene er meningsfulle.

Dette kan de første malene brukes til

Det tekniske lanseringsinnlegget fra CoreWeave konkretiserer katalogen. Eksemplene dekker robotmanipulering, simulert kjøring, syntetiske data og forsterkningslæring:

• NVIDIA Isaac Sim: Plukk-og-plasser-oppgaver med robotarm, merkede lagerscener og eksperimenter med kjøretøydynamikk.
• CARLA: Serier med kjørescenarioer som produserer video for gjennomgang.
• MuJoCo: Parallelle eksperimenter med forsterkningslæring og oppgaver der roboter manipulerer gjenstander på kjøkkenet.
• NVIDIA AlpaSim: Kjøreevaluering med lukket sløyfe.
• NVIDIA Cosmos 3: Generering av videoscenarioer som kan være vanskelige eller kostbare å samle inn.

Dette er utgangskonfigurasjoner, ikke et fast utvalg demonstrasjoner. Ingeniører kan endre parametere for arbeidslasten eller redigere programkoden, samtidig som de beholder det testede miljøet i bunnen. Lanseringen omfatter også ferdigheter i NVIDIA Cosmos Data Factory for datautvidelse, merking, kuratering og gjenfinning. CoreWeave sier at flere tilknyttede maler er planlagt.

Kodeagenter får de samme kontrollmulighetene som ingeniører

Launchables omfatter ferdigheter utviklet spesielt for CoreWeave, for Claude Code, Codex og andre kodeagenter. Disse gir en agent veiledning om relevante innstillinger og tilgang til kommandoene som brukes til å starte, overvåke og hente ut resultatene fra en kjøring.

Lanseringen understreker forskjellen mellom at en jobb fullføres, og at et eksperiment lykkes. En prosess kan avsluttes uten at det er fastslått om en kjørep policy håndterte scenarioene godt, eller om en robot utførte oppgaven sin. Når rapporter, måleverdier, mediefiler og diagnostikk returneres gjennom et enhetlig grensesnitt, får både ingeniører og agenter materiale de kan vurdere etter kjøringen.

Det kan gjøre automatisering mer nyttig på tvers av gjentatte eksperimenter. En agent kan bidra til å kjøre en arbeidsflyt, men teamet trenger fortsatt egnede evalueringer og suksesskriterier. At en utrulling fungerer, beviser ikke at en modell er klar for et fysisk system.

La GPU-tiden gå til GPU-arbeid

Kunngjøringen tar også for seg hvordan jobbene bruker ressurser. Når arbeidslasten tillater det, skiller malene CPU-forberedelser og etterbehandling fra GPU-kjøringen, slik at GPU-kapasiteten frigjøres når dette trinnet er fullført. Malene angir ressurskrav og grenser for samtidige kjøringer for å gjøre det enklere å koordinere parallelle kjøringer.

Dette er viktig fordi kostnaden ved eksperimentet også omfatter tiden dyr maskinvare bruker på å vente på annet arbeid. Ved å skille trinnene kan ressursfordelingen bli bedre, men den faktiske gevinsten avhenger av arbeidslasten og hvor mye forberedelse, simulering, trening og analyse den krever.

CoreWeave har ikke oppgitt noen generell referansemåling for Launchables eller noen universell reduksjon i oppsettstiden i kunngjøringen som er lagt fram her. Det umiddelbare løftet er en testet konfigurasjon og en felles måte å bruke den på, ikke en målt ytelsesforbedring som gjelder alle robotikkprosjekter.

Slik passer Launchables inn i CoreWeaves stakk for fysisk KI

Lanseringen utvider CoreWeaves tilbud utover ren GPU-kapasitet til programvarearbeidsflytene som bruker den. På siden for plattformen for fysisk KI beskriver selskapet en infrastruktur som omfatter GPU- og CPU-beregning, nettverk, lagring, Kubernetes-orkestrering og Slurm på Kubernetes. Disse komponentene dekker de ulike behovene innen klargjøring av data, simulering og modelltrening.

Den bredere skyplattformen kobler denne infrastrukturen sammen med CoreWeave Forge, som samler verktøy for å overvåke, evaluere og forbedre modeller og agenter. Launchables legger til testede tekniske arbeidsbelastninger oppå disse lagene. Strategien går ut på å redusere antallet miljøer et team må sette sammen når det beveger seg mellom data, eksperimenter og evaluering.

CoreWeave trakk også fram Cadence, Convergent Science, Encord, nTop, PhysicsX og Voxel51 som programvarepartnere som bruker infrastrukturen. Samarbeidene spenner fra verktøy for data og datasyn til teknisk simulering; de bør ikke tolkes som en påstand om at alle partnerproduktene allerede finnes som lanseringsmaler.

En raskere start krever fortsatt grundig evaluering

Muligheten er klar: Når et miljø fungerer fra ett eksperiment til det neste, kan team bruke mer tid på å sammenligne modeller og undersøke feil. Delte maler kan også gjøre det enklere for kolleger å gjenskape en konfigurasjon før de endrer en variabel.

De vanskeligste spørsmålene handler fortsatt om selve fagområdet. Simulerte scener må gjenspeile relevante forhold, syntetiske data må passe til oppgaven, og evalueringer må avdekke feil som har betydning utenfor simulatoren. Launchables kan forenkle arbeidet med å kjøre slike tester, men fjerner ikke behovet for å utforme dem nøye.

CoreWeave viser interesserte team til oversikten over Launchables for fysisk KI for den første katalogen og mer informasjon. For utviklere av robotikk og autonome kjøretøy er den praktiske fordelen en kortere vei fra en idé til et eksperiment til resultater de kan undersøke.