CoreWeave lanserar mallar för fysisk AI inom robotik och utveckling av autonoma fordon

Innan ett robotikteam kan testa en ny styrpolicy måste någon få simulatorn, data, lagringen och beräkningsresurserna att fungera tillsammans. CoreWeave vill effektivisera det förberedande arbetet med Physical AI Launchables, en katalog med testade arbetsbelastningsmallar som presenterades den 21 oktober för robotik, autonoma fordon och simulering.

Mallar för fem verktyg – NVIDIA Isaac Sim, CARLA, MuJoCo, NVIDIA AlpaSim och NVIDIA Cosmos 3 – paketerar miljöerna så att ingenjörer kan konfigurera och starta en arbetsbelastning med ett kommando, i stället för att bygga upp infrastrukturen från grunden. Lanseringen omfattar också färdigheter som gör det möjligt för kodningsagenter att använda samma arbetsflöden.

För utvecklare är den viktiga frågan vad som går att upprepa. Launchables ska bevara en fungerande miljö mellan experiment, samtidigt som teamen kan ändra de scener, datamängder, modeller och inställningar som påverkar resultatet.

Flytta förberedelserna till ett lager under experimentet

Ett experiment inom fysisk AI handlar om mer än att köra en modell. En utvärdering av körning kräver en simulator och scenarier; ett jobb inom robotinlärning kräver en miljö, en styrpolicy och ett sätt att samla in resultat. Komponenterna behöver också lämplig lagring, beräkningsresurser och begränsningar för körningen.

CoreWeave uppger att företagets ingenjörer har byggt och testat konfigurationerna bakom varje mall. Teamen kan anpassa konfigurationerna efter sitt eget arbete och använda reserverad kapacitet för pågående program eller kapacitetstoppar för enskilda experiment. För varje verktyg som stöds finns också en tom mall som tillhandahåller miljön utan att ange vilken arbetsbelastning som ska köras.

”Physical AI Launchables ger dem en testad utgångspunkt för de verktyg de redan använder, så att mer av deras tid kan ägnas åt det arbete som bara de kan utföra”, sade Richard Ahlfeld, CoreWeaves vice vd för fysisk AI, i tillkännagivandet.

Skillnaden är viktig: CoreWeave tillhandahåller paketerings- och körningslagret, medan simulerings- och modelleringsprogramvaran kommer från NVIDIA och andra utvecklare. Teamen avgör fortfarande vad de ska testa och om resultaten är meningsfulla.

Vad de första mallarna kan användas till

CoreWeaves tekniska inlägg om lanseringen konkretiserar katalogen. Exemplen omfattar robotmanipulering, simulerad körning, syntetiska data och förstärkningsinlärning:

• NVIDIA Isaac Sim: Plocka-och-placera-uppgifter med robotarmar, märkta lagerscener och experiment med fordonsdynamik.
• CARLA: Omgångar med körscenarier som genererar videor för granskning.
• MuJoCo: Parallella experiment med förstärkningsinlärning och uppgifter där robotar manipulerar föremål i köksmiljöer.
• NVIDIA AlpaSim: Sluten utvärdering av körning.
• NVIDIA Cosmos 3: Generering av videobaserade scenarier som kan vara svåra eller dyra att samla in.

Det här är startkonfigurationer, inte en fast uppsättning demonstrationer. Ingenjörer kan ändra parametrarna för arbetsbelastningen eller redigera programkoden och samtidigt behålla den testade miljön i botten. Lanseringen omfattar också färdigheter i NVIDIA Cosmos Data Factory för datautökning, märkning, kurering och hämtning. CoreWeave uppger att fler relaterade mallar planeras.

Kodningsagenter får samma kontroller som ingenjörer

Launchables omfattar färdigheter som är särskilt framtagna av CoreWeave för Claude Code, Codex och andra kodningsagenter. De ger en agent vägledning om relevanta inställningar och tillgång till kommandon för att starta, övervaka och hämta resultaten från en körning.

Lanseringen betonar skillnaden mellan att ett jobb slutförs och att ett experiment lyckas. En process kan avslutas utan att det har fastställts att en körpolicy hanterade scenarierna väl eller att en robot klarade sin uppgift. När rapporter, mätvärden, medier och diagnostik returneras via ett enhetligt gränssnitt får både ingenjörer och agenter underlag att bedöma efter körningen.

Det kan göra automatisering mer användbar i återkommande experiment. En agent kan hjälpa till att hantera ett arbetsflöde, men teamet behöver fortfarande lämpliga utvärderingar och framgångskriterier. Att en driftsättning fungerar visar inte att en modell är redo för ett fysiskt system.

Låt GPU-tiden gå till GPU-arbete

Tillkännagivandet tar också upp hur jobb förbrukar resurser. När arbetsbelastningen tillåter det skiljer mallarna CPU-förberedelser och efterbearbetning från GPU-körningen, så att GPU-kapaciteten frigörs när det steget är klart. Mallarna anger resurskrav och gränser för samtidighet för att underlätta samordningen av parallella körningar.

Det här spelar roll eftersom kostnaden för ett experiment även omfattar den tid som dyr hårdvara står och väntar på annat arbete. Om stegen separeras kan resursfördelningen förbättras, men den faktiska nyttan beror på arbetsbelastningen och hur mycket förberedelser, simulering, träning och analys den kräver.

I det tillkännagivande som tillhandahållits har CoreWeave inte presenterat något allmänt prestandatest av Launchables eller någon generell minskning av installationstiden. Det omedelbara erbjudandet är en testad konfiguration och ett enhetligt sätt att använda den, inte en uppmätt prestandaförbättring som gäller alla robotikprojekt.

Så passar Launchables in i CoreWeaves stack för fysisk AI

Lanseringen breddar CoreWeaves erbjudande från ren GPU-kapacitet till de programvaruarbetsflöden som använder den. På företagets sida om plattformen för fysisk AI beskriver företaget en infrastruktur med GPU- och CPU-beräkning, nätverk, lagring, Kubernetes-orkestrering och Slurm på Kubernetes. Dessa komponenter tillgodoser de olika behoven vid dataförberedelse, simulering och modellträning.

Företagets bredare molnplattform kopplar samman infrastrukturen med CoreWeave Forge, som samlar verktyg för att övervaka, utvärdera och förbättra modeller och agenter. Launchables tillför testade tekniska arbetsbelastningar ovanpå dessa lager. Strategin är att minska antalet miljöer som ett team måste sätta ihop när det går mellan data, experiment och utvärdering.

CoreWeave nämnde också Cadence, Convergent Science, Encord, nTop, PhysicsX och Voxel51 som programvarupartner som arbetar med företagets infrastruktur. Samarbetena sträcker sig från verktyg för data och datorseende till teknisk simulering; de bör inte tolkas som ett påstående om att alla partnerprodukter redan finns som startmallar.

En snabbare start kräver fortfarande en gedigen utvärdering

Möjligheten är tydlig: när en miljö kan återanvändas från ett experiment till nästa kan teamen ägna mer tid åt att jämföra modeller och undersöka fel. Delade mallar kan också göra det enklare för kollegor att återskapa en konfiguration innan de ändrar en variabel.

De svårare frågorna handlar fortfarande om själva tillämpningsområdet. Simulerade scener måste återge relevanta förhållanden, syntetiska data måste vara lämpliga för uppgiften och utvärderingar måste synliggöra fel som spelar roll även utanför simulatorn. Launchables kan förenkla vägen till att köra sådana tester, men undanröjer inte behovet av att utforma dem omsorgsfullt.

CoreWeave hänvisar intresserade team till sin översikt över Launchables för fysisk AI för den första katalogen och mer information. För utvecklare av robotik och autonoma fordon är den praktiska fördelen en kortare väg från en experimentidé till resultat som de kan granska.