CoreWeave julkaisee fyysisen tekoälyn mallipohjia robotiikan ja autonomisten ajoneuvojen kehitykseen

Ennen kuin robotiikkatiimi voi testata uutta toimintamallia, jonkun on saatava simulaattori, data, tallennustila ja laskenta toimimaan yhdessä. CoreWeave tarttuu tähän valmistelutyöhön Physical AI Launchables -palvelulla, joka on testattujen työkuormamallipohjien valikoima robotiikkaa, autonomisia ajoneuvoja ja simulointia varten. Palvelusta ilmoitettiin 21. lokakuuta.

Mallipohjat sisältävät ympäristöt viidelle työkalulle — NVIDIA Isaac Simille, CARLAlle, MuJoColle, NVIDIA AlpaSimille ja NVIDIA Cosmos 3:lle — joten insinöörit voivat määrittää työkuorman ja käynnistää sen yhdellä komennolla sen sijaan, että rakentaisivat tarvittavan infrastruktuurin alusta asti. Julkaisu sisältää myös taitoja, joiden avulla koodausagentit voivat käyttää samoja työnkulkuja.

Kehittäjien kannalta tärkeä kysymys on, mistä tulee toistettavaa. Launchables pyrkii säilyttämään toimivan ympäristön kokeiden välillä ja antamaan tiimien samalla muuttaa tulokseen vaikuttavia näkymiä, aineistoja, malleja ja asetuksia.

Valmistelutyö siirtyy kokeen taustalle

Fyysisen tekoälyn kokeessa on kyse muustakin kuin mallin suorittamisesta. Ajotavan arviointi edellyttää simulaattoria ja skenaarioita; robotin oppimiseen liittyvä työ vaatii ympäristön, toimintamallin ja keinon kerätä tuloksia. Nämä osat tarvitsevat lisäksi sopivan tallennustilan ja laskentaresurssit sekä suoritusrajoitukset.

CoreWeaven mukaan sen insinöörit ovat rakentaneet ja testanneet kunkin mallipohjan taustalla olevat kokoonpanot. Tiimit voivat mukauttaa kokoonpanoja omaan työhönsä ja käyttää varattua kapasiteettia käynnissä oleviin ohjelmiin tai lisäkapasiteettia yksittäisiin kokeisiin. Jokaiselle tuetulle työkalulle on myös tyhjä mallipohja, joka tarjoaa ympäristön määräämättä työkuorman sisältöä.

”Physical AI Launchables tarjoaa heille testatun lähtökohdan jo käyttämiinsä työkaluihin, jotta he voivat käyttää enemmän aikaa työhön, jonka vain he voivat tehdä”, sanoi Richard Ahlfeld, CoreWeaven fyysisen tekoälyn johtaja, ilmoituksessa.

Erottelu on hyödyllinen: CoreWeave tarjoaa paketointi- ja suorituskerroksen, kun taas simulointi- ja mallinnusohjelmistot ovat NVIDIA:lta ja muilta kehittäjiltä. Tiimit päättävät edelleen, mitä testataan ja ovatko tulokset merkityksellisiä.

Mitä ensimmäisillä mallipohjilla voi suorittaa

CoreWeaven tekninen julkaisu havainnollistaa valikoiman sisältöä konkreettisemmin. Esimerkit kattavat robottien käsittelytehtävät, ajamisen simuloinnin, synteettisen datan ja vahvistusoppimisen:

• NVIDIA Isaac Sim: Robottikäsivarren poiminta- ja sijoitustehtävät, nimikoidut varastoympäristöt ja ajoneuvojen dynamiikkakokeet.
• CARLA: Ajoskenaarioiden eräajot, joista syntyy tarkasteltavaa videokuvaa.
• MuJoCo: Rinnakkaiset vahvistusoppimiskokeet ja keittiössä suoritettavat käsittelytehtävät.
• NVIDIA AlpaSim: Suljetun silmukan ajamisen arviointi.
• NVIDIA Cosmos 3: Ajovideoiden skenaarioiden luominen tilanteista, joiden kerääminen voi olla vaikeaa tai kallista.

Nämä ovat lähtökohtia, eivät kiinteä joukko esittelyjä. Insinöörit voivat muuttaa työkuorman parametreja tai muokata sovelluksen koodia ja samalla säilyttää niiden alla olevan testatun ympäristön. Julkaisu sisältää myös NVIDIA Cosmos Data Factory -taitoja datan täydentämiseen, nimikointiin, kuratointiin ja hakuun. CoreWeaven mukaan lisää aiheeseen liittyviä mallipohjia on suunnitteilla.

Koodausagentit saavat samat hallintamahdollisuudet kuin insinöörit

Launchables sisältää CoreWeave-kohtaisia taitoja Claude Codea, Codexia ja muita koodausagentteja varten. Ne antavat agentille ohjeita olennaisista asetuksista sekä pääsyn komentoihin, joilla suoritus käynnistetään, sitä seurataan ja sen tulokset noudetaan.

Julkaisussa korostetaan eroa työn valmistumisen ja kokeen onnistumisen välillä. Prosessi voi päättyä osoittamatta, selviytyikö ajamisen toimintamalli hyvin skenaarioistaan tai suorittiko robotti tehtävänsä. Kun raportit, mittarit, mediatiedostot ja diagnostiikkatiedot palautetaan yhtenäisen rajapinnan kautta, insinööreillä ja agenteilla on suorituksen jälkeen aineistoa arviointia varten.

Tämä voi tehostaa automaatiota toistuvissa kokeissa. Agentti voi auttaa työnkulun käyttämisessä, mutta tiimi tarvitsee silti asianmukaiset arvioinnit ja onnistumiskriteerit. Toimiva käyttöönotto ei osoita, että malli soveltuu fyysiseen järjestelmään.

GPU-aika käytetään GPU-työhön

Ilmoituksessa käsitellään myös sitä, miten työkuormat kuluttavat resursseja. Kun työkuorma sen sallii, mallipohjat erottavat suorittimella tehtävän valmistelun ja jälkikäsittelyn grafiikkasuorittimella tehtävästä suorituksesta. Näin grafiikkasuorittimen kapasiteetti vapautuu, kun kyseinen vaihe on valmis. Mallipohjissa määritellään resurssivaatimukset ja rinnakkaisten suoritusten rajat, mikä auttaa koordinoimaan niitä.

Tällä on merkitystä, sillä kokeen kustannuksiin kuuluu myös se aika, jonka kallis laitteisto odottaa muita töitä. Vaiheiden erottaminen voi parantaa resurssien kohdentamista, mutta todellinen hyöty riippuu työkuormasta sekä siitä, kuinka paljon valmistelua, simulointia, koulutusta ja analysointia se edellyttää.

CoreWeave ei toimittanut ilmoituksessa yleistä Launchables-vertailutestiä eikä kaikissa tilanteissa pätevää arviota asennusajan lyhenemisestä. Palvelun välitön lupaus on testattu kokoonpano ja yhteinen tapa käyttää sitä — ei mitattu suorituskyvyn parannus, joka pätee kaikkiin robotiikkaprojekteihin.

Miten Launchables sopii CoreWeaven fyysisen tekoälyn kokonaisuuteen

Julkaisu laajentaa CoreWeaven toimintaa pelkästä GPU-kapasiteetista sitä hyödyntäviin ohjelmistotyönkulkuihin. Fyysisen tekoälyn alustasivullaan yhtiö kuvailee infrastruktuuria, johon kuuluvat GPU- ja CPU-laskenta, verkkoyhteydet, tallennus, Kubernetes-orkestrointi sekä Slurm Kubernetesin päällä. Nämä osat vastaavat datan valmistelun, simuloinnin ja mallien koulutuksen erilaisiin tarpeisiin.

Laajempi pilvialusta yhdistää tämän infrastruktuurin CoreWeave Forgeen, joka kokoaa yhteen työkaluja mallien ja agenttien seurantaan, arviointiin ja kehittämiseen. Launchables tuo näiden kerrosten päälle testattuja teknisen suunnittelun työkuormia. Tavoitteena on vähentää niiden ympäristöjen määrää, jotka tiimin on koottava siirtyessään datasta kokeisiin ja arviointiin.

CoreWeave nimesi myös Cadencen, Convergent Sciencen, Encordin, nTopin, PhysicsX:n ja Voxel51:n ohjelmistokumppaneikseen, jotka työskentelevät sen infrastruktuurin parissa. Kumppanuudet kattavat datan ja konenäön työkalut sekä teknisen suunnittelun simuloinnin; niistä ei pidä päätellä, että jokainen kumppanituote olisi jo saatavilla käynnistysmallina.

Nopeampi aloituskin edellyttää luotettavaa arviointia

Hyöty on selvä: kun ympäristö säilyy kokeesta toiseen, tiimit voivat käyttää enemmän aikaa mallien vertailuun ja virheiden selvittämiseen. Jaetut mallit voivat myös helpottaa kollegoiden mahdollisuutta toisintaa kokoonpano ennen yhden muuttujan muuttamista.

Vaikeammat kysymykset liittyvät edelleen itse sovellusalueeseen. Simuloitujen näkymien on vastattava hyödyllisiä olosuhteita, synteettisen datan on sovelluttava tehtävään, ja arviointien on tuotava esiin virheitä, joilla on merkitystä simulaattorin ulkopuolella. Launchables voi helpottaa näiden testien suorittamista, mutta se ei poista tarvetta suunnitella niitä huolellisesti.

CoreWeave ohjaa kiinnostuneet tiimit tutustumaan Physical AI Launchables -yleiskatsaukseen, josta löytyy alkuperäinen valikoima ja lisätietoja. Robotiikan ja autonomisten ajoneuvojen kehittäjille käytännön etuna on lyhyempi matka kokeiluideasta tuloksiin, joita he voivat tarkastella.