CoreWeave udostępnia szablony fizycznej AI do rozwoju robotyki i pojazdów autonomicznych

Zanim zespół zajmujący się robotyką będzie mógł przetestować nową politykę sterowania, ktoś musi zadbać o współpracę symulatora, danych, pamięci masowej i zasobów obliczeniowych. CoreWeave chce ułatwić te przygotowania za pomocą Physical AI Launchables — katalogu przetestowanych szablonów obciążeń, ogłoszonego 21 października z myślą o robotyce, pojazdach autonomicznych i symulacji.

Szablony obejmują środowiska dla pięciu narzędzi — NVIDIA Isaac Sim, CARLA, MuJoCo, NVIDIA AlpaSim i NVIDIA Cosmos 3 — dzięki czemu inżynierowie mogą skonfigurować i uruchomić obciążenie jednym poleceniem, zamiast tworzyć od podstaw całą potrzebną infrastrukturę. W ramach premiery udostępniono również umiejętności, które pozwalają agentom programistycznym obsługiwać te same przepływy pracy.

Dla programistów kluczowe jest pytanie, które działania można będzie powtarzać. Launchables ma zapewniać działające środowisko między kolejnymi eksperymentami, a jednocześnie umożliwiać zespołom zmianę scen, zbiorów danych, modeli i ustawień wpływających na wynik.

Przeniesienie konfiguracji poza obszar eksperymentu

Eksperyment z zakresu fizycznej AI to coś więcej niż samo uruchomienie modelu. Ocena systemu do jazdy wymaga symulatora i scenariuszy, a zadanie związane z uczeniem robota — środowiska, polityki sterowania i sposobu gromadzenia wyników. Wszystkie te elementy wymagają również odpowiedniej pamięci masowej, zasobów obliczeniowych i limitów czasu działania.

CoreWeave informuje, że jej inżynierowie opracowali i przetestowali konfiguracje stanowiące podstawę każdego szablonu. Zespoły mogą dostosować je do własnych potrzeb, korzystając z zarezerwowanych zasobów przy stałych programach lub uruchamiając dodatkowe zadania na potrzeby poszczególnych eksperymentów. Dla każdego obsługiwanego narzędzia dostępny jest też pusty szablon, który zapewnia środowisko, ale nie narzuca rodzaju obciążenia.

„Physical AI Launchables zapewnia im sprawdzony punkt wyjścia dla narzędzi, z których już korzystają, dzięki czemu mogą poświęcić więcej czasu na pracę, którą tylko oni potrafią wykonać” — powiedział Richard Ahlfeld, starszy wiceprezes CoreWeave ds. fizycznej AI, w komunikacie.

To istotne rozróżnienie: CoreWeave zapewnia opakowanie i warstwę wykonawczą, natomiast oprogramowanie do symulacji i modelowania pochodzi od NVIDIA i innych twórców. Zespoły nadal decydują, co testować i czy wyniki mają znaczenie.

Jakie zadania obsługują pierwsze szablony

Wpis techniczny o premierze opublikowany przez CoreWeave pozwala lepiej poznać katalog. Przykłady obejmują manipulowanie obiektami przez roboty, symulację jazdy, dane syntetyczne i uczenie ze wzmocnieniem:

• NVIDIA Isaac Sim: chwytanie i odkładanie przedmiotów przez ramię robota, oznaczone etykietami sceny magazynowe oraz eksperymenty z dynamiką pojazdów.
• CARLA: serie scenariuszy drogowych, w wyniku których powstają nagrania wideo do analizy.
• MuJoCo: równoległe eksperymenty z uczeniem ze wzmocnieniem oraz zadania polegające na manipulowaniu przedmiotami w kuchni.
• NVIDIA AlpaSim: ocena jazdy w zamkniętej pętli.
• NVIDIA Cosmos 3: generowanie scenariuszy wideo, których zebranie może być trudne lub kosztowne.

Są to konfiguracje wyjściowe, a nie zamknięty zestaw demonstracji. Inżynierowie mogą zmieniać parametry obciążenia lub edytować kod aplikacji, zachowując działające pod spodem, przetestowane środowisko. W ramach premiery udostępniono również umiejętności NVIDIA Cosmos Data Factory do rozszerzania, etykietowania, selekcji i wyszukiwania danych; CoreWeave informuje, że planuje przygotować kolejne powiązane szablony.

Agenci programistyczni z takimi samymi możliwościami jak inżynierowie

Launchables obejmuje umiejętności opracowane przez CoreWeave dla Claude Code, Codex i innych agentów programistycznych. Dostarczają one agentowi wskazówek dotyczących odpowiednich ustawień oraz udostępniają polecenia służące do uruchamiania, monitorowania i pobierania wyników zadania.

W komunikacie podkreślono różnicę między zakończeniem zadania a powodzeniem eksperymentu. Proces może się zakończyć, nie dając odpowiedzi na pytanie, czy polityka sterowania poradziła sobie ze scenariuszami drogowymi ani czy robot wykonał swoje zadanie. Przekazywanie raportów, metryk, materiałów multimedialnych i danych diagnostycznych za pośrednictwem jednolitego interfejsu zapewnia zarówno inżynierom, jak i agentom materiały do oceny po zakończeniu działania.

Może to zwiększyć przydatność automatyzacji w kolejnych eksperymentach. Agent może pomagać w obsłudze przepływu pracy, ale zespół nadal musi zadbać o odpowiednie metody oceny i kryteria powodzenia. Działające wdrożenie nie dowodzi, że model jest gotowy do zastosowania w systemie fizycznym.

Wykorzystanie GPU do zadań wymagających GPU

W komunikacie poruszono również kwestię zużycia zasobów przez zadania. Jeśli pozwala na to dane obciążenie, szablony oddzielają przygotowanie danych i przetwarzanie końcowe na CPU od obliczeń na GPU, zwalniając zasoby GPU po zakończeniu tego etapu. Szablony określają wymagania dotyczące zasobów i limity równoległości, co ułatwia koordynowanie równoległych zadań.

Ma to znaczenie, ponieważ koszt eksperymentu obejmuje czas, w którym drogi sprzęt czeka na wykonanie innych zadań. Rozdzielenie etapów może poprawić przydzielanie zasobów, choć rzeczywiste korzyści zależą od rodzaju obciążenia oraz zakresu wymaganych przygotowań, symulacji, trenowania i analizy.

W przekazanym komunikacie CoreWeave nie podało ogólnego wyniku testu porównawczego Launchables ani uniwersalnej wartości skrócenia czasu konfiguracji. Na razie firma oferuje przetestowaną konfigurację i wspólny sposób jej obsługi, a nie zmierzony wzrost wydajności, który sprawdziłby się w każdym projekcie z zakresu robotyki.

Jak Launchables wpisuje się w stos fizycznej sztucznej inteligencji CoreWeave

Ta premiera rozszerza ofertę CoreWeave poza samą moc obliczeniową GPU, obejmując również procesy programowe, które z niej korzystają. Na stronie platformy fizycznej sztucznej inteligencji firma opisuje infrastrukturę obejmującą zasoby obliczeniowe GPU i CPU, sieci, pamięć masową, orkiestrację Kubernetes oraz Slurm w Kubernetes. Te komponenty odpowiadają na różne potrzeby związane z przygotowywaniem danych, symulacjami i trenowaniem modeli.

Szersza platforma chmurowa łączy tę infrastrukturę z CoreWeave Forge, które skupia narzędzia do monitorowania, oceny i ulepszania modeli oraz agentów. Launchables dodaje do tych warstw przetestowane środowiska do zadań inżynieryjnych. Celem tej strategii jest ograniczenie liczby środowisk, które zespół musi samodzielnie konfigurować, przechodząc od danych przez eksperymenty do oceny.

CoreWeave wymieniło również firmy Cadence, Convergent Science, Encord, nTop, PhysicsX i Voxel51 jako partnerów programowych korzystających z jego infrastruktury. Współpraca obejmuje zarówno narzędzia do pracy z danymi i widzenia komputerowego, jak i symulacje inżynierskie; nie należy jednak wyciągać z niej wniosku, że oprogramowanie każdego partnera jest już dostępne jako szablon uruchomieniowy.

Szybszy start nadal wymaga rzetelnej oceny

Korzyść jest oczywista: jeśli środowisko pozostaje niezmienne między kolejnymi eksperymentami, zespoły mogą poświęcić więcej czasu na porównywanie modeli i analizowanie błędów. Wspólne szablony mogą też ułatwić współpracownikom odtworzenie konfiguracji przed zmianą jednej ze zmiennych.

Trudniejsze kwestie dotyczą samej dziedziny. Symulowane sceny muszą odzwierciedlać użyteczne warunki, dane syntetyczne muszą być odpowiednie do danego zadania, a oceny powinny ujawniać błędy, które mają znaczenie także poza symulatorem. Launchables może uprościć uruchamianie takich testów, ale nie zwalnia z konieczności starannego ich zaprojektowania.

Zainteresowane zespoły CoreWeave odsyła do przeglądu Launchables dla fizycznej sztucznej inteligencji, w którym przedstawiono początkowy katalog i dodatkowe informacje. Dla twórców robotów i pojazdów autonomicznych praktyczną zaletą jest krótsza droga od pomysłu na eksperyment do wyników, które można przeanalizować.