NVIDIA Cosmos: Zprostředkování fyzické AI se simulacemi

Vývoj fyzických systémů AI, jako jsou roboti na továrních podlahách a autonomní vozidla na ulicích, silně závisí na velkých, vysoce kvalitních datech pro školení. Shromažďování skutečných dat z reálného světa je však nákladné, časově náročné a často omezené na několik hlavních technologických společností. NVIDIA’s Cosmos platforma řeší tuto výzvu pomocí pokročilých fyzikálních simulací pro generování realistických syntetických dat v měřítku. To umožňuje inženýrům školení modelů AI bez nákladů a zpoždění spojených se shromažďováním skutečných dat z reálného světa. Tento článek diskutuje, jak Cosmos zlepšuje přístup k základním školicím datům a urychluje vývoj bezpečné, spolehlivé AI pro reálné aplikace.

Pochopení fyzické AI

Fyzická AI se týká umělých inteligencí, které mohou vnímat, chápat a jednat ve fyzickém světě. Na rozdíl od tradiční AI, která může analyzovat text nebo obrázky, fyzická AI musí řešit reálné složitosti, jako jsou prostorové vztahy, fyzické síly a dynamické prostředí. Například samořídicí auto musí rozpoznat chodce, předpovídat jejich pohyby a upravit svou dráhu v reálném čase, přičemž zohledňuje faktory, jako je počasí a stav silnic. Podobně robot ve skladu musí navigovat kolem překážek a manipulovat s objekty s přesností.

Vývoj fyzické AI je náročný, protože vyžaduje obrovské množství dat pro školení modelů na různé reálné scénáře. Shromažďování těchto dat, ať už jsou to hodiny záznamů jízdy nebo demonstrace robotických úkolů, může být časově náročné a nákladné. Kromě toho testování AI v reálném světě může být riskantní, protože chyby mohou vést k nehodám. NVIDIA Cosmos řeší tyto výzvy pomocí fyzikálních simulací pro generování realistických syntetických dat. Tento přístup zjednodušuje a urychluje vývoj fyzických systémů AI.

Co jsou World Foundation Models?

V jádru NVIDIA Cosmos je kolekce modelů AI nazývaných world foundation models (WFMs). Tyto modely AI jsou speciálně navrženy pro simulaci virtuálních prostředí, která se blízce podobají fyzickému světu. Generováním fyzikálně-aware videí nebo scénářů WFMs simulují, jak objekty interagují na základě prostorových vztahů a fyzikálních zákonů. Například WFM by mohl simulovat auto jedoucí skrz deštivou bouři, ukazující, jak voda ovlivňuje trakci nebo jak světlomety odrážejí mokré povrchy.

WFMs jsou pro fyzickou AI zásadní, protože poskytují bezpečný, kontrolovatelný prostor pro školení a testování systémů AI. Místo shromažďování skutečných dat z reálného světa mohou vývojáři použít WFMs pro generování syntetických dat – realistických simulací prostředí a interakcí. Tento přístup nejen snižuje náklady, ale také urychluje proces vývoje a umožňuje testovat komplexní, vzácné scénáře (jako neobvyklé dopravní situace) bez rizik spojených s testováním v reálném světě. WFMs jsou obecné modely, které lze upravit pro konkrétní aplikace, podobně jako velké jazykové modely jsou přizpůsobeny pro úkoly, jako je překlad nebo chatboti.

Odhalení NVIDIA Cosmos

NVIDIA Cosmos je platforma navržená pro umožnění vývojářům stavět a přizpůsobovat WFMs pro fyzické AI aplikace, zejména pro autonomní vozidla (AVs) a robotiku. Cosmos integruje pokročilé generativní modely, nástroje pro zpracování dat a bezpečnostní funkce pro vývoj systémů AI, které interagují s fyzickým světem. Platforma je open source, s modely dostupnými pod permissivními licencemi.

Klíčové součásti platformy zahrnují:

• Generativní World Foundation Models (WFMs): Předškolené modely, které simulují fyzická prostředí a interakce.
• Pokročilé tokenizéry: Nástroje, které efektivně komprimují a zpracovávají data pro rychlejší školení modelů.
• Zrychlený pipeline zpracování dat: Systém pro zpracování velkých datových sad, poháněný výpočetní infrastrukturou NVIDIA.

Klíčovou novinkou Cosmos je jeho model pro fyzickou AI. Tento model poskytuje vývojářům schopnost vytvářet a upravovat virtuální světy. Mohou přizpůsobit simulace konkrétním potřebám, jako je testování schopnosti robota zvednout objekty nebo hodnocení reakce AV na náhlou překážku.

Klíčové funkce NVIDIA Cosmos

NVIDIA Cosmos poskytuje různé součásti pro řešení konkrétních výzev ve vývoji fyzické AI:

• Cosmos Přenos WFMs: Tyto modely berou strukturované video vstupy, jako jsou segmentační mapy, hloubkové mapy nebo lidarové skeny, a generují kontrolovatelné, fotorealistické video výstupy. Tato schopnost je besonders užitečná pro vytváření syntetických dat pro školení percepční AI, jako jsou systémy, které pomáhají AV identifikovat objekty nebo roboty rozpoznat své okolí.
• Cosmos Předpověď WFMs: Modely Cosmos Předpověď generují virtuální stav světa na základě multimodálních vstupů, včetně textu, obrázků a videa. Mohou předpovídat budoucí scénáře, jako je to, jak se scéna může vyvinout v čase, a podporují generování více snímků pro komplexní sekvence. Vývojáři mohou přizpůsobit tyto modely pomocí fyzické AI datové sady NVIDIA pro splnění svých konkrétních potřeb, jako je předpověď pohybů chodců nebo robotických akcí.
• Cosmos Rozumný WFM: Model Cosmos Rozumný je plně přizpůsobitelný WFM se space-time povědomím. Jeho rozumná schopnost mu umožňuje chápat jak prostorové vztahy, tak to, jak se mění v čase. Model používá chain-of-thought rozumnou schopnost pro analýzu video dat a předpověď výsledků, jako je zda osoba vstoupí do přechodu nebo zda krabice spadne z police.

Aplikace a použití

NVIDIA Cosmos již má významný dopad na průmysl, s několika předními společnostmi, které přijaly platformu pro své fyzické AI projekty. Tyto rané adoptéry zdůrazňují všestrannost a praktický dopad Cosmos v různých sektorech:

• 1X: Používá Cosmos pro pokročilou robotiku, aby zlepšila svou schopnost vyvíjet AI-poháněné roboty.
• Agility Robotics: Rozšiřuje své partnerství s NVIDIA, aby využilo Cosmos pro humanoidní robotické systémy.
• Figure AI: Používá Cosmos pro rozvoj humanoidní robotiky, se zaměřením na AI, která může provádět komplexní úkoly.
• Foretellix: Používá Cosmos v autonomním vozidle simulaci pro generování širokého spektra testovacích scénářů.
• Skild AI: Používá Cosmos pro vývoj AI-poháněných řešení pro různé aplikace.
• Uber: Integruje Cosmos do svého vývoje autonomních vozidel, aby zlepšil školicí data pro samořídicí systémy.
• Oxa: Používá Cosmos pro urychlení průmyslové mobility automatizace.
• Virtual Incision: Prozkoumává Cosmos pro chirurgickou robotiku, aby zlepšil přesnost ve zdravotnictví.

Tyto použití ukazují, jak Cosmos může splnit širokou škálu potřeb, od dopravy po zdravotnictví, poskytováním syntetických dat pro školení těchto fyzických systémů AI.

Budoucí implikace

Spuštění NVIDIA Cosmos je důležité pro vývoj fyzických systémů AI. Poskytováním open-source platformy s powerfulními nástroji a modely NVIDIA činí vývoj fyzické AI dostupným širšímu spektru vývojářů a organizací. To může vést k významným pokrokům v několika oblastech.

V autonomní dopravě by vylepšená školicí data a simulace mohly vést k bezpečnějším a spolehlivějším samořídicím vozidlům. V robotice by rychlejší vývoj robotů schopných provádět komplexní úkoly mohl transformovat průmysly, jako je výroba, logistika a zdravotnictví. Ve zdravotnictví by technologie, jako je chirurgická robotika, prozkoumaná Virtual Incision, mohla zlepšit přesnost a výsledky lékařských procedur.

Závěrečné shrnutí

NVIDIA Cosmos hraje vitální roli ve vývoji fyzické AI. Tato platforma umožňuje vývojářům generovat vysoce kvalitní syntetická data, poskytováním předškolených, fyzikálně založených world foundation models (WFMs) pro vytváření realistických simulací. S otevřeným přístupem, pokročilými funkcemi a bezpečnostními zárukami Cosmos umožňuje rychlejší a efektivnější vývoj AI. Platforma již pohání významné pokroky v průmyslech, jako je doprava, robotika a zdravotnictví, poskytováním syntetických dat pro stavbu inteligentních systémů, které interagují s fyzickým světem.