NVIDIA Cosmos: Zprostředkování fyzické AI se simulacemi

Vývoj fyzických systémů AI, jako jsou roboti na továrních podlahách a autonomní vozidla na ulicích, silně závisí na velkých, vysoce kvalitních datech pro školení. Shromažďování reálných dat je však nákladné, časově náročné a často omezené na několik hlavních technologických společností. Platforma NVIDIA’s Cosmos (NVDA ) řeší tuto výzvu pomocí pokročilých fyzikálních simulací pro generování realistických syntetických dat v měřítku. To umožňuje inženýrům školení modelů AI bez nákladů a zpoždění spojených se shromažďováním reálných dat. Tento článek diskutuje, jak Cosmos zlepšuje přístup k základním tréninkovým datům a urychluje vývoj bezpečných, spolehlivých AI pro reálné aplikace.

Pochopení fyzické AI

Fyzická AI se týká umělých inteligencí, které mohou vnímat, rozumět a jednat ve fyzickém světě. Na rozdíl od tradiční AI, která může analyzovat text nebo obrázky, fyzická AI musí řešit reálné složitosti, jako jsou prostorové vztahy, fyzické síly a dynamické prostředí. Například samořiditelné auto musí rozpoznat chodce, předpovědět jejich pohyby a upravit svou cestu v reálném čase, přičemž zohledňuje faktory, jako je počasí a stav vozovky. Podobně robot ve skladu musí navigovat kolem překážek a manipulovat s objekty s přesností.

Vývoj fyzické AI je náročný, protože vyžaduje obrovské množství dat pro školení modelů na různých reálných scénářích. Shromažďování těchto dat, ať už jde o hodiny záznamů jízdy nebo demonstrace robotických úkolů, může být časově náročné a nákladné. Kromě toho může testování AI ve fyzickém světě být riskantní, protože chyby mohou vést k nehodám. NVIDIA Cosmos řeší tyto výzvy pomocí fyzikálních simulací pro generování realistických syntetických dat. Tento přístup zjednodušuje a urychluje vývoj fyzických systémů AI.

Co jsou světové základové modely?

V jádru NVIDIA Cosmos je kolekce modelů AI nazývaných světové základové modely (WFMs). Tyto modely AI jsou speciálně navrženy pro simulaci virtuálních prostředí, která úzce napodobují fyzický svět. Generováním fyzikálně-aware videí nebo scénářů WFMs simulují, jak objekty interagují na základě prostorových vztahů a fyzikálních zákonů. Například WFM by mohl simulovat auto jedoucí v dešti, ukazující, jak voda ovlivňuje trakci nebo jak světlomety odrážejí mokrou vozovku.

WFMs jsou zásadní pro fyzickou AI, protože poskytují bezpečný, kontrolovaný prostor pro školení a testování AI systémů. Místo shromažďování reálných dat mohou vývojáři použít WFMs pro generování syntetických dat – realistických simulací prostředí a interakcí. Tento přístup nejen snižuje náklady, ale také urychluje vývojový proces a umožňuje testování složitých, vzácných scénářů (jako neobvyklé dopravní situace) bez rizik spojených s reálným testováním. WFMs jsou obecné modely, které lze upravit pro specifické aplikace, podobně jako velké jazykové modely jsou přizpůsobeny pro úkoly, jako je překlad nebo chatboty.

Odhalení NVIDIA Cosmos

NVIDIA Cosmos je platforma navržená pro umožnění vývojářům sestavit a přizpůsobit WFMs pro fyzické AI aplikace, zejména pro autonomní vozidla (AV) a robotiku. Cosmos integruje pokročilé generativní modely, nástroje pro zpracování dat a bezpečnostní funkce pro vývoj AI systémů, které interagují s fyzickým světem. Platforma je otevřená, s modely dostupnými pod permissivními licencemi.

Klíčové komponenty platformy zahrnují:

• Generativní světové základové modely (WFMs): Předškolené modely, které simulují fyzická prostředí a interakce.
• Pokročilé tokenizéry: Nástroje, které efektivně komprimují a zpracovávají data pro rychlejší školení modelů.
• Zrychlený datový procesní řetězec: Systém pro zpracování velkých datových sad, poháněný výpočetní infrastrukturou NVIDIA.

Klíčovou novinkou Cosmos je jeho model pro fyzickou AI. Tento model poskytuje vývojářům schopnost vytvářet a upravovat virtuální světy. Mohou přizpůsobit simulace specifickým potřebám, jako je testování schopnosti robota zvednout objekty nebo hodnocení reakce AV na náhlou překážku.

Klíčové funkce NVIDIA Cosmos

NVIDIA Cosmos poskytuje různé komponenty pro řešení specifických výzev ve vývoji fyzické AI:

• Cosmos Přenos WFMs: Tyto modely berou strukturované video vstupy, jako jsou segmentační mapy, hloubkové mapy nebo lidarové skeny, a generují kontrolované, fotorealistické video výstupy. Tato schopnost je besonders užitečná pro vytváření syntetických dat pro školení percepční AI, jako jsou systémy, které pomáhají AV identifikovat objekty nebo roboty rozpoznávat své okolí.
• Cosmos Předpověď WFMs: Modely Cosmos Předpověď generují virtuální světové stavy na základě multimodálních vstupů, včetně textu, obrázků a videa. Mohou předpovědět budoucí scénáře, jako je to, jak scéna může vyvinout v čase, a podporují více rámcové generování pro komplexní sekvence. Vývojáři mohou přizpůsobit tyto modely pomocí fyzické AI datové sady NVIDIA, aby splnili své specifické potřeby, jako je předpověď pohybu chodců nebo robotických akcí.
• Cosmos Rozum WFM: Model Cosmos Rozum je plně přizpůsobitelný WFM se spatial-temporální povědomím. Jeho rozumová schopnost mu umožňuje rozumět jak prostorovým vztahům, tak tomu, jak se mění v čase. Model používá chain-of-thought rozumění pro analýzu video dat a předpověď výsledků, jako je zda osoba vstoupí do přechodu nebo zda krabice spadne z police.

Aplikace a použití

NVIDIA Cosmos již má významný dopad na průmysl, s několika předními společnostmi, které přijaly platformu pro své fyzické AI projekty. Tyto rané adoptéry zdůrazňují všestrannost a praktický dopad Cosmos v různých sektorech:

• 1X: Používá Cosmos pro pokročilou robotiku, aby zlepšila svou schopnost vyvíjet AI-poháněné roboty.
• Agility Robotics: Rozšiřuje svou spolupráci s NVIDIA, aby využila Cosmos pro humanoidní robotické systémy.
• Figure AI: Používá Cosmos pro rozvoj humanoidní robotiky, zaměřené na AI, která může provádět komplexní úkoly.
• Foretellix: Používá Cosmos v simulaci autonomních vozidel, aby generovala širokou škálu testovacích scénářů.
• Skild AI: Používá Cosmos pro vývoj AI-poháněných řešení pro různé aplikace.
• Uber: Integruje Cosmos do vývoje autonomních vozidel, aby zlepšil tréninková data pro samořiditelné systémy.
• Oxa: Používá Cosmos pro urychlení průmyslové mobility automatizace.
• Virtual Incision: Prozkoumává Cosmos pro chirurgickou robotiku, aby zlepšil přesnost ve zdravotnictví.

Tyto použití ukazují, jak Cosmos může splnit širokou škálu potřeb, od dopravy po zdravotnictví, poskytováním syntetických dat pro školení těchto fyzických AI systémů.

Budoucí implikace

Spuštění NVIDIA Cosmos je důležité pro vývoj fyzických AI systémů. Poskytováním otevřené platformy s výkonnými nástroji a modely NVIDIA činí fyzickou AI vývoj přístupnější širšímu spektru vývojářů a organizací. To může vést k významným pokrokům v několika oblastech.

V autonomní dopravě by vylepšená tréninková data a simulace mohly vést k bezpečnějším a spolehlivějším samořiditelným vozidlům. V robotice by rychlejší vývoj robotů schopných provádět komplexní úkoly mohl transformovat průmysly, jako je výroba, logistika a zdravotnictví. Ve zdravotnictví by technologie, jako je chirurgická robotika, prozkoumaná Virtual Incision, mohla zlepšit přesnost a výsledky lékařských procedur.

Závěrečné shrnutí

NVIDIA Cosmos hraje zásadní roli ve vývoji fyzické AI. Tato platforma umožňuje vývojářům generovat vysoce kvalitní syntetická data poskytováním předškolených, fyzikálně založených světových základových modelů (WFMs) pro vytváření realistických simulací. S otevřeným přístupem, pokročilými funkcemi a bezpečnostními opatřeními Cosmos ermögňuje rychlejší a efektivnější vývoj AI. Platforma již pohání významné pokroky v průmyslech, jako je doprava, robotika a zdravotnictví, poskytováním syntetických dat pro budování inteligentních systémů, které interagují s fyzickým světem.