Meta V-JEPA 2: Model AI, který přináší robotům zdravý rozum

Meta’s Video Joint Embedding Predictive Architecture 2 (V-JEPA 2) je významný pokrok v Umělá inteligence (AI). Pomáhá robotům pochopit a předpovědět fyzické interakce. Model byl vyškoleno na více než milion hodinách videa. To umožňuje robotům se učit a předpovídat, co se stane dále. Také umožňuje robotům plánovat akce v nových prostředích, což jim umožňuje lépe interagovat s neznámými objekty.

V-JEPA 2 používá sebe-supervizované učení. Učí se přímo z videodata, bez potřeby lidských anotací. To ho odlišuje od ostatních modelů AI, které se spoléhají na označená data. Roboti mohou předpovídat výsledky na základě vizuálního kontextu. Mohou se přizpůsobit a plánovat akce podle potřeby. To nás přivádí blíže k dosažení Pokročilé strojové inteligence (AMI).

V-JEPA 2 staví na Meta’s Joint Embedding Predictive Architecture (JEPA), navržené pro pochopení fyzikálních dynamik. Má dvě hlavní součásti: encoder, který zpracovává surová videa a vytváří užitečné reprezentace, a predictor, který používá tyto reprezentace pro předpověď budoucích událostí. V-JEPA 2 byl vyškoleno na více než milion hodinách videa, což mu umožňuje se učit komplexní vzorce ve fyzickém světě. Díky učení z videa může model předpovídat budoucí akce a interakce, což zlepšuje, jak roboti plánují a činí rozhodnutí.

V-JEPA 2 pomáhá robotům provádět zero-shot planning. To znamená, že roboti mohou zvládat úkoly v nových prostředích, aniž by potřebovali předchozí výcvik. Místo toho mohou roboti provádět úkoly, jako je zvedání objektů a jejich umístění na nová místa, i když je nikdy předtím neviděli. To činí V-JEPA 2 významným zlepšením v předpovědi akcí a modelování světa, což činí roboty více přizpůsobivými novým situacím.

Model se učí z surových videodata, což umožňuje robotům předpovídat budoucí události. To činí roboty více schopnými v reálných situacích. V-JEPA 2 nás přivádí blíže k robotům, kteří mohou plánovat a vykonávat úkoly jako lidé. Meta sdílí V-JEPA 2 s výzkumnou komunitou, aby urychlila pokrok v oblasti AI a zlepšila schopnosti robotů.

Proč je zdravý rozum u robotů vždy byl těžký

Zdravý rozum je schopnost dělat základní rozhodnutí. Například vědět, že šálek se rozlije, pokud se převrhne, nebo pochopit, že židle může zablokovat cestu. Pro lidi tato znalost přichází přirozeně prostřednictvím zkušeností. Nicméně roboti čelí výzvám při rozvoji této stejné intuice.

Většina robotů je programována pro specifické úkoly v kontrolovaných prostředích. Daří se jim dobře v těchto úkolech. Ale když se situace změní nebo se objeví neočekávané prvky, roboti zápasí. Často selhávají v rozpoznání příčiny a účinku nebo v předpovědi důsledků akcí. Například robot může vědět, jak umístit šálek na rovnou plochu. Ale nemusí předvídat, že naklonění šálku by mohlo způsobit jeho rozlití.

Současné modely AI, jako jsou ty, které jsou založeny na učení s posilováním (RL), čelí omezením. RL vyžaduje značné množství učení prostřednictvím pokusů a omylů. To činí proces pomalým a náročným na zdroje. Velké jazykové modely (LLM) vynikají v jazyce, ale postrádají spojení s fyzickým světem. Často halucinují odpovědi na základě pouze textu, což je činí nespolehlivými v dynamických situacích. Tradiční modely počítačového vidění jsou také omezené ve svých schopnostech. Tyto modely jsou specifické pro úkoly a selhávají v adaptaci na nové nebo neočekávané scénáře.

Aby se tyto problémy řešily, odborníci doporučují využívat modely světa. Modely světa umožňují robotům simulovat a předpovídat budoucí akce na základě minulých zkušeností. Tyto modely pomáhají robotům pochopit fyzické dynamiky světa. Například předpovědět, co se stane, když se objekt pohybuje nebo když se dva objekty srážejí. Meta’s V-JEPA 2 je prvním modelem, který integruje tyto principy. Učí se přímo z surových videodata. To činí jej přizpůsobivým pro reálná prostředí, což umožňuje robotům rozumět a plánovat na základě dynamických fyzických interakcí.

Pochopení V-JEPA 2

V-JEPA 2 je model sebe-supervizovaného učení vytvořený týmem Meta’s Fundamental AI Research (FAIR). Na rozdíl od tradičních modelů AI, které vyžadují označená data, V-JEPA 2 se učí z neoznačených videí předpovídáním chybějících částí videosekvencí. Tento proces je znám jako předpověď na úrovni reprezentace. Místo toho, aby se zaměřoval na každý pixel, V-JEPA 2 pracuje s abstraktními reprezentacemi, které zachycují klíčové dynamiky a vztahy mezi objekty a akcemi v prostředí.

Model je postaven na Meta’s Joint Embedding Predictive Architecture (JEPA), navržené pro pochopení fyzikálních dynamik. Má dvě hlavní součásti: encoder, který zpracovává surová videa a vytváří užitečné reprezentace, a predictor, který používá tyto reprezentace pro předpověď budoucích událostí. V-JEPA 2 byl vyškoleno na více než milion hodinách videa, což mu umožňuje se učit komplexní vzorce ve fyzickém světě. Díky učení z videa může model předpovídat budoucí akce a interakce, což zlepšuje, jak roboti plánují a činí rozhodnutí.

V-JEPA 2 pomáhá robotům provádět zero-shot planning. To znamená, že roboti mohou zvládat úkoly v nových prostředích, aniž by potřebovali předchozí výcvik. Místo toho mohou roboti provádět úkoly, jako je zvedání objektů a jejich umístění na nová místa, i když je nikdy předtím neviděli. To činí V-JEPA 2 významným zlepšením v předpovědi akcí a modelování světa, což činí roboty více přizpůsobivými novým situacím.

Model se učí z surových videodata, což umožňuje robotům předpovídat budoucí události. To činí roboty více schopnými v reálných situacích. V-JEPA 2 nás přivádí blíže k robotům, kteří mohou plánovat a vykonávat úkoly jako lidé. Meta sdílí V-JEPA 2 s výzkumnou komunitou, aby urychlila pokrok v oblasti AI a zlepšila schopnosti robotů.

Jak V-JEPA 2 funguje: Dvoufázový proces

V-JEPA 2 funguje ve dvou odlišných fázích. Každá fáze umožňuje modelu se učit z surových videodata a následně aplikovat tyto znalosti pro informovaná rozhodnutí v reálných úkolech.

Fáze 1: Učení reprezentace bez akcí

V-JEPA 2 začíná velkým předškolením na více než milion hodinách videa a milionu obrázků. Model se učí předpovídáním chybějících částí videosekvencí. Zpracovává video jako 3D tubelety, které slouží jako primární tokeny pro model. Model využívá Vision Transformer (ViT) architekturu s 3D Rotary Position Embeddings (3D-RoPE) pro zachycení prostorových a temporálních informací.

Encoder zpracovává tubelety pro vytvoření vysokodimenzionálních vektorů funkcí. Tyto vektory reprezentují prostorové a temporální dynamiky videa. Model využívá maskovací objektivní funkci, kde jsou velké části videa skryty. Model se snaží předpovědět skrytý obsah pomocí viditelných částí. Exponenciální pohyblivý průměr (EMA) cílový encoder pomáhá modelu vyhnout se triviálním řešením a zajišťuje stabilní učení. Funkce ztráty minimalizuje L1 vzdálenost mezi předpověďmi a výstupem EMA cílového encoderu, zaměřující se na vyšší úroveň konceptů, jako je permanence objektů a pohyb, spíše než pixelové detaily.

Fáze 2: Plánování a kontrola podmíněné akcemi

Ve druhé fázi se model přesouvá na trénink podmíněný akcemi. Váhy encoderu jsou zmrazeny a nový predictor je vyškoleno pomocí dat z interakcí robotů. Tato data zahrnují video pozorování a odpovídající kontrolní akce, obvykle z DROID datasetu (asi 62 hodin robotických dat). Nyní může model předpovídat budoucí stav prostředí na základě současného stavu a možných akcí.

V-JEPA 2 nastavuje problém minimizace energie podmíněné cílem. Kóduje současné pozorování a cílový obrázek do map funkcí. Model pak předpovídá, jak se stav změní s různými sekvencemi akcí. Optimální sekvence akcí je nalezena minimalizací L1 vzdálenosti mezi předpovězeným budoucím stavem a reprezentací cíle. Metoda Cross-Entropy (CEM) se používá pro optimalizaci trajektorie.

Pouze první akce optimální sekvence je provedena a proces se opakuje v receding horizon kontrolním cyklu. To umožňuje reálné plánování a adaptaci. Díky využití 3D tubelet zpracování V-JEPA 2 zachycuje prostorové a temporální závislosti, což umožňuje robotům uvažovat o pohybu, interakcích objektů a důsledcích jejich akcí v komplexních prostředích. To umožňuje zero-shot planning a kontrolu, dokonce i v nových scénářích, bez potřeby úkolově specifických demonstrací nebo inženýrství odměn.

Aplikace V-JEPA 2 v robotice

V-JEPA 2 mění způsob, jakým roboti interagují se světem. Mnoho aplikací je stále vyvíjeno, ale model prokázal silné schopnosti v kontrolovaných prostředích.

Manipulace pick-and-place

V laboratorních podmínkách V-JEPA 2 umožnil robotům provádět úkoly pick-and-place s minimálním tréninkem. Pouze pomocí 62 hodin dat z DROID datasetu mohou roboti manipulovat s různými objekty, včetně rigidních a deformovatelných. Tato schopnost je zásadní ve oblastech, jako je logistika, výroba a domácí robotika, kde objekty značně variují ve velikosti a složitosti.

Navigace v dynamických prostředích

V-JEPA 2 může modelovat temporální dynamiky, což z něj činí užitečný pro reálnou navigaci v prostředích s pohybujícími se lidmi, zvířaty nebo překážkami. Ačkoli dosud nebyl použit v autonomních vozidlech nebo drónech, jeho předpovědní schopnosti mohou pomoci robotům předvídat změny a upravovat své trasy. To je klíčové pro bezpečnost a efektivitu v rušných prostředích.

Interakce člověka a robotů

V-JEPA 2 se učí předpovídat lidské akce, což může zlepšit spolupráci mezi lidmi a roboty. Roboti mohou reagovat více přirozeně a bezpečně ve sdílených prostorech, jako jsou nemocnice, domovy nebo průmyslové prostory. Ačkoli je to stále ve vývoji, tato schopnost představuje krok směrem k sociálně vědomým robotům, kteří se mohou přizpůsobit svým okolím.

Generalizace a zero-shot planning

V-JEPA 2 může generalizovat napříč úkoly a prostředím. Roboti mohou využívat naučené reprezentace v nových situacích bez potřeby dalšího tréninku. To umožňuje robotům rychle se přizpůsobit novým úkolem, čímž se snižuje potřeba nových sbírek dat nebo přeškolování.

Reálné rozhodování a efektivita

S jeho efektivním designem V-JEPA 2 podporuje reálné plánování a kontrolu. Meta uvádí, že V-JEPA 2 je 30x rychlejší než Nvidia’s Cosmos model v některých benchmarcích. Tato rychlost je zásadní pro úkoly, které vyžadují rychlá rozhodnutí, jako je robotická manipulace nebo navigace v měnících se prostředích.

Praktické výzvy a omezení

Ačkoli V-JEPA 2 udělal významný pokrok v sebe-supervizovaném učení a robotickém plánování, existují stále výzvy, které je třeba řešit, než může být široce nasazen. Zde jsou klíčová omezení:

Závislost pouze na vizuálních datech

V-JEPA 2 je vyškoleno pouze na videodata a obrázcích. To z něj činí efektivní model pro vizuální úkoly, ale omezuje jeho schopnost provádět multi-senzorické úkoly, jako je taktilní manipulace nebo použití sluchových signálů. Roboti v reálném světě se spoléhají na více senzorických vstupů.

Citlivost na polohu a kalibraci kamery

Model se spoléhá na monokulární RGB vstup, který může zhoršit výkon, pokud je robotova základna nebo referenční rám není viditelný. Ruční úpravy nastavení kamery mohou být potřebné pro zajištění konzistentního výkonu.

Omezení v dlouhodobém a multi-krokovém plánování

V-JEPA 2 funguje dobře se krátkodobými úkoly, ale zápasí s dlouhodobým plánováním. Kumulace chyb v předpovědích a expanze akčních prostorů činí komplexní, multi-krokové operace obtížnými.

Vysoké výpočetní nároky

Ačkoli je rychlejší než modely, jako je Nvidia’s Cosmos, V-JEPA 2 má více než 1,2 miliardy parametrů. To vyžaduje značné výpočetní zdroje, což může být výzvou pro menší laboratoře nebo organizace s omezenou infrastrukturou.

Generalizace v nestrukturovaných prostředích

V-JEPA 2 funguje dobře v kontrolovaných nastaveních, ale může čelit problémům v neznámých nebo nestrukturovaných prostředích. Jeho úspěšnost v úkolech pick-and-place je kolem 80%, ale může selhat v krajních případech.

Integrace s plnými robotickými stacky

Aby byl V-JEPA 2 užitečný, musí být integrován s motorovými kontroléry, reálnými senzory a plánovači úkolů. Dosažení hladké interoperability v dynamických prostředích zůstává výzvou.

Etické a biasové úvahy

Jako všechny velké modely, V-JEPA 2 může zdědit bias z jeho tréninkových dat. V reálných aplikacích, zejména těch, které zahrnují interakci s lidmi, tyto biasy mohou vést k neúmyslným výsledkům. Etický dohled je zásadní.

Závěrečné shrnutí

V-JEPA 2 představuje významný pokrok v AI a robotice. Umožňuje robotům pochopit a interagovat s fyzickým světem jako lidské chování. Ačkoli model prokázal silné výkony v předpovědi akcí, pochopení světa a plánování bez předchozího tréninku, stále čelí několika výzvám.

V-JEPA 2 se spoléhá na vizuální data a má některé omezení v multi-senzorických úkolech, dlouhodobém plánování a integraci s kompletními robotickými systémy. Nicméně jeho schopnost dělat reálná rozhodnutí a přizpůsobit se novým prostředím z něj činí velmi užitečný model pro komplexní reálné situace.

Meta pokračuje v zdokonalování V-JEPA 2, což přispěje k pokroku v AI a zlepší schopnosti robotů. Tento pokrok bude cenný pro odvětví, jako je zdravotnictví, logistika a autonomní vozidla. V-JEPA 2 má velký potenciál a bude hrát kritickou roli v budoucnosti robotiky.