Meta V-JEPA 2: Den AI-modell som bringar sunt förnuft till robotar

Meta’s Video Joint Embedding Predictive Architecture 2 (V-JEPA 2) är ett betydande framsteg inom Artificiell Intelligens (AI). Det hjälper robotar att förstå och förutsäga fysiska interaktioner. Modellen är tränad på över en miljon timmar av video. Detta möjliggör för robotar att lära sig och förutse vad som kommer att hända härnäst. Det möjliggör också för robotar att planera handlingar i nya miljöer, vilket gör att de kan interagera med okända föremål mer effektivt.

V-JEPA 2 använder självinlärning. Den lär sig direkt från videodata, utan att kräva mänskliga annoteringar. Detta gör den annorlunda än andra AI-modeller som förlitar sig på märkt data. Robotar kan förutsäga resultat baserat på visuell kontext. De kan anpassa sig och planera handlingar efter behov. Detta bringar oss närmare att uppnå Avancerad Maskinintelligens (AMI).

Genom att bygga på Meta’s Joint Embedding Predictive Architecture (JEPA), förbättrar V-JEPA 2 handlingens förutsägelse och världsmodellering, vilket möjliggör för robotar att hantera nya uppgifter i okända miljöer. Meta delar denna modell med forskarsamhället för att påskynda AI-förändringar och förbättra robotförmågor.

Varför sunt förnuft i robotar alltid har varit svårt

Sunt förnuft är förmågan att fatta grundläggande beslut. Till exempel, att veta att en kopp kommer att spilla om den vänds upp och ner eller att förstå att en stol kan blockera en väg. För människor kommer denna kunskap naturligt genom erfarenhet. Men robotar står inför utmaningar i att utveckla samma intuition.

De flesta robotar är programmerade för specifika uppgifter i kontrollerade miljöer. De fungerar bra i dessa uppgifter. Men när situationer förändras eller oväntade element uppträder, kämpar robotarna. De misslyckas ofta med att känna igen orsak och verkan eller förutsäga konsekvenserna av handlingar. Till exempel, en robot kan veta hur man placerar en kopp på en plan yta. Men den kan inte förutse att att vända koppen kan orsaka att den spillts.

Nuvarande AI-modeller, såsom de som baseras på Förstärkt Inlärning (RL), står inför begränsningar. RL kräver en betydande mängd trial-and-error-inlärning. Detta gör processen långsam och resurskrävande. Stora språkmodeller (LLM) excellerar i språk men saknar förankring i den fysiska världen. De hallucinerar ofta svar baserat enbart på text, vilket gör dem opålitliga i dynamiska situationer. Traditionella datorseende-modeller är också begränsade i sina förmågor. Dessa modeller är uppgiftsspecifika och misslyckas med att anpassa sig till nya eller oväntade scenarier.

För att hantera dessa problem rekommenderar experter att man använder världsmodeller. Världsmodeller möjliggör för robotar att simulerar och förutsäga framtida handlingar baserat på tidigare erfarenheter. Dessa modeller hjälper robotar att förstå världens fysiska dynamik. Till exempel, att förutsäga vad som kommer att hända när ett föremål flyttas eller när två föremål kolliderar. Meta’s V-JEPA 2 är den första modellen som integrerar dessa principer. Den lär sig direkt från rå videodata. Detta gör den anpassningsbar till verkliga miljöer, vilket möjliggör för robotar att resonera och planera baserat på dynamiska fysiska interaktioner.

Att förstå V-JEPA 2

V-JEPA 2 är en självinlärningsmodell skapad av Meta’s Fundamental AI Research (FAIR)-team. Till skillnad från traditionella AI-modeller som kräver märkt data, lär sig V-JEPA 2 från omarkerad video genom att förutsäga de saknade delarna av videosekvenser. Detta process kallas representation-nivå förutsägelse. Istället för att fokusera på varje pixel, arbetar V-JEPA 2 med abstrakta representationer som fångar de viktigaste dynamikerna och relationerna mellan föremål och handlingar i miljön.

Modellen är byggd på Meta’s Joint Embedding Predictive Architecture (JEPA), designad för att förstå fysiska dynamiker. Den har två viktiga komponenter: en encoder, som bearbetar rå video för att skapa användbara representationer, och en predictor, som använder dessa representationer för att förutsäga framtida händelser. V-JEPA 2 är tränad på över en miljon timmar av video, vilket möjliggör för den att lära sig komplexa mönster i den fysiska världen. Genom att lära sig från video, kan modellen förutsäga framtida handlingar och interaktioner, vilket förbättrar hur robotar planerar och fattar beslut.

V-JEPA 2 hjälper robotar att utföra zero-shot planering. Detta innebär att robotar kan hantera uppgifter i nya miljöer även utan tidigare träning. Istället kan robotar utföra uppgifter som att plocka upp föremål och placera dem i nya platser, även om de aldrig har sett dessa uppgifter förut. Detta gör V-JEPA 2 till en betydande förbättring av handlingens förutsägelse och världsmodellering, vilket gör robotar mer anpassningsbara till nya situationer.

Modellen lär sig från rå videodata, vilket möjliggör för robotar att förutsäga framtida händelser. Detta gör robotar mer kapabla i verkliga situationer. V-JEPA 2 bringar oss närmare robotar som kan planera och utföra uppgifter som människor. Meta delar V-JEPA 2 med forskarsamhället för att påskynda AI-förändringar. Robotar som använder V-JEPA 2 kan operera i dynamiska miljöer, anpassa sig snabbt och planera uppgifter mer effektivt.

Hur V-JEPA 2 fungerar: Den tvåstegsprocessen

V-JEPA 2 fungerar i två distinkta steg. Varje steg möjliggör för modellen att lära sig från rå videodata och sedan applicera denna kunskap för att fatta informerade beslut i verkliga uppgifter.

Steg 1: Handling-fri representation-inlärning

V-JEPA 2 börjar med stor skala förträning på över 1 miljon timmar av video och 1 miljon bilder. Modellen lär sig genom att förutsäga de saknade delarna av videosekvenser. Den bearbetar videon som 3D-tubelets, som fungerar som de primära token för modellen. Modellen använder en Vision Transformer (ViT)-arkitektur med 3D-Rotary Position Embeddings (3D-RoPE) för att fånga både rumslig och tidsmässig information mer effektivt.

Encodern bearbetar tubelets för att skapa högdimensionella funktion-vektorer. Dessa vektorer representerar både den rumsliga och tidsmässiga dynamiken i videon. Modellen använder en mask-denoising-objektiv, där stora delar av videon är dolda. Modellen försöker förutsäga den dolda innehållet genom att använda de synliga delarna. En Exponential Moving Average (EMA)-target-encoder hjälper modellen att undvika triviala lösningar och säkerställer stabil inlärning. Förlustfunktionen minimerar L1-avståndet mellan förutsägelserna och EMA-target-encoderns utdata, fokuserar på högre nivå-koncept som objektpermanens och rörelse, snarare än pixel-nivå detaljer.

Steg 2: Handling-villkorad planering och kontroll

I det andra steget, skiftar modellen till handling-villkorad träning. Encoderviktorna är frysta, och en ny predictor är tränad med data från robot-interaktioner. Denna data inkluderar video-observationer och motsvarande kontroll-handlingar, vanligtvis från DROID-datasetet (om 62 timmar av robotdata). Nu kan modellen förutsäga den framtida tillståndet av en miljö baserat på både den nuvarande tillståndet och möjliga handlingar.

V-JEPA 2 ställer upp ett mål-villkorat energi-minimeringsproblem. Den kodar både den nuvarande observationen och en målbild till funktion-kartor. Modellen förutsäger sedan hur tillståndet kommer att förändras med olika handling-sekvenser. Den optimala handling-sekvensen hittas genom att minimera L1-avståndet mellan den förutsagda framtida tillståndet och mål-representationen. Cross-Entropy Method (CEM) används för bana-optimering.

Bara den första handlingen i den optimala sekvensen utförs, och processen upprepas i en receding horizon-kontroll-loop. Detta möjliggör realtids-planering och anpassning. Genom att använda 3D-tubelet-bearbetning, fångar V-JEPA 2 både rumslig och tidsmässig beroende, vilket möjliggör för robotar att resonera om rörelse, föremåls-interaktioner och konsekvenserna av deras handlingar i komplexa miljöer. Detta möjliggör zero-shot planering och kontroll, även i nya scenarier, utan behov av uppgiftsspecifik demonstration eller belönings-ingenjörskonst.

Tillämpningar av V-JEPA 2 i robotteknik

V-JEPA 2 förändrar sättet robotar interagerar med världen. Många tillämpningar utvecklas fortfarande, men modellen har visat starka förmågor i kontrollerade miljöer.

Plocka och placera-manipulation

I labb-miljöer har V-JEPA 2 möjliggjort för robotar att utföra plocka och placera-uppgifter med minimal träning. Med bara 62 timmar av data från DROID-datasetet, kan robotar manipulera olika föremål, inklusive både rigida och deformerbara. Denna förmåga är avgörande i fält som logistik, tillverkning och hem-robotik, där föremål varierar betydligt i storlek och komplexitet.

Navigering i dynamiska miljöer

V-JEPA 2 kan modellera tidsmässiga dynamiker, vilket gör den användbar för realtids-navigering i miljöer med rörliga människor, djur eller hinder. Även om den ännu inte har använts i autonoma fordon eller drönare, kan dess prediktiva förmågor hjälpa robotar att förutse förändringar och anpassa sina banor. Detta är avgörande för säkerhet och effektivitet i upptagna miljöer.

Människa-robot-interaktion

Genom att lära sig att förutsäga mänskliga handlingar, kan V-JEPA 2 förbättra människa-robot-samarbete. Robotar kan svara mer naturligt och säkert i delade utrymmen, såsom sjukhus, hem eller industriella golv. Även om det fortfarande är under utveckling, representerar denna förmåga ett steg mot socialt medvetna robotar som kan anpassa sig till sin omgivning.

Generalisering och zero-shot planering

V-JEPA 2 kan generalisera över uppgifter och miljöer. Robotar kan använda de inlärda representationerna i nya situationer utan att kräva ytterligare träning. Denna zero-shot planering möjliggör för robotar att snabbt anpassa sig till nya uppgifter, vilket minskar behovet av ny datainsamling eller omträning.

Realtids-beslutsfattande och effektivitet

Med sin effektiva design, stöder V-JEPA 2 realtids-planering och kontroll. Meta rapporterar att V-JEPA 2 är 30x snabbare än Nvidias Cosmos-modell i vissa benchmark-tester. Denna hastighet är avgörande för uppgifter som kräver snabba beslut, såsom robot-manipulation eller navigering i föränderliga miljöer.

Praktiska utmaningar och begränsningar

Även om V-JEPA 2 har gjort betydande framsteg inom självinlärning och robot-planering, finns det fortfarande utmaningar att hantera innan den kan distribueras bredare. Här är de viktigaste begränsningarna:

Beroende av visuell data ensam

V-JEPA 2 är tränad enbart på video- och bild-data. Detta gör den effektiv för visuella uppgifter, men begränsar dess förmåga att utföra multi-sensoriska uppgifter, såsom taktil manipulation eller användning av auditiva signaler. Verkliga robotar förlitar sig på flera sensoriska indata.

Känslighet för kameraposition och kalibrering

Modellen förlitar sig på monokulär RGB-inmatning, vilket kan försämra prestanda om robotens bas eller referensram inte är synlig. Manuella justeringar av kamerainställningar kan krävas för att säkerställa konsekvent prestanda.

Begränsningar i långsiktig och multi-stegs planering

V-JEPA 2 fungerar bra med kort-horisont-uppgifter men kämpar med långsiktig planering. Ackumuleringen av fel i förutsägelser och expansionen av handling-utrymmen gör komplexa, multi-stegs-operationer svåra.

Höga beräkningskrav

Även om den är snabbare än modeller som Nvidias Cosmos, har V-JEPA 2 över 1,2 miljarder parametrar. Detta kräver betydande beräkningsresurser, vilket kan utgöra en utmaning för mindre laboratorier eller organisationer med begränsad infrastruktur.

Generalisering i ostrukturerade miljöer

V-JEPA 2 fungerar bra i kontrollerade miljöer men kan möta problem i okända eller ostrukturerade miljöer. Dess framgångsgrad i plocka och placera-uppgifter är runt 80%, men den kan misslyckas i extrema fall.

Integrering med fullständiga robot-staplar

För att vara användbar, måste V-JEPA 2 integreras med motor-styrenheter, realtids-sensorer och uppgifts-planerare. Att uppnå smidig samverkan i dynamiska miljöer kvarstår som en utmaning.

Etiska och bias-överväganden

Liksom alla stora modeller, kan V-JEPA 2 ärva bias från sin träningsdata. I verkliga tillämpningar, särskilt de som involverar mänsklig interaktion, kan dessa bias leda till oavsiktliga konsekvenser. Etisk tillsyn är avgörande.

Slutsatsen

V-JEPA 2 representerar ett betydande framsteg inom AI och robotteknik. Den möjliggör för robotar att förstå och interagera med den fysiska världen som mänskligt beteende. Även om modellen har visat stark prestanda i att förutsäga handlingar, förstå världen och planera utan tidigare träning, står den fortfarande inför flera utmaningar.

V-JEPA 2 förlitar sig på visuell data och har vissa begränsningar i multi-sensoriska uppgifter, långsiktig planering och integrering med fullständiga robot-system. Men dess förmåga att fatta beslut i realtid och anpassa sig till nya miljöer gör den mycket användbar för komplexa verkliga situationer.

Meta fortsätter att förbättra V-JEPA 2, vilket kommer att bidra till att främja AI och göra robotar smartare. Denna utveckling kommer att vara värdefull för branscher som hälsovård, logistik och autonoma fordon. V-JEPA 2 har stor potential och kommer att spela en avgörande roll i robotteknikens framtid.