Meta V-JEPA 2: Den AI-modell som bringar sunt förnuft till robotar

Metas Video Joint Embedding Predictive Architecture 2 (V-JEPA 2) är en betydande framsteg inom Artificiell Intelligens (AI). Det hjälper robotar att förstå och förutsäga fysiska interaktioner. Modellen är tränad på över en miljon timmar av video. Detta möjliggör för robotar att lära sig och förutsäga vad som kommer att hända härnäst. Det möjliggör också för robotar att planera handlingar i nya miljöer, vilket gör att de kan interagera med okända föremål mer effektivt.

V-JEPA 2 använder självständig inlärning. Det lär sig direkt från videodata, utan att kräva mänskliga annoteringar. Detta gör det annorlunda än andra AI-modeller som förlitar sig på märkt data. Robotar kan förutsäga resultat baserat på visuell kontext. De kan anpassa sig och planera handlingar som behövs. Detta bringar oss närmare att uppnå Avancerad MaskinIntelligens (AMI).

Genom att bygga på Metas Joint Embedding Predictive Architecture (JEPA), förbättrar V-JEPA 2 handlingens förutsägelse och världsmodellering, vilket möjliggör för robotar att hantera nya uppgifter i okända miljöer. Meta delar denna modell med forskarsamhället för att påskynda AI-framsteg och förbättra robotförmågor.

Varför sunt förnuft i robotar alltid har varit svårt

Sunt förnuft är förmågan att fatta grundläggande beslut. Till exempel, att veta att en kopp kommer att spilla om den tippar över eller att förstå att en stol kan blockera en väg. För människor kommer denna kunskap naturligt genom erfarenhet. Men robotar står inför utmaningar i att utveckla denna samma intuition.

De flesta robotar är programmerade för specifika uppgifter i kontrollerade miljöer. De fungerar bra i dessa uppgifter. Men när situationer ändras eller oväntade element uppträder, kämpar robotar. De har ofta svårt att känna igen orsak och verkan eller förutsäga konsekvenserna av handlingar. Till exempel kan en robot veta hur man placerar en kopp på en plan yta. Men den kan inte förutse att att tippa koppens kan orsaka att den spilller.

Aktuella AI-modeller, såsom de som baseras på Förstärkt Inlärning (RL), står inför begränsningar. RL kräver en betydande mängd trial-and-error-inlärning. Detta gör processen långsam och resurskrävande. Stora språkmodeller (LLM) excellerar i språk men saknar grundning i den fysiska världen. De hallucinerar ofta svar baserat enbart på text, vilket gör dem opålitliga i dynamiska situationer. Traditionella datorseende-modeller är också begränsade i sina förmågor. Dessa modeller är uppgiftsspecifika och misslyckas med att anpassa sig till nya eller oväntade scenarier.

För att hantera dessa problem rekommenderar experter att använda världsmodeller. Världsmodeller möjliggör för robotar att simuler och förutsäga framtida handlingar baserat på tidigare erfarenheter. Dessa modeller hjälper robotar att förstå världens fysiska dynamik. Till exempel, att förutsäga vad som kommer att hända när ett föremål flyttas eller när två föremål kolliderar. Metas V-JEPA 2 är den första modellen som integrerar dessa principer. Den lär sig direkt från rå videodata. Detta gör den anpassningsbar till verkliga miljöer, vilket möjliggör för robotar att resonera och planera baserat på dynamiska fysiska interaktioner.

Att förstå V-JEPA 2

V-JEPA 2 är en självständig inlärningsmodell skapad av Metas Fundamental AI Research (FAIR)-team. Till skillnad från traditionella AI-modeller som kräver märkt data, lär sig V-JEPA 2 från omarkerad video genom att förutsäga de saknade delarna av videosekvenser. Detta kallas representation-nivå förutsägelse. Istället för att fokusera på varje pixel, arbetar V-JEPA 2 med abstrakta representationer som fångar de viktigaste dynamikerna och relationerna mellan föremål och handlingar i miljön.

Modellen är byggd på Metas Joint Embedding Predictive Architecture (JEPA), designad för att förstå fysiska dynamiker. Den har två viktiga komponenter: en encoder, som bearbetar rå video för att skapa användbara representationer, och en predictor, som använder dessa representationer för att förutsäga framtida händelser. V-JEPA 2 är tränad på över en miljon timmar av video, vilket möjliggör för den att lära sig komplexa mönster i den fysiska världen. Genom att lära sig från video, kan modellen förutsäga framtida handlingar och interaktioner, vilket förbättrar hur robotar planerar och fattar beslut.

V-JEPA 2 hjälper robotar att utföra noll-skott-planering. Detta innebär att robotar kan hantera uppgifter i nya miljöer även utan tidigare träning. Istället kan robotar utföra uppgifter som att plocka upp föremål och placera dem på nya platser, även om de aldrig har sett dessa uppgifter förut. Detta gör V-JEPA 2 till en betydande förbättring av handlingens förutsägelse och världsmodellering, vilket gör robotar mer anpassningsbara till nya situationer.

Modellen lär sig från rå videodata, vilket möjliggör för robotar att förutsäga framtida händelser. Detta gör robotar mer kapabla i verkliga situationer. V-JEPA 2 bringar oss närmare robotar som kan planera och utföra uppgifter som människor. Meta delar V-JEPA 2 med forskarsamhället för att påskynda AI-framsteg. Robotar som använder V-JEPA 2 kan operera i dynamiska miljöer, anpassa sig snabbt och planera uppgifter mer effektivt.

Hur V-JEPA 2 fungerar: Den tvåstegsprocessen

V-JEPA 2 fungerar i två distinkta steg. Varje steg möjliggör för modellen att lära sig från rå videodata och sedan applicera denna kunskap för att fatta informerade beslut i verkliga uppgifter.

Steg 1: Handling-fri representation-inlärning

V-JEPA 2 börjar med stor skala förträning på över 1 miljon timmar av video och 1 miljon bilder. Modellen lär sig genom att förutsäga de saknade delarna av videosekvenser. Den bearbetar videon som 3D-tubelets, som fungerar som primära token för modellen. Modellen använder en Vision Transformer (ViT)-arkitektur med 3D-Rotary Position Embeddings (3D-RoPE) för att fånga både spatial och temporär information mer effektivt.

Encodern bearbetar tubelets för att skapa högdimensionella funktionella vektorer. Dessa vektorer representerar både den spatiala och temporala dynamiken i videon. Modellen använder en mask-denoising-objektiv, där stora delar av videon är dolda. Modellen försöker förutsäga den dolda innehållet genom att använda de synliga delarna. En Exponential Moving Average (EMA)-mål-encoder hjälper modellen att undvika triviala lösningar och säkerställer stabil inlärning. Förlustfunktionen minimerar L1-avståndet mellan förutsägelser och EMA-mål-encoderns utdata, med fokus på högre nivå-koncept som objektsbeständighet och rörelse, snarare än pixel-nivå detaljer.

Steg 2: Handling-villkorad planering och kontroll

I det andra steget, skiftar modellen till handling-villkorad träning. Encoderviktorna är frusna, och en ny predictor är tränad med data från robot-interaktioner. Denna data inkluderar video-observationer och motsvarande kontroll-handlingar, vanligtvis från DROID-datasetet (omkring 62 timmar av robotdata). Nu kan modellen förutsäga den framtida tillståndet av en miljö baserat på både det nuvarande tillståndet och möjliga handlingar.

V-JEPA 2 ställer upp ett mål-villkorat energi-minimeringsproblem. Den kodar både den nuvarande observationen och en målbild till funktionella kartor. Modellen förutsäger sedan hur tillståndet kommer att ändras med olika handlingsserier. Den optimala handlingsserien hittas genom att minimera L1-avståndet mellan den förutsagda framtida tillståndet och mål-representationen. Cross-Entropy Metoden (CEM) används för trajektorioptimering.

Bara den första handlingen i den optimala serien utförs, och processen upprepas i en receding horizon-kontroll-loop. Detta möjliggör realtids-planering och anpassning. Genom att använda 3D-tubelet-bearbetning, fångar V-JEPA 2 både spatial och temporär beroenden, vilket möjliggör för robotar att resonera om rörelse, föremåls-interaktioner och konsekvenserna av deras handlingar i komplexa miljöer. Detta möjliggör noll-skott-planering och kontroll, även i nya scenarier, utan behov av uppgiftsspecifika demonstrationer eller belöningsutformning.

Tillämpningar av V-JEPA 2 inom robotik

V-JEPA 2 förändrar sättet robotar interagerar med världen. Många tillämpningar utvecklas fortfarande, men modellen har visat starka förmågor i kontrollerade miljöer.

Plocka och placera manipulation

I labbmiljöer har V-JEPA 2 möjliggjort för robotar att utföra plocka och placera-uppgifter med minimal träning. Med hjälp av bara 62 timmar av data från DROID-datasetet, kan robotar manipulera olika föremål, inklusive både styva och deformerbara. Denna förmåga är avgörande i områden som logistik, tillverkning och hemrobotik, där föremål varierar betydligt i storlek och komplexitet.

Navigering i dynamiska miljöer

V-JEPA 2 kan modellera temporala dynamiker, vilket gör det användbart för realtids-navigering i miljöer med rörliga människor, djur eller hinder. Även om det inte har använts i autonoma fordon eller drönare, kan dess förutsägelseförmåga hjälpa robotar att förutse förändringar och anpassa sina vägar. Detta är nyckeln till säkerhet och effektivitet i upptagna miljöer.

Människa-robot-interaktion

Genom att lära sig att förutsäga mänskliga handlingar, kan V-JEPA 2 förbättra människa-robot-samarbete. Robotar kan svara mer naturligt och säkert i delade utrymmen, såsom sjukhus, hem eller industriella golv. Även om det fortfarande är under utveckling, representerar denna förmåga ett steg mot socialt medvetna robotar som kan anpassa sig till sin omgivning.

Generalisering och noll-skott-planering

V-JEPA 2 kan generalisera över uppgifter och miljöer. Robotar kan använda de inlärda representationerna i nya situationer utan att kräva ytterligare träning. Denna noll-skott-planering möjliggör för robotar att snabbt anpassa sig till nya uppgifter, vilket minskar behovet av ny datainsamling eller omträning.

Realtids-beslutsfattande och effektivitet

Med sin effektiva design, stöder V-JEPA 2 realtids-planering och kontroll. Meta rapporterar att V-JEPA 2 är 30x snabbare än Nvidias Cosmos-modell i vissa benchmark-tester. Denna hastighet är avgörande för uppgifter som kräver snabba beslut, såsom robotmanipulation eller navigering i föränderliga miljöer.

Praktiska utmaningar och begränsningar

Även om V-JEPA 2 har gjort betydande framsteg inom självständig inlärning och robot-planering, finns det fortfarande utmaningar att hantera innan det kan distribueras bredare. Här är de viktigaste begränsningarna:

Beroende av visuell data ensam

V-JEPA 2 är tränad enbart på videodata och bilddata. Detta gör det effektivt för visuella uppgifter, men begränsar dess förmåga att utföra multi-sensoriska uppgifter, såsom taktil manipulation eller användning av auditiva signaler. Verkliga robotar förlitar sig på flera sensoriska indata.

Känslighet för kameraposition och kalibrering

Modellen förlitar sig på monokulär RGB-inmatning, vilket kan försämra prestanda om robotens bas eller referensram inte är synlig. Manuella justeringar av kamerainställningar kan krävas för att säkerställa konsekvent prestanda.

Begränsningar i långsiktig och multi-stegs-planering

V-JEPA 2 fungerar bra med kort-horisont-uppgifter men kämpar med långsiktig planering. Ackumuleringen av fel i förutsägelser och utvidgningen av handling-utrymmen gör komplexa, multi-stegs-operationer svåra.

Höga beräkningskrav

Även om det är snabbare än modeller som Nvidias Cosmos, har V-JEPA 2 över 1,2 miljarder parametrar. Detta kräver betydande beräkningsresurser, vilket kan utgöra en utmaning för mindre labb eller organisationer med begränsad infrastruktur.

Generalisering i ostrukturerade miljöer

V-JEPA 2 fungerar bra i kontrollerade miljöer men kan möta problem i okända eller ostrukturerade miljöer. Dess framgångsgrad i plocka och placera-uppgifter är runt 80%, men den kan misslyckas i extrema fall.

Integrering med fullständiga robot-stacks

För att vara användbart, måste V-JEPA 2 integreras med motor-styrenheter, realtids-sensorer och uppgifts-planerare. Att uppnå smidig interoperabilitet i dynamiska miljöer kvarstår som en utmaning.

Etiska och bias-överväganden

Liksom alla stora modeller, kan V-JEPA 2 ärva bias från sin träningsdata. I verkliga tillämpningar, särskilt de som involverar mänsklig interaktion, kan dessa bias leda till oavsiktliga resultat. Etisk tillsyn är avgörande.

Slutsatsen

V-JEPA 2 representerar en betydande framsteg inom AI och robotik. Det möjliggör för robotar att förstå och interagera med den fysiska världen som mänskligt beteende. Även om modellen har visat stark prestanda i att förutsäga handlingar, förstå världen och planera utan tidigare träning, står den fortfarande inför flera utmaningar.

V-JEPA 2 förlitar sig på visuell data och har vissa begränsningar i multi-sensoriska uppgifter, långsiktig planering och integration med fullständiga robot-system. Men dess förmåga att fatta realtids-beslut och anpassa sig till nya miljöer gör det mycket användbart för komplexa verkliga situationer.

Meta fortsätter att förbättra V-JEPA 2, vilket kommer att bidra till att främja AI och göra robotar smartare. Denna framsteg kommer att vara värdefullt för branscher som hälsovård, logistik och autonoma fordon. V-JEPA 2 har stor potential och kommer att spela en avgörande roll i robotikens framtid.