Meta V-JEPA 2: Den AI-model, der bringer sund fornuft til robotter

Meta’s Video Joint Embedding Predictive Architecture 2 (V-JEPA 2) er en betydelig fremgang i Kunstig Intelligens (AI). Det hjælper robotter med at forstå og forudsige fysisk interaktion. Modellen er trænet på over en million timer video. Dette giver robotterne mulighed for at lære og forudsige, hvad der vil ske herefter. Det giver også robotterne mulighed for at planlægge handlinger i nye miljøer, så de kan interagere med ukendte objekter mere effektivt.

V-JEPA 2 bruger selvovervåget læring. Det lærer direkte fra video-data, uden at kræve menneskelige annoteringer. Dette gør det anderledes end andre AI-modeller, der afhænger af labelede data. Robotter kan forudsige resultater baseret på visuel kontekst. De kan tilpasse sig og planlægge handlinger efter behov. Dette bringer os tættere på at opnå Avanceret Maskinintelligens (AMI).

Bygget på Meta’s Joint Embedding Predictive Architecture (JEPA), forbedrer V-JEPA 2 handlingforudsigelse og verdenmodellering, så robotter kan håndtere nye opgaver i ukendte miljøer. Meta deler denne model med forskningssamfundet for at accelerere AI-fremgang og forbedre robotkapaciteter.

Hvorfor sund fornuft i robotter har altid været svært

Sund fornuft er evnen til at træffe grundlæggende beslutninger. For eksempel, at vide, at en kop vil vælte, hvis den væltes, eller at forstå, at en stol måske kan blokere en vej. For mennesker kommer denne viden naturligt gennem erfaring. Men robotter står over for udfordringer i udviklingen af denne samme intuition.

De fleste robotter er programmeret til bestemte opgaver i kontrollerede miljøer. De klarer sig godt i disse opgaver. Men når situationer ændrer sig eller uventede elementer dukker op, kæmper robotterne. De kan ofte ikke genkende årsag og virkning eller forudsige konsekvenserne af handlinger. For eksempel kan en robot vide, hvordan man sætter en kop på en flad overflade. Men den kan ikke forudse, at at vælte koppen kan få den til at vælte.

Nuværende AI-modeller, såsom dem, der er baseret på Forstærkningslæring (RL), står over for begrænsninger. RL kræver en betydelig mængde af trial-and-error-læring. Dette gør processen langsom og ressourcekrævende. Store sprogmodeller (LLM) excellerer i sprog, men mangler grundlag i den fysiske verden. De hallucinerer ofte svar baseret kun på tekst, hvilket gør dem upålidelige i dynamiske situationer. Traditionelle computer vision-modeller er også begrænsede i deres evner. Disse modeller er opgave-specifikke og kan ikke tilpasse sig til nye eller uventede scenarier.

For at løse disse problemer anbefaler eksperter at bruge verdenmodeller. Verdenmodeller giver robotter mulighed for at simulere og forudsige fremtidige handlinger baseret på tidligere erfaringer. Disse modeller hjælper robotter med at forstå verdens fysiske dynamik. For eksempel, at forudsige, hvad der vil ske, når et objekt flyttes eller når to objekter kolliderer. Meta’s V-JEPA 2 er den første model, der integrerer disse principper. Den lærer direkte fra rå video-data. Dette gør den tilpasningsdygtig til virkelige miljøer, så robotter kan resonere og planlægge baseret på dynamiske fysiske interaktioner.

At forstå V-JEPA 2

V-JEPA 2 er en selvovervåget læringmodel skabt af Meta’s Fundamental AI Research (FAIR)-team. I modsætning til traditionelle AI-modeller, der kræver labelede data, lærer V-JEPA 2 fra ulabelde video ved at forudsige de manglende dele af videosekvenser. Denne proces kaldes representation-niveau-forudsigelse. I stedet for at fokusere på hver enkelt pixel, arbejder V-JEPA 2 med abstrakte repræsentationer, der fanger de vigtigste dynamikker og relationer mellem objekter og handlinger i miljøet.

Modellen er bygget på Meta’s Joint Embedding Predictive Architecture (JEPA), designet til at forstå fysisk dynamik. Den har to vigtige komponenter: en encoder, der behandler rå video for at skabe nyttige repræsentationer, og en forudsigelse, der bruger disse repræsentationer til at forudsige fremtidige begivenheder. V-JEPA 2 er trænet på over en million timer video, hvilket giver det mulighed for at lære komplekse mønstre i den fysiske verden. Ved at lære fra video kan modellen forudsige fremtidige handlinger og interaktioner, hvilket forbedrer, hvordan robotter planlægger og træffer beslutninger.

V-JEPA 2 hjælper robotter med at udføre zero-shot-planlægning. Dette betyder, at robotter kan håndtere opgaver i nye miljøer, selv uden tidligere træning. I stedet kan robotter udføre opgaver som at samle objekter op og placere dem i nye lokaliteter, selv hvis de aldrig har set disse opgaver før. Dette gør V-JEPA 2 til en betydelig forbedring i handlingforudsigelse og verdenmodellering, hvilket gør robotter mere tilpasningsdygtige til nye situationer.

Modellen lærer fra rå video-data, hvilket giver robotter mulighed for at forudsige fremtidige begivenheder. Dette gør robotter mere kapable i virkelige situationer. V-JEPA 2 bringer os tættere på robotter, der kan planlægge og udføre opgaver som mennesker. Meta deler V-JEPA 2 med forskningssamfundet for at accelerere AI-fremgang. Robotter, der bruger V-JEPA 2, kan operere i dynamiske miljøer, tilpasse sig hurtigt og planlægge opgaver mere effektivt.

Hvorledes V-JEPA 2 fungerer: Den to-trinsproces

V-JEPA 2 fungerer i to distinkte trin. Hvert trin giver modellen mulighed for at lære fra rå video-data og herefter anvende denne viden til at træffe informerede beslutninger i virkelige opgaver.

Trin 1: Handling-fri repræsentationslæring

V-JEPA 2 starter med stor-skala-forudtræning på over 1 million timer video og 1 million billeder. Modellen lærer ved at forudsige de manglende dele af videosekvenser. Den behandler videoen som 3D-tubelets, der fungerer som de primære tokens for modellen. Modellen anvender en Vision Transformer (ViT)-arkitektur med 3D-Rotary Position Embeddings (3D-RoPE) for at fange både rumlige og tidsmæssige oplysninger mere effektivt.

Encoderen behandler tubelets for at skabe høj-dimensionale funktionvektorer. Disse vektorer repræsenterer både de rumlige og tidsmæssige dynamikker i videoen. Modellen anvender en mask-døvningsobjektiv, hvor store dele af videoen er skjult. Modellen forsøger at forudsige den skjulte indhold ved at bruge de synlige dele. En Exponential Moving Average (EMA)-target-encoder hjælper modellen med at undgå trivielle løsninger og sikrer stabil læring. Tab-funktionen minimiserer L1-afstanden mellem forudsigelserne og EMA-target-encoderns output, med fokus på højere-niveau-koncepter som objekt-permanens og bevægelse, snarere end pixel-niveau-detajler.

Trin 2: Handling-betinget planlægning og kontrol

I det andet trin skifter modellen til handling-betinget træning. Encodervægtene er frosne, og en ny forudsigelse er trænet ved hjælp af data fra robot-interaktioner. Dette data inkluderer video-observationer og de tilsvarende kontrol-handlinger, typisk fra DROID-datasættet (omkring 62 timer robot-data). Nu kan modellen forudsige den fremtidige tilstand af et miljø baseret på både den nuværende tilstand og mulige handlinger.

V-JEPA 2 opstiller et mål-betinget energiminimeringsproblem. Den encoder både den nuværende observation og et mål-billede til funktion-kort. Modellen forudsigere herefter, hvordan tilstanden vil ændre sig med forskellige handlingsskemaer. Den optimale handlingsskema er fundet ved at minimere L1-afstanden mellem den forudsagte fremtidige tilstand og mål-repræsentationen. Cross-Entropy Metoden (CEM) anvendes til trajektorie-optimering.

Kun den første handling i den optimale skema udføres, og processen gentages i en receding horizon-kontrol-løkke. Dette giver mulighed for real-tids-planlægning og tilpasning. Ved at anvende 3D-tubelet-behandling, fanger V-JEPA 2 både rumlige og tidsmæssige afhængigheder, hvilket giver robotter mulighed for at resonere om bevægelse, objek-interaktioner og konsekvenserne af deres handlinger i komplekse miljøer. Dette giver mulighed for zero-shot-planlægning og kontrol, selv i nye scenarier, uden behov for opgave-specifikke demonstrationer eller reward-engineering.

Anvendelser af V-JEPA 2 i robotteknologi

V-JEPA 2 er med til at ændre, hvordan robotter interagerer med verden. Mange anvendelser er stadig under udvikling, men modellen har demonstreret stærke evner i kontrollerede miljøer.

Greb-og-placering-manipulation

I laboratorie-miljøer har V-JEPA 2 givet robotter mulighed for at udføre greb-og-placering-opgaver med minimal træning. Ved hjælp af kun 62 timer data fra DROID-datasættet kan robotter manipulere med forskellige objekter, herunder både stive og deformable objekter. Denne evne er afgørende i felter som logistik, produktion og hjemme-robotik, hvor objekter varierer betydeligt i størrelse og kompleksitet.

Navigering i dynamiske miljøer

V-JEPA 2 kan modelere tidsmæssige dynamikker, hvilket gør den nyttig til real-tids-navigering i miljøer med bevægelser, mennesker, dyr eller hindringer. Selv om den endnu ikke er blevet anvendt i autonome køretøjer eller droner, kan dens forudsigelsesevner hjælpe robotter med at forudsige ændringer og tilpasse deres ruter. Dette er afgørende for sikkerhed og effektivitet i travle miljøer.

Menneske-robot-interaktion

Ved at lære at forudsige menneskelige handlinger kan V-JEPA 2 forbedre menneske-robot-samarbejde. Robotter kan reagere mere naturligt og sikkert i fælles rum, såsom hospitaler, hjem eller industrielle gulve. Selv om dette stadig er under udvikling, repræsenterer denne evne et skridt mod socialt bevidste robotter, der kan tilpasse sig til deres omgivelser.

Generalisering og zero-shot-planlægning

V-JEPA 2 kan generalisere over opgaver og miljøer. Robotter kan anvende de læredes repræsentationer i nye situationer uden behov for yderligere træning. Denne zero-shot-planlægning giver robotter mulighed for at tilpasse sig hurtigt til nye opgaver, hvilket reducerer behovet for ny dataindsamling eller gen-træning.

Real-tids-beslutning og effektivitet

Med sin effektive design understøtter V-JEPA 2 real-tids-planlægning og kontrol. Meta rapporterer, at V-JEPA 2 er 30 gange hurtigere end Nvidia’s Cosmos-model i visse benchmarks. Denne hastighed er afgørende for opgaver, der kræver hurtige beslutninger, såsom robot-manipulation eller navigering i ændrende miljøer.

Praktiske udfordringer og begrænsninger

Selv om V-JEPA 2 har gjort betydelig fremgang i selvovervåget læring og robot-planlægning, er der stadig udfordringer at løse, før det kan blive bredt anvendt. Her er de vigtigste begrænsninger:

Afhængighed af visuel data alene

V-JEPA 2 er trænet kun på video- og billed-data. Dette gør den effektiv til visuelle opgaver, men begrænser dens evne til at udføre multi-sensoriske opgaver, såsom taktil manipulation eller brug af auditive signaler. Virkelige robotter afhænger af multiple sensoriske input.

Følsomhed over for kamera-position og kalibrering

Modellen afhænger af monokulært RGB-input, hvilket kan nedgrade ydelsen, hvis robotterens base eller reference-ramme ikke er synlig. Manuelle justeringer af kamera-opstilling kan være nødvendige for at sikre konstant ydelse.

Begrænsninger i langsigtede og multi-trins-planlægning

V-JEPA 2 klarer sig godt med korte-horizon-opgaver, men kæmper med langsigtede planlægning. Akkumuleringen af fejl i forudsigelser og udvidelsen af handling-rum giver komplekse, multi-trins-operationer svære.

Høje computermæssige krav

Selv om V-JEPA 2 er hurtigere end modeller som Nvidia’s Cosmos, har den over 1,2 milliarder parametre. Dette kræver betydelige computermæssige ressourcer, hvilket kan udgøre en udfordring for mindre laboratorier eller organisationer med begrænsede faciliteter.

Generalisering i ustrukturerede miljøer

V-JEPA 2 klarer sig godt i kontrollerede miljøer, men kan have problemer i ukendte eller ustrukturerede miljøer. Dens succesrate i greb-og-placering-opgaver er omkring 80%, men den kan fejle i randtilfælde.

Integration med fulde robot-stacks

For at være nyttig må V-JEPA 2 integreres med motor-kontrollere, real-tids-sensorer og opgave-planlæggere. At opnå glat samarbejde i dynamiske miljøer forbliver en udfordring.

Etiske og bias-overvejelser

Ligesom alle store modeller kan V-JEPA 2 arve bias fra dens træningsdata. I virkelige anvendelser, især når det involverer menneskelige interaktioner, kan disse bias føre til uventede resultater. Etisk overvågning er afgørende.

Bottom-line

V-JEPA 2 repræsenterer en betydelig fremgang i AI og robotteknologi. Den giver robotter mulighed for at forstå og interagere med den fysiske verden som menneskeligt adfærd. Selv om modellen har demonstreret stærke præstationer i at forudsige handlinger, forstå verden og planlægge uden tidligere træning, står den over for flere udfordringer.

V-JEPA 2 afhænger af visuel data og har nogle begrænsninger i multi-sensoriske opgaver, langsigtede planlægning og integration med komplette robot-systemer. Men dens evne til at træffe beslutninger i real-tid og tilpasse sig til nye miljøer gør den meget nyttig til komplekse virkelige situationer.

Meta fortsætter med at forfine V-JEPA 2, hvilket vil bidrage til at fremme AI og gøre robotter smartere. Denne fremgang vil være værdifuld for industrier som sundhedspleje, logistik og autonome køretøjer. V-JEPA 2 har stor potentiale og vil spille en afgørende rolle i fremtiden for robotteknologi.