Meta V-JEPA 2: AI-modellen som bringer sunn fornuft til roboter

Meta’s Video Joint Embedding Predictive Architecture 2 (V-JEPA 2) er en betydelig fremgang i Kunstig Intelligens (AI). Det hjelper roboter å forstå og forutsi fysiske interaksjoner. Modellen er trent på over en million timer med video. Dette ermöglicher roboter å lære og forutsi hva som kommer til å skje neste. Det ermöglicher også roboter å planlegge handlinger i nye miljøer, og la dem samhandle med ukjente objekter mer effektivt.

V-JEPA 2 bruker selvovervåkende læring. Det lærer direkte fra video data, uten å kreve menneskelige annotasjoner. Dette gjør det forskjellig fra andre AI-modeller som avhenger av merket data. Robotene kan forutsi resultater basert på visuell kontekst. De kan tilpasse seg og planlegge handlinger etter behov. Dette bringer oss nærmere å oppnå Avansert Maskinintelligens (AMI).

Bygget på Meta’s Joint Embedding Predictive Architecture (JEPA), forbedrer V-JEPA 2 handlingforutsigelse og verdenmodellering, og ermöglicher roboter å håndtere nye oppgaver i ukjente innstillinger. Meta deler denne modellen med forskningsmiljøet for å akselerere AI-fremgang og forbedre robotens evner.

Hvorfor sunn fornuft i roboter alltid har vært vanskelig

Sunn fornuft er evnen til å ta grunnleggende beslutninger. For eksempel, å vite at en kopp vil spille over hvis den vipper over eller å forstå at en stol kan blokkere en vei. For mennesker kommer denne kunnskapen naturlig gjennom erfaring. Imidlertid møter roboter utfordringer i å utvikle denne samme intuisjonen.

De fleste roboter er programmert for bestemte oppgaver i kontrollerte miljøer. De gjør det bra i disse oppgavene. Men når situasjonen endrer seg eller uventede elementer dukker opp, sliter robotene. De erkjenner ofte ikke årsak og virkning eller kan forutsi konsekvensene av handlinger. For eksempel, en robot kan vite hvordan den skal plassere en kopp på en flat overflate. Imidlertid kan den ikke forutse at å vippe koppene kunne føre til at den spiller over.

Gjeldende AI-modeller, som de basert på Forsterkninglæring (RL), møter begrensninger. RL krever en betydelig mengde prøving og feil. Dette gjør prosessen langsom og ressurskrevende. Store språkmodeller (LLM) utmerker seg i språk, men mangler grunnlag i den fysiske verden. De hallucinerer ofte svar basert bare på tekst, og gjør dem upålitelige i dynamiske situasjoner. Tradisjonelle datamaskinsyn-modeller er også begrenset i deres evner. Disse modellene er oppgavespesifikke og sliter med å tilpasse seg nye eller uventede scenarier.

For å løse disse problemene, anbefaler eksperter å bruke verdenmodeller. Verdenmodeller ermöglicher roboter å simulere og forutsi fremtidige handlinger basert på tidligere erfaringer. Disse modellene hjelper roboter å forstå den fysiske verdens dynamikk. For eksempel, å forutsi hva som skjer når et objekt flyttes eller når to objekter kolliderer. Meta’s V-JEPA 2 er den første modellen som integrerer disse prinsippene. Den lærer direkte fra rå video data. Dette gjør den tilpassbar til virkelige miljøer, og ermöglicher roboter å grunne og planlegge basert på dynamiske fysiske interaksjoner.

Forstå V-JEPA 2

V-JEPA 2 er en selvovervåkende læringmodell skapt av Meta’s Fundamental AI Research (FAIR)-team. I motsetning til tradisjonelle AI-modeller som krever merket data, lærer V-JEPA 2 fra umerket video ved å forutsi manglende deler av videosekvenser. Denne prosessen kalles representasjonsnivåforutsigelse. I stedet for å fokusere på hver enkelt piksel, arbeider V-JEPA 2 med abstrakte representasjoner som fanger de viktigste dynamikkene og relasjonene mellom objekter og handlinger i miljøet.

Modellen er bygget på Meta’s Joint Embedding Predictive Architecture (JEPA), designet for å forstå fysiske dynamikker. Den har to nøkkelkomponenter: en encoder som prosesserer rå video for å skape nyttige representasjoner, og en forutsiger som bruker disse representasjonene til å forutsi fremtidige hendelser. V-JEPA 2 er trent på over en million timer med video, og ermöglicher det å lære komplekse mønster i den fysiske verden. Ved å lære fra video, kan modellen forutsi fremtidige handlinger og interaksjoner, og forbedre hvordan roboter planlegger og tar beslutninger.

V-JEPA 2 hjelper roboter å utføre nullskuddsplanlegging. Dette betyr at roboter kan håndtere oppgaver i nye miljøer, selv uten tidligere trening. I stedet kan roboter utføre oppgaver som å plukke opp objekter og plassere dem i nye lokasjoner, selv om de aldri har sett disse oppgavene før. Dette gjør V-JEPA 2 til en betydelig forbedring i handlingforutsigelse og verdenmodellering, og gjør roboter mer tilpassbare til nye situasjoner.

Modellen lærer fra rå video data, og ermögplier roboter å forutsi fremtidige hendelser. Dette gjør roboter mer kapable i virkelige situasjoner. V-JEPA 2 bringer oss nærmere roboter som kan planlegge og utføre oppgaver som mennesker. Meta deler V-JEPA 2 med forskningsmiljøet for å akselerere AI-fremgang. Robotene som bruker V-JEPA 2 kan operere i dynamiske miljøer, tilpasse seg raskt, og planlegge oppgaver mer effektivt.

Hvordan V-JEPA 2 opererer: Den to-trinnsprosessen

V-JEPA 2 opererer i to distinkte trinn. Hvert trinn ermögplier modellen å lære fra rå video data og deretter bruke denne kunnskapen til å ta informerte beslutninger i virkelige oppgaver.

Trinn 1: Handlingfri representasjonslæring

V-JEPA 2 starter med stor skala forhåndstrening på over 1 million timer med video og 1 million bilder. Modellen lærer ved å forutsi manglende deler av videosekvenser. Den prosesserer videoen som 3D-tubeletter, som fungerer som primære token for modellen. Modellen bruker en Vision Transformer (ViT)-arkitektur med 3D-Rotary Position Embeddings (3D-RoPE) for å fange både romlige og tidsmessige informasjoner mer effektivt.

Encoderen prosesserer tubelettene for å skape høydimensjonale funksjonsvektorer. Disse vektorene representerer både romlige og tidsmessige dynamikker i videoen. Modellen bruker en maskeringsstøyobjektiv, hvor store deler av videoen er skjult. Modellen prøver å forutsi den skjulte innholdet ved å bruke de synlige delene. En Exponential Moving Average (EMA)-målencoder hjelper modellen å unngå trivielle løsninger og sikrer stabil læring. Tapfunksjonen minimiserer L1-avstanden mellom forutsigelsene og EMA-målencodens utgang, fokuserer på høyere nivåkonsepter som objektpermanens og bevegelse, i stedet for pikselnivådetaljer.

Trinn 2: Handlingssonliggjort planlegging og kontroll

I det andre trinnet, skifter modellen til handlingssonliggjort trening. Encodervektene er frosset, og en ny forutsiger blir trent ved å bruke data fra robotinteraksjoner. Denne datan inkluderer videoobservasjoner og tilhørende kontrollhandlingar, vanligvis fra DROID-datasettet (om 62 timer med robottdata). Nå kan modellen forutsi fremtidige tilstander i en omgivelse basert på både nåværende tilstand og mulige handlinger.

V-JEPA 2 setter opp et målsonliggjort energiminimeringsproblem. Den koder både nåværende observasjon og et målbilde inn i funksjonskarter. Modellen forutsier deretter hvordan tilstanden vil endre seg med ulike handlingssekvenser. Den optimale handlingssekvensen finnes ved å minimere L1-avstanden mellom den forutsagte fremtidige tilstanden og målrepresentasjonen. Cross-Entropy Metoden (CEM) brukes for baneeoptimering.

Kun den første handlingen i den optimale sekvensen utføres, og prosessen gjentas i en rekkehorisontkontrolløkke. Dette ermögplier realtidsplanlegging og tilpasning. Ved å bruke 3D-tubelettbearbeiding, fanger V-JEPA 2 både romlige og tidsmessige avhengigheter, og ermögplier roboter å grunne om bevegelse, objektinteraksjoner og konsekvenser av deres handlinger i komplekse miljøer. Dette ermögplier nullskuddsplanlegging og kontroll, selv i nye scenarier, uten behov for oppgavespesifikke demonstrasjoner eller belønningsteknikk.

Anvendelser av V-JEPA 2 i robotikk

V-JEPA 2 endrer måten roboter samhandler med verden. Mange anvendelser er fortsatt under utvikling, men modellen har demonstrert sterke evner i kontrollerte miljøer.

Pick-and-Place-manipulasjon

I labmiljø, har V-JEPA 2 ermöglicht roboter å utføre pick-and-place-oppgaver med minimal trening. Ved å bruke bare 62 timer med data fra DROID-datasettet, kan roboter manipulere ulike objekter, inkludert både stive og deformerbare objekter. Denne evnen er kritisk i felt som logistikk, produksjon og hjemmerobotikk, hvor objekter varierer betydelig i størrelse og kompleksitet.

Navigasjon i dynamiske miljøer

V-JEPA 2 kan modellere tidsmessige dynamikker, og gjør den nyttig for realtidsnavigasjon i miljøer med bevegelige mennesker, dyr eller hindringer. Selv om den ennå ikke er brukt i autonome kjøretøy eller droner, kan dens forutsigelsesevner hjelpe roboter å forutsi endringer og tilpasse sine baner. Dette er nøkkel til sikkerhet og effektivitet i travle miljøer.

Menneske-robot-samhandling

Ved å lære å forutsi menneskelige handlinger, kan V-JEPA 2 forbedre menneske-robot-samhandling. Robotene kan responderer mer naturlig og trygt i felles rom, som sykehus, hjem eller industrielle gulv. Selv om det ennå er under utvikling, representerer denne evnen et skritt mot sosialt bevisste roboter som kan tilpasse seg omgivelsene.

Generalisering og nullskuddsplanlegging

V-JEPA 2 kan generalisere over oppgaver og miljøer. Robotene kan bruke lært representasjoner i nye situasjoner uten å kreve ytterligere trening. Denne nullskuddsplanleggingen ermögplier roboter å raskt tilpasse seg nye oppgaver, og reduserer behovet for ny datainnsamling eller omtrening.

Realtidsbeslutning og effektivitet

Med sin effektive design, støtter V-JEPA 2 realtidsplanlegging og kontroll. Meta rapporterer at V-JEPA 2 er 30 ganger raskere enn Nvidias Cosmos-modell i noen benchmark. Denne hastigheten er essensiell for oppgaver som krever raske beslutninger, som robotmanipulasjon eller navigasjon i endrede miljøer.

Praktiske utfordringer og begrensninger

Selv om V-JEPA 2 har gjort betydelig fremgang i selvovervåkende læring og robotplanlegging, er det fortsatt utfordringer å løse før den kan bli vidt utbredt. Her er de viktigste begrensningene:

Avhengighet av visuell data alene

V-JEPA 2 er trent utelukkende på video- og bilde-data. Dette gjør den effektiv for visuelle oppgaver, men begrenser dens evne til å utføre flersensoriske oppgaver, som taktil manipulasjon eller bruk av auditive signaler. Virkelige roboter avhenger av multiple sensoriske innganger.

Følsomhet for kamera-posisjon og kalibrering

Modellen avhenger av monokulært RGB-inngang, som kan forringe ytelsen hvis robotens base eller referanseramme ikke er synlig. Manuelle justeringer av kameraoppsett kan være nødvendig for å sikre konsistent ytelse.

Begrensninger i langtids- og flertrinnsplanlegging

V-JEPA 2 utfører godt med kortsiktige oppgaver, men sliter med langtidsplanlegging. Akkumulering av feil i forutsigelsene og utvidelse av handlingsrom gjør komplekse, flertrinnsoperasjoner vanskelige.

Høye beregningskrav

Selv om den er raskere enn modeller som Nvidias Cosmos, har V-JEPA 2 over 1,2 milliarder parametre. Dette krever betydelige beregningsressurser, som kan være en utfordring for mindre laboratorier eller organisasjoner med begrensede ressurser.

Generalisering i ustrukturerte miljøer

V-JEPA 2 utfører godt i kontrollerte innstillinger, men kan møte utfordringer i ukjente eller ustrukturerte miljøer. Suksessraten i pick-and-place-oppgaver er rundt 80%, men den kan feile i randtilfeller.

Integrasjon med fullstendige robotstaker

For å være nyttig, må V-JEPA 2 integreres med motorstyring, sanntids-sensorene og oppgaveplanleggere. Å oppnå smidig samarbeid i dynamiske miljøer forblir en utfordring.

Etiske og bias-overveielser

Som alle store modeller, kan V-JEPA 2 arve bias fra treningsdata. I virkelige anvendelser, spesielt de som involverer menneske-robot-samhandling, kan disse biasene føre til uventede resultater. Etisk overvåking er essensiell.

Bunnen av saken

V-JEPA 2 representerer en betydelig fremgang i AI og robotikk. Den ermögplier roboter å forstå og samhandle med den fysiske verden som menneskelig atferd. Selv om modellen har demonstrert sterk ytelse i å forutsi handlinger, forstå verden og planlegge uten tidligere trening, møter den fortsatt flere utfordringer.

V-JEPA 2 avhenger av visuell data og har noen begrensninger i flersensoriske oppgaver, langtidsplanlegging og integrasjon med fullstendige robotstaker. Imidlertid ermögplier dens evne til å ta raske beslutninger og tilpasse seg nye miljøer, gjør den svært nyttig for komplekse virkelige situasjoner.

Meta fortsetter å forbedre V-JEPA 2, som vil bidra til å fremme AI og gjøre roboter smartere. Denne fremgangen vil være verdifull for industrier som helse, logistikk og autonome kjøretøy. V-JEPA 2 har stor potensiale og vil spille en kritisk rolle i fremtiden for robotikk.