Meta V-JEPA 2: AI-modellen bringer sunn fornuft til roboter

Meta sine Video Joint Embedding Predictive Architecture 2 (V-JEPA 2) er et betydelig fremskritt i Artificial Intelligence (AI)Det hjelper roboter med å forstå og forutsi fysiske interaksjoner. Modellen er trent på over én million timer med video. Dette gjør det mulig for roboter å lære og forutse hva som vil skje videre. Det gjør det også mulig for roboter å planlegge handlinger i nye miljøer, slik at de kan samhandle med ukjente objekter mer effektivt.

V-JEPA 2 bruker selvovervåket læringDen lærer direkte fra videodata, uten behov for menneskelige annoteringer. Dette gjør den annerledes enn andre AI-modeller som er avhengige av merkede data. Roboter kan forutsi utfall basert på visuell kontekst. De kan tilpasse seg og planlegge handlinger etter behov. Dette bringer oss nærmere å oppnå Avansert maskinintelligens (AMI).

V-JEPA 2 bygger på Metas Joint Embedding Predictive Architecture (JEPA) og forbedrer handlingsprediksjon og verdensmodellering, slik at roboter kan håndtere nye oppgaver i ukjente omgivelser. Meta deler denne modellen med forskningsmiljøet for å akselerere AI-fremgang og forbedre robotkapasiteter.

Hvorfor sunn fornuft i roboter alltid har vært vanskelig

Sunn fornuft er evnen til å ta grunnleggende avgjørelser. For eksempel å vite at en kopp vil søle hvis den velter, eller å forstå at en stol kan blokkere en vei. For mennesker kommer denne kunnskapen naturlig gjennom erfaring. Roboter står imidlertid overfor utfordringer med å utvikle den samme intuisjonen.

De fleste roboter er programmert for spesifikke oppgaver i kontrollerte miljøer. De gjør det bra i disse oppgavene. Men når situasjoner endrer seg eller uventede elementer dukker opp, sliter roboter. De klarer ofte ikke å gjenkjenne årsak og virkning eller forutsi konsekvensene av handlinger. For eksempel kan en robot vite hvordan man plasserer en kopp på en flat overflate. Imidlertid kan den ikke forutse at det å vippe koppen kan føre til at den søler.

Nåværende AI-modeller, som f.eks. de som er basert på forsterkningslæring (RL), møter begrensninger. RL krever en betydelig mengde prøving og feiling. Dette gjør prosessen treg og ressurskrevende. Store språkmodeller (LLMs) utmerker seg i språk, men mangler forankring i den fysiske verden. De ofte hallusinere svar basert utelukkende på tekst, noe som gjør dem upålitelige i dynamiske situasjoner. datasyn Modeller har også begrensede muligheter. Disse modellene er oppgavespesifikke og klarer ikke å tilpasse seg nye eller uventede scenarier.

For å løse disse problemene anbefaler eksperter å bruke verdensmodeller. Verdensmodeller gjør det mulig for roboter å simulere og forutsi fremtidige handlinger basert på tidligere erfaringer. Disse modellene hjelper roboter med å forstå verdens fysiske dynamikk. For eksempel å forutsi hva som vil skje når et objekt flyttes eller når to objekter kolliderer. Metas V-JEPA 2 er den første modellen som integrerer disse prinsippene. Den lærer direkte fra rå videodata. Dette gjør den tilpasningsdyktig til virkelige miljøer, slik at roboter kan resonnere og planlegge basert på dynamiske fysiske interaksjoner.

Forstå V-JEPA 2

V-JEPA 2 er en selvstyrt læringsmodell laget av Metas Fundamental AI Research (FAIR)-team. I motsetning til tradisjonelle AI-modeller som krever merkede data, lærer V-JEPA 2 fra umerket video ved å forutsi manglende deler av videosekvenser. Denne prosessen er kjent som representasjonsnivåprediksjon. I stedet for å fokusere på hver piksel, fungerer V-JEPA 2 med abstrakte representasjoner som fanger opp nøkkeldynamikken og forholdene mellom objekter og handlinger i miljøet.

Modellen er bygget på Metas Joint Embedding Predictive Architecture (JEPA), som er utviklet for å forstå fysisk dynamikk. Den har to nøkkelkomponenter: en koder, som behandler råvideo for å lage nyttige representasjoner, og en prediktor, som bruker disse representasjonene til å forutsi fremtidige hendelser. V-JEPA 2 er trent på over én million timer med video, noe som gjør det mulig å lære komplekse mønstre i den fysiske verden. Ved å lære fra video kan modellen forutsi fremtidige handlinger og interaksjoner, og dermed forbedre hvordan roboter planlegger og tar beslutninger.

V-JEPA 2 hjelper roboter med å utføre nullpunktsplanlegging. Dette betyr at roboter kan håndtere oppgaver i nye miljøer selv uten forutgående trening. I stedet kan roboter utføre oppgaver som å plukke opp objekter og plassere dem på nye steder, selv om de aldri har sett disse oppgavene før. Dette gjør V-JEPA 2 til en betydelig forbedring innen handlingsforutsigelse og verdensmodellering, noe som gjør roboter mer tilpasningsdyktige til nye situasjoner.

Modellen lærer fra rå videodata, slik at roboter kan forutsi fremtidige hendelser. Dette gjør roboter mer kapable i virkelige situasjoner. V-JEPA 2 bringer oss nærmere roboter som kan planlegge og utføre oppgaver som mennesker. Meta deler V-JEPA 2 med forskningsmiljøet for å akselerere AI-fremgang. Roboter som bruker V-JEPA 2 kan operere i dynamiske miljøer, tilpasse seg raskt og planlegge oppgaver mer effektivt.

Hvordan V-JEPA 2 fungerer: To-trinnsprosessen

V-JEPA 2 fungerer i to forskjellige stadier. Hvert stadie lar modellen lære av rå videodata og deretter bruke denne kunnskapen til å ta informerte beslutninger i virkelige oppgaver.

Fase 1: Handlingsfri representasjonslæring

V-JEPA 2 starter med storstilt forhåndstrening på over 1 million timer med video og 1 million bilder. Modellen lærer ved å forutsi manglende deler av videosekvenser. Den behandler videoen som 3D-rør, som fungerer som primære tokens for modellen. Modellen bruker en Vision Transformer (ViT) arkitektur med 3D Rotary Position Embeddings (3D-RoPE) for å fange opp både romlig og tidsmessig informasjon mer effektivt.

Koderen behandler rørene for å lage høydimensjonale funksjonsvektorer. Disse vektorene representerer både den romlige og tidsmessige dynamikken i videoen. Modellen bruker et støyfjerningsobjektiv for maske, der store deler av videoen er skjult. Modellen forsøker å forutsi det skjulte innholdet ved å bruke de synlige delene. En eksponentiell glidende gjennomsnitt (EMA) målkoder hjelper modellen med å unngå trivielle løsninger og sikrer stabil læring. Tapsfunksjonen minimerer L1-avstanden mellom prediksjonene og EMA-målkoderens utdata, med fokus på konsepter på høyere nivå som objektpermanens og bevegelse, snarere enn detaljer på pikselnivå.

Fase 2: Handlingsbetinget planlegging og kontroll

I det andre trinnet går modellen over til handlingsbetinget trening. Kodervektene fryses, og en ny prediktor trenes ved hjelp av data fra robotinteraksjoner. Disse dataene inkluderer videoobservasjoner og tilhørende kontrollhandlinger, vanligvis fra DROID-datasett (omtrent 62 timer med robotdata). Nå kan modellen forutsi den fremtidige tilstanden til et miljø basert på både nåværende tilstand og mulige handlinger.

V-JEPA 2 setter opp et målbetinget energiminimeringsproblem. Det koder både den nåværende observasjonen og et målbilde inn i funksjonskart. Modellen forutsier deretter hvordan tilstanden vil endre seg med forskjellige handlingssekvenser. Den optimale handlingssekvensen finnes ved å minimere L1-avstanden mellom den forutsagte fremtidige tilstanden og målrepresentasjonen. Kryss-entropimetoden (CEM) brukes til baneoptimalisering.

Bare den første handlingen i den optimale sekvensen utføres, og prosessen gjentas i en kontrollsløyfe med vikende horisont. Dette muliggjør sanntidsplanlegging og tilpasning. Ved å bruke 3D-rørbehandling fanger V-JEPA 2 opp både romlige og tidsmessige avhengigheter, noe som lar roboter resonnere om bevegelse, objektinteraksjoner og konsekvensene av handlingene deres i komplekse miljøer. Dette muliggjør nullpunktsplanlegging og -kontroll, selv i nye scenarier, uten behov for oppgavespesifikke demonstrasjoner eller belønningsteknikk.

Anvendelser av V-JEPA 2 innen robotikk

V-JEPA 2 endrer måten roboter samhandler med verden på. Mange applikasjoner er fortsatt under utvikling, men modellen har vist sterke egenskaper i kontrollerte miljøer.

Pick-and-Place-manipulasjon

I laboratoriesammenheng har V-JEPA 2 gjort det mulig for roboter å utføre pick-and-place-oppgaver med minimal trening. Ved å bruke bare 62 timer med data fra DROID-datasettet, kan roboter manipulere forskjellige objekter, inkludert både stive og deformerbare. Denne evnen er avgjørende innen felt som logistikk, produksjon og hjemmerobotikk, der objekter varierer betydelig i størrelse og kompleksitet.

Navigasjon i dynamiske miljøer

V-JEPA 2 kan modellere temporal dynamics, noe som gjør den nyttig for sanntidsnavigasjon i miljøer med mennesker, dyr eller hindringer i bevegelse. Selv om den ennå ikke har blitt brukt i autonome kjøretøy eller droner, kan dens prediktive evner hjelpe roboter med å forutse endringer og justere rutene sine. Dette er nøkkelen til sikkerhet og effektivitet i travle miljøer.

Interaksjon mellom mennesker og roboter

Ved å lære å forutsi menneskelige handlinger, kan V-JEPA 2 forbedre samarbeidet mellom mennesker og roboter. Roboter kan reagere mer naturlig og trygt i delte rom, som sykehus, hjem eller industrietasjer. Selv om denne evnen fortsatt er under utvikling, representerer den et skritt mot sosialt bevisste roboter som kan tilpasse seg omgivelsene sine.

Generalisering og nullskuddsplanlegging

V-JEPA 2 kan generalisere på tvers av oppgaver og miljøer. Roboter kan bruke lærte representasjoner i nye situasjoner uten å kreve ytterligere trening. Denne nullpunktsplanleggingen gjør det mulig for roboter å raskt tilpasse seg nye oppgaver, og reduserer dermed behovet for ny datainnsamling eller omtrening.

Beslutningstaking og effektivitet i sanntid

Med sitt effektive design støtter V-JEPA 2 sanntids planlegging og kontroll. Meta rapporterer at V-JEPA 2 er 30x raskere enn Nvidias Cosmos-modell i noen benchmarktester. Denne hastigheten er viktig for oppgaver som krever raske beslutninger, for eksempel robotmanipulering eller navigering i skiftende miljøer.

Praktiske utfordringer og begrensninger

Selv om V-JEPA 2 har gjort betydelige fremskritt innen selvveiledet læring og robotplanlegging, er det fortsatt utfordringer som må håndteres før det kan distribueres i stor grad. Her er de viktigste begrensningene:

Avhengighet av visuelle data alene

V-JEPA 2 trenes utelukkende på video- og bildedata. Dette gjør den effektiv for visuelle oppgaver, men begrenser dens evne til å utføre multisensoriske oppgaver, som taktil manipulasjon eller bruk av auditive signaler. Roboter i den virkelige verden er avhengige av flere sensoriske innganger.

Følsomhet for kameraposisjon og kalibrering

Modellen er avhengig av monokulær RGB-inngang, noe som kan forringe ytelsen hvis robotens base eller referanseramme ikke er synlig. Manuelle justeringer av kameraoppsettene kan være nødvendig for å sikre jevn ytelse.

Begrensninger i langsiktig og flertrinnsplanlegging

V-JEPA 2 fungerer bra med kortsiktige oppgaver, men sliter med langsiktig planlegging. Opphopningen av feil i prediksjoner og utvidelsen av handlingsrom gjør komplekse operasjoner med flere trinn vanskelige.

Høye beregningskrav

Selv om V-JEPA 2 er raskere enn modeller som Nvidias Cosmos, har den over 1.2 milliarder parametere. Dette krever betydelige beregningsressurser, noe som kan være en utfordring for mindre laboratorier eller organisasjoner med begrenset infrastruktur.

Generalisering i ustrukturerte miljøer

V-JEPA 2 fungerer bra i kontrollerte settinger, men kan støte på problemer i ukjente eller ustrukturerte miljøer. Suksessraten i pick-and-place-oppgaver er rundt 80 %, men den kan mislykkes i edge-tilfeller.

Integrasjon med fulle robotstabler

For å være nyttig må V-JEPA 2 integreres med motorstyringer, sanntidssensorer og oppgaveplanleggere. Å oppnå smidig interoperabilitet i dynamiske miljøer er fortsatt en utfordring.

Etiske og partiske hensyn

Som alle store modeller kan V-JEPA 2 arve skjevheter fra treningsdataene sine. I virkelige applikasjoner, spesielt når det gjelder menneskelig interaksjon, kan disse skjevhetene føre til utilsiktede resultater. Etisk tilsyn er avgjørende.

Bunnlinjen

V-JEPA 2 representerer et betydelig fremskritt innen AI og robotikk. Det gjør det mulig for roboter å forstå og samhandle med den fysiske verden, som menneskelig atferd. Selv om modellen har vist sterk ytelse i å forutsi handlinger, forstå verden og planlegge uten forutgående trening, står den fortsatt overfor flere utfordringer.

V-JEPA 2 er avhengig av visuelle data og har noen begrensninger i multisensoriske oppgaver, langsiktig planlegging og integrasjon med komplette robotsystemer. Imidlertid gjør dens evne til å ta sanntidsbeslutninger og tilpasse seg nye miljøer den svært nyttig for komplekse virkelige situasjoner.

Meta fortsetter å forbedre V-JEPA 2, som vil bidra til å utvikle kunstig intelligens og gjøre roboter smartere. Denne fremgangen vil være verdifull for bransjer som helsevesen, logistikk og autonome kjøretøy. V-JEPA 2 har et stort potensial og vil spille en kritisk rolle i robotikkens fremtid.