Meta V-JEPA 2: AI-modellen som bringer sunn fornuft til roboter

Metas Video Joint Embedding Predictive Architecture 2 (V-JEPA 2) er en betydelig fremgang i kunstig intelligens (AI). Den hjelper roboter å forstå og forutsi fysiske interaksjoner. Modellen er trent på over en million timer med video. Dette gjør det mulig for roboter å lære og forutsi hva som vil skje neste. Den gjør det også mulig for roboter å planlegge handlinger i nye miljøer, og å kunne samhandle med ukjente objekter mer effektivt.

V-JEPA 2 bruker selvovervåkende læring. Den lærer direkte fra video-data, uten å kreve menneskelige annotasjoner. Dette gjør den forskjellig fra andre AI-modeller som avhenger av merket data. Robotene kan forutsi resultater basert på visuell kontekst. De kan tilpasse seg og planlegge handlinger som trengs. Dette bringer oss nærmere avansert maskinintelligens (AMI).

Bygget på Metas Joint Embedding Predictive Architecture (JEPA), forbedrer V-JEPA 2 handling-forutsielse og verden-modellering, og gjør det mulig for roboter å håndtere nye oppgaver i ukjente miljøer. Meta deler denne modellen med forskningsmiljøet for å fremme AI-fremgang og forbedre robot-egenskaper.

Hvorfor sunn fornuft i roboter alltid har vært vanskelig

Sunn fornuft er evnen til å ta grunnleggende beslutninger. For eksempel, å vite at en kopp vil spille over hvis den tipper over eller å forstå at en stol kan blokkere en vei. For mennesker kommer denne kunnskapen naturlig gjennom erfaring. Imidlertid møter roboter utfordringer i å utvikle denne samme intuitionen.

De fleste roboter er programmert for bestemte oppgaver i kontrollerte miljøer. De gjør det bra i disse oppgavene. Men når situasjonen endrer seg eller uventede elementer dukker opp, sliter robotene. De klarer ofte ikke å gjenkjenne årsak og virkning eller å forutsi konsekvensene av handlinger. For eksempel kan en robot vite hvordan den skal plassere en kopp på en flat overflate. Men den kan ikke forutse at å tippe koppene kan gjøre at den spiller over.

Aktuelle AI-modeller, som de som baserer seg på forsterkingslæring (RL), møter begrensninger. RL krever en betydelig mengde prøving og feil-læring. Dette gjør prosessen langsom og ressurskrevende. Store språkmodeller (LLM) er gode på språk, men mangler grunnlag i den fysiske verden. De hallucinerer ofte svar basert bare på tekst, og er derfor upålitelige i dynamiske situasjoner. Tradisjonelle datamaskin-synsmodeller er også begrenset i deres evner. Disse modellene er oppgave-spesifikke og klarer ikke å tilpasse seg nye eller uventede scenarier.

For å løse disse problemene anbefaler eksperter å bruke verden-modeller. Verden-modeller gjør det mulig for roboter å simulere og forutsi fremtidige handlinger basert på tidligere erfaringer. Disse modellene hjelper roboter å forstå den fysiske verdens dynamikk. For eksempel å forutsi hva som vil skje når et objekt flyttes eller når to objekter kolliderer. Metas V-JEPA 2 er den første modellen som integrerer disse prinsippene. Den lærer direkte fra rå video-data. Dette gjør den tilpassbar til virkelige miljøer, og gjør det mulig for roboter å grunne og planlegge basert på dynamiske fysiske interaksjoner.

Forstå V-JEPA 2

V-JEPA 2 er en selvovervåkende læring-modell skapt av Metas Fundamental AI Research (FAIR)-team. I motsetning til tradisjonelle AI-modeller som krever merket data, lærer V-JEPA 2 fra umerket video ved å forutsi de manglende delene av video-sekvenser. Dette kalles representasjons-nivå-forutsielse. I stedet for å fokusere på hver enkelt piksel, arbeider V-JEPA 2 med abstrakte representasjoner som fanger de viktigste dynamikkene og relasjonene mellom objekter og handlinger i miljøet.

Modellen er bygget på Metas Joint Embedding Predictive Architecture (JEPA), som er designet for å forstå fysiske dynamikker. Den har to viktige komponenter: en encoder som prosesserer rå video for å skape nyttige representasjoner, og en prediktor som bruker disse representasjonene for å forutsi fremtidige hendelser. V-JEPA 2 er trent på over en million timer med video, og gjør det mulig for modellen å lære komplekse mønster i den fysiske verden. Ved å lære fra video, kan modellen forutsi fremtidige handlinger og interaksjoner, og forbedre hvordan roboter planlegger og tar beslutninger.

V-JEPA 2 hjelper roboter å utføre null-skudds-planlegging. Dette betyr at roboter kan håndtere oppgaver i nye miljøer uten noen tidligere trening. I stedet kan roboter utføre oppgaver som å plukke opp objekter og plassere dem i nye lokasjoner, selv om de aldri har sett disse oppgavene før. Dette gjør V-JEPA 2 til en betydelig forbedring i handling-forutsielse og verden-modellering, og gjør roboter mer tilpassbare til nye situasjoner.

Modellen lærer fra rå video-data, og gjør det mulig for roboter å forutsi fremtidige hendelser. Dette gjør roboter mer kapable i virkelige situasjoner. V-JEPA 2 bringer oss nærmere roboter som kan planlegge og utføre oppgaver som mennesker. Meta deler V-JEPA 2 med forskningsmiljøet for å fremme AI-fremgang.

Hvordan V-JEPA 2 opererer: Den to-trinns-prosessen

V-JEPA 2 fungerer i to distinkte trinn. Hvert trinn gjør det mulig for modellen å lære fra rå video-data og deretter anvende denne kunnskapen for å ta informerte beslutninger i virkelige oppgaver.

Trinn 1: Handling-fri representasjonslæring

V-JEPA 2 starter med stor-skala-pre-trening på over 1 million timer med video og 1 million bilder. Modellen lærer ved å forutsi de manglende delene av video-sekvenser. Den prosesserer videoen som 3D-tubeletter, som tjener som primære token for modellen. Modellen bruker en Vision Transformer (ViT)-arkitektur med 3D-Rotary Position Embeddings (3D-RoPE) for å fange både romlige og tidsmessige informasjoner mer effektivt.

Encoderen prosesserer tubelettene for å skape høy-dimensjonale funksjonsvektorer. Disse vektorene representerer både romlige og tidsmessige dynamikker i videoen. Modellen bruker en mask-denoising-objekt, hvor store deler av videoen er skjult. Modellen prøver å forutsi den skjulte innholdet ved å bruke de synlige delene. En Exponential Moving Average (EMA)-target-encoder hjelper modellen å unngå trivielle løsninger og sikrer stabil læring. Tap-funksjonen minimiserer L1-avstanden mellom forutsielsene og EMA-target-encoder-utgangen, og fokuserer på høyere-nivå-konsepter som objekt-permanens og bevegelse, i stedet for piksel-nivå-detaljer.

Trinn 2: Handling-betinget planlegging og kontroll

I det andre trinnet, skifter modellen til handling-betinget trening. Encoder-vektene er frosset, og en ny prediktor er trent ved å bruke data fra robot-interaksjoner. Denne datan inkluderer video-observasjoner og tilhørende kontroll-handlinger, vanligvis fra DROID-datasettet (om 62 timer med robot-data). Nå kan modellen forutsi fremtidige tilstander i en miljø basert på både nåværende tilstand og mulige handlinger.

V-JEPA 2 setter opp et mål-betinget energi-minimerings-problem. Den koder både nåværende observasjon og et mål-bilde inn i funksjons-kart. Modellen forutsier deretter hvordan tilstanden vil endre seg med ulike handling-sekvenser. Den optimale handling-sekvensen finnes ved å minimere L1-avstanden mellom den forutsagte fremtidige tilstanden og mål-representasjonen. Cross-Entropy Method (CEM) brukes for trajektorie-optimering.

Kun den første handlingen i den optimale sekvensen utføres, og prosessen gjentas i en rekke-horisont-kontroll-løkke. Dette gjør det mulig for modellen å planlegge og tilpasse seg i sanntid. Ved å bruke 3D-tubelet-behandling, fanger V-JEPA 2 både romlige og tidsmessige avhengigheter, og gjør det mulig for roboter å grunne om bevegelse, objekt-interaksjoner og konsekvenser av handlinger i komplekse miljøer. Dette gjør det mulig for null-skudds-planlegging og kontroll, selv i nye scenarier, uten behov for oppgave-spesifikke demonstrasjoner eller belønning-ingeniørarbeid.

Anvendelser av V-JEPA 2 i robotikk

V-JEPA 2 endrer måten roboter samhandler med verden på. Mange anvendelser er fortsatt under utvikling, men modellen har vist sterk kapasitet i kontrollerte miljøer.

Pick-and-Place-manipulasjon

I laboratoriemiljøer har V-JEPA 2 gjort det mulig for roboter å utføre pick-and-place-oppgaver med minimal trening. Ved å bruke bare 62 timer med data fra DROID-datasettet, kan roboter manipulere med ulike objekter, inkludert både stive og deformable objekter. Dette er avgjørende i felt som logistikk, produksjon og hjemme-robotikk, hvor objekter varierer betydelig i størrelse og kompleksitet.

Navigasjon i dynamiske miljøer

V-JEPA 2 kan modellere tidsmessige dynamikker, og gjør det mulig for roboter å forutsi endringer og tilpasse seg i sanntid. Selv om den ennå ikke er brukt i autonome kjøretøy eller droner, kan dens forutsielsesevner hjelpe roboter å forutsi endringer og justere sine baner. Dette er avgjørende for sikkerhet og effektivitet i travle miljøer.

Menneske-robot-samhandling

Ved å lære å forutsi menneskelige handlinger, kan V-JEPA 2 forbedre menneske-robot-samhandling. Robotene kan svare mer naturlig og trygt i felles rom, som sykehus, hjem eller industri-gulv. Selv om dette ennå er under utvikling, representerer dette en steg mot sosialt bevisste roboter som kan tilpasse seg omgivelsene.

Generalisering og null-skudds-planlegging

V-JEPA 2 kan generalisere over oppgaver og miljøer. Robotene kan bruke lært representasjon i nye situasjoner uten å kreve ytterligere trening. Dette null-skudds-planlegging gjør det mulig for roboter å raskt tilpasse seg nye oppgaver, og reduserer behovet for ny data-innsamling eller om-trening.

Sanntids-beslutning og effektivitet

Med sin effektive design, støtter V-JEPA 2 sanntids-planlegging og kontroll. Meta rapporterer at V-JEPA 2 er 30 ganger raskere enn Nvidias Cosmos-modell i noen benchmark-tester. Dette er avgjørende for oppgaver som krever rask beslutning, som robot-manipulasjon eller navigasjon i endrede miljøer.

Praktiske utfordringer og begrensninger

Selv om V-JEPA 2 har gjort betydelig fremgang i selvovervåkende læring og robot-planlegging, er det fortsatt utfordringer å løse før den kan bli bredt anvendt. Her er de viktigste begrensningene:

Avhengighet av visuell data alene

V-JEPA 2 er trent bare på video- og bilde-data. Dette gjør den effektiv for visuelle oppgaver, men begrenser dens evne til å utføre multi-sensoriske oppgaver, som taktil manipulasjon eller bruk av auditive signaler. Virkelige roboter avhenger av flere sensoriske innganger.

Følsomhet for kamera-posisjon og kalibrering

Modellen avhenger av monokulær RGB-inngang, som kan forringe ytelsen hvis robotens base eller referanseramme ikke er synlig. Manuelle justeringer av kamera-innstillingene kan være nødvendig for å sikre konsistent ytelse.

Begrensninger i langtids- og multi-trinns-planlegging

V-JEPA 2 fungerer bra med kort-horisont-oppgaver, men sliter med langtids-planlegging. Akkumuleringen av feil i forutsielsene og utvidelsen av handling-rom gjør komplekse, multi-trinns-operasjoner vanskelige.

Høye beregningskrav

Selv om V-JEPA 2 er raskere enn modeller som Nvidias Cosmos, har den over 1,2 milliarder parametre. Dette krever betydelige beregningsressurser, som kan være en utfordring for mindre laboratorier eller organisasjoner med begrensede ressurser.

Generalisering i ustrukturerte miljøer

V-JEPA 2 fungerer bra i kontrollerte miljøer, men kan møte utfordringer i ukjente eller ustrukturerte miljøer. Suksess-raten i pick-and-place-oppgaver er rundt 80%, men den kan feile i rand-situasjoner.

Integrasjon med fullstendige robot-staker

For å være nyttig, må V-JEPA 2 integreres med motor-kontrollere, sanntids-sensorene og oppgave-planleggere. Å oppnå glatt interoperabilitet i dynamiske miljøer er fortsatt en utfordring.

Etiske og bias-overveielser

Som alle store modeller, kan V-JEPA 2 arve bias fra trenings-data. I virkelige anvendelser, spesielt de som involverer menneske-robot-samhandling, kan disse biasene føre til uventede resultater. Etisk tilsyn er avgjørende.

Bunnen av saken

V-JEPA 2 representerer en betydelig fremgang i AI og robotikk. Den gjør det mulig for roboter å forstå og samhandle med den fysiske verden på en måte som ligner menneskelige handlinger. Selv om modellen har vist sterk ytelse i å forutsi handlinger, forstå verden og planlegge uten tidligere trening, møter den fortsatt flere utfordringer.

V-JEPA 2 avhenger av visuell data og har noen begrensninger i multi-sensoriske oppgaver, langtids-planlegging og integrasjon med fullstendige robot-systemer. Imidlertid gjør dens evne til å ta sanntids-beslutninger og tilpasse seg nye miljøer den til en verdifull ressurs for komplekse, virkelige situasjoner.

Meta fortsetter å forbedre V-JEPA 2, som vil bidra til å fremme AI og gjøre roboter smartere. Denne fremgangen vil være verdifull for industrier som helse, logistikk og autonome kjøretøy. V-JEPA 2 har stor potensiale og vil spille en kritisk rolle i fremtiden for robotikk.