AIs neste skaleringslov: Ikke mer data, men bedre verdensmodeller

I årevis har kunstig intelligens-industrien fulgt en enkel, brutal regel: større jo bedre. Vi trente modeller på massive datasett, økte antallet parametere og brukte enorm beregningskraft på problemet. Denne formelen fungerte mesteparten av tiden. Fra GPT-3 til GPT-4, og fra enkle chatboter til resonneringsmotorer, «skaleringsloven«antar at hvis vi bare fortsatte å mate maskinen med mer tekst, ville den til slutt bli intelligent.»

Men vi er nå treffer en veggInternett er begrenset. Offentlige data av høy kvalitet er i ferd med å bli uttømt, og avkastningen på å bare gjøre modeller større er avtagendeDe ledende AI-forskerne argumentere at det neste store spranget innen kunstig intelligens ikke bare vil komme fra å lese mer tekst. Det vil komme fra å forstå virkeligheten bak teksten. Denne oppfatningen signaliserer et fundamentalt skifte i AIs fokus, og innleder verdensmodellens æra.

Grensene for prediksjon av neste token

For å forstå hvorfor vi trenger en ny tilnærming, må vi først se på hva dagens AI-systemer faktisk gjør. Til tross for sine imponerende egenskaper, er modeller som ChatGPT eller Claude fundamentalt statistiske motorerDe forutsier det neste ordet i en sekvens basert på sannsynligheten for det som kom forut. De forstår ikke at et mistet glass vil knuse; de ​​vet bare at i millioner av historier følger ofte ordet «knuse» etter uttrykket «tappet glass».

Denne tilnærmingen, kjent som autoregressiv modellering, har en kritisk feil. Den er utelukkende avhengig av korrelasjon, ikke årsakssammenheng. Hvis du trener en LLM på tusen beskrivelser av en bilulykke, lærer den ulykkenes språk. Men den lærer aldri fysikken bak momentum, friksjon eller skjørhet. Den er en tilskuer, ikke en deltaker.

Denne begrensningen er i ferd med å bli «DataveggVi har nesten skrapt ut hele det offentlige internettet. For å skalere ytterligere med dagens metode, ville vi trenge eksponentielt mer data enn det som finnes. Syntetiske data (dvs. tekst generert av AI) tilbyr en midlertidig løsning, men det fører ofte til «modellkollaps«, der systemet forsterker sine egne skjevheter og feil. Vi kan ikke skalere oss frem til kunstig generell intelligens (AGI) ved å bruke tekst alene fordi tekst er en lavbåndbreddekomprimering av verden. Den beskriver virkeligheten, men den er ikke virkeligheten i seg selv.

Hvorfor verdensmodeller er viktige

AI ledere I likhet med Yann LeCun har de lenge hevdet at dagens AI-systemer mangler et grunnleggende aspekt ved menneskelig kognisjon som selv små barn har naturlig. Dette er vår evne til å opprettholde en intern modell av hvordan verden fungerer, som de ofte refererer til som en VerdensmodellEn verdensmodell forutsier ikke bare det neste ordet; den bygger et internt mentalt kart over hvordan det fysiske miljøet fungerer. Når vi ser en ball rulle bak en sofa, vet vi at den fortsatt er der. Vi vet at den vil dukke opp på den andre siden med mindre den stoppes. Vi trenger ikke å lese en lærebok for å forstå dette; vi kjører en mental simulering basert på vår interne «verdensmodell» av fysikk og objektpermanens.

For at AI skal kunne utvikle seg, må den gå fra statistisk imitasjon til denne typen intern simulering. Den må forstå de underliggende årsakene til hendelser, ikke bare deres tekstlige beskrivelser.

Ocuco Felles innebygd prediktiv arkitektur (JEPA) er et godt eksempel på dette paradigmeskiftet. I motsetning til LLM-er, som prøver å forutsi hver eneste piksel eller ord (en prosess som er beregningsmessig dyr og støyende), forutsier JEPA abstrakte representasjoner. Den ignorerer uforutsigbare detaljer som bevegelsen til individuelle blader på et tre og fokuserer på overordnede konsepter som treet, vinden og årstiden. Ved å lære å forutsi hvordan disse overordnede tilstandene endrer seg over tid, lærer AI verdens struktur i stedet for detaljene på overflatenivå.

Fra prediksjon til simulering

Vi ser allerede de første glimtene av denne overgangen i videogenereringsmodellene. Da OpenAI lanserte Sora, beskrev de det ikke bare som et videoverktøy, men som et «verdenssimulator».

Dette skillet er viktig. En standard videogenerator kan lage en video av en person som går ved å forutsi hvilke fargede piksler som vanligvis går ved siden av hverandre. En verdenssimulator forsøker imidlertid å opprettholde 3D-konsistens, belysning og objektpermanens over tid. Den «forstår» at hvis personen går bak en vegg, skal de ikke forsvinne fra eksistensen.

Selv om nåværende videomodeller fortsatt er langt fra perfekte, representerer de den nye treningsarenaen. Den fysiske verden inneholder betydelig mer informasjon enn den tekstlige verden. Et enkelt sekund med video inneholder millioner av visuelle datapunkter angående fysikk, lys og interaksjon. Ved å trene modeller på denne visuelle virkeligheten, kan vi lære AI den «sunne fornuften» som LLM-er for tiden mangler.

Dette skaper en ny skaleringslov. Suksess vil ikke lenger måles etter hvor mange billioner tokens en modell har lest. Den vil måles etter hvor nøyaktig simuleringen er og dens evne til å forutsi fremtidige tilstander i miljøet. En AI som nøyaktig kan simulere konsekvensene av en handling uten å måtte utføre den handlingen, er en AI som kan planlegge, resonnere og handle trygt.

Effektivitet og veien til AGI

Dette skiftet tar også for seg det uholdbare energikostnader av dagens AI. LLM-er er ineffektive fordi de må forutsi hver eneste detalj for å generere en sammenhengende utdata. En verdensmodell er mer effektiv fordi den er selektiv. Akkurat som en menneskelig sjåfør fokuserer på veien og ignorerer mønsteret av skyer på himmelen, fokuserer en verdensmodell på de relevante årsaksfaktorene til en oppgave.

LeCun har hevdet at denne tilnærmingen lar modeller lære mye raskere. Et system som V-JEPA (Video-Joint Embedding Predictive Architecture) har vist at den kan konvergere mot en løsning med langt færre treningsiterasjoner enn tradisjonelle metoder. Ved å lære «formen» på dataene i stedet for å memorere selve dataene, bygger World Models en mer robust form for intelligens som generaliserer bedre til nye, usete situasjoner.

Dette er den manglende lenken for AGI. Sann intelligens krever navigasjon. Det krever at en agent ser på et mål, simulerer forskjellige veier for å oppnå det målet ved hjelp av sin interne modell av verden, og deretter velger veien med høyest sannsynlighet for suksess. Tekstgeneratorer kan ikke gjøre dette; de ​​kan bare skrive en plan, de kan ikke forstå begrensningene ved å utføre den.

Bunnlinjen

AI-bransjen er ved et vendepunkt. Strategien om å «bare legge til mer data» nærmer seg sin logiske slutt. Vi går fra chatbotenes tidsalder til simulatorenes tidsalder.

Den neste generasjonen av AI-skalering vil ikke handle om å lese hele internett. Det vil handle om å observere verden, forstå dens regler og bygge en intern arkitektur som speiler virkeligheten. Dette er ikke bare en teknisk oppgradering; det er en fundamental endring i det vi anser som «læring».

For bedrifter og forskere må fokuset endres. Vi må slutte å være besatt av parameterantall og begynne å evaluere hvor godt systemene våre forstår årsak og virkning. Fremtidens kunstige intelligens vil ikke bare fortelle deg hva som skjedde; den vil vise deg hva som kan skje, og hvorfor. Det er løftet til verdensmodeller, og det er den eneste veien videre.