AI:s nästa skalningslag: Inte mer data, utan bättre världsmodeller

I åratal har artificiell intelligens-industrin följt en enkel, brutal regel: större desto bättre. Vi tränade modeller på massiva datamängder, ökade antalet parametrar och använde enorm beräkningskraft på problemet. Denna formel fungerade för det mesta. Från GPT-3 till GPT-4, och från enkla chattrobotar till resonemangsmotorer, "skalningslag” föreslog att om vi bara fortsatte att mata maskinen med mer text, skulle den så småningom bli intelligent.

Men vi är nu slår i en väggInternet är ändligt. Högkvalitativa offentliga data börjar bli uttömda, och avkastningen på att helt enkelt göra modeller större blir ändlig. minskandeDe ledande AI-forskarna argumenterar att nästa stora språng inom artificiell intelligens inte kommer att komma från att bara läsa mer text. Det kommer från att förstå verkligheten bakom texten. Denna övertygelse signalerar ett fundamentalt skifte i AI:s fokus, vilket inleder världsmodellens era.

Begränsningarna för prediktion av nästa token

För att förstå varför vi behöver en ny metod måste vi först titta på vad nuvarande AI-system faktiskt gör. Trots sina imponerande funktioner är modeller som ChatGPT eller Claude i grunden statistiska motorerDe förutspår nästa ord i en sekvens baserat på sannolikheten för det som kom före. De förstår inte att ett tappat glas kommer att splittras; de vet helt enkelt att i miljontals berättelser följer ordet "splittras" ofta frasen "tappet glas".

Denna metod, känd som autoregressiv modellering, har en kritisk brist. Den förlitar sig helt på korrelation, inte kausalitet. Om man utbildar en juridiklärare på tusen beskrivningar av en bilolycka lär den sig olyckornas språk. Men den lär sig aldrig fysiken bakom rörelsemängd, friktion eller skörhet. Den är en åskådare, inte en deltagare.

Denna begränsning håller på att bli den ”Datavägg”Vi har nästan skrapat hela det offentliga internet. För att skala upp ytterligare med den nuvarande metoden skulle vi behöva exponentiellt mer data än vad som finns. Syntetiska data (dvs. text genererad av AI) erbjuder en tillfällig lösning, men det leder ofta till”modell kollaps”, där systemet förstärker sina egna fördomar och fel. Vi kan inte skala oss upp till artificiell generell intelligens (AGI) med hjälp av enbart text eftersom text är en komprimering av världen med låg bandbredd. Den beskriver verkligheten, men den är inte verkligheten i sig.

Varför världsmodeller är viktiga

AI ledare har liksom Yann LeCun länge hävdat att nuvarande AI-system saknar en grundläggande aspekt av mänsklig kognition som även små barn besitter naturligt. Detta är vår förmåga att upprätthålla en intern modell av hur världen fungerar, vilket de vanligtvis kallar en VärldsmodellEn världsmodell förutsäger inte bara nästa ord; den bygger en intern mental karta över hur den fysiska miljön fungerar. När vi ser en boll rulla bakom en soffa vet vi att den fortfarande finns där. Vi vet att den kommer att dyka upp på andra sidan om den inte stoppas. Vi behöver inte läsa en lärobok för att förstå detta; vi kör en mental simulering baserad på vår interna "världsmodell" av fysik och objektpermanens.

För att AI ska kunna utvecklas måste den gå från statistisk imitation till denna typ av intern simulering. Den behöver förstå de bakomliggande orsakerna till händelser, inte bara deras textbeskrivningar.

Ocuco-landskapet Gemensam inbäddning av prediktiv arkitektur (JEPA) är ett utmärkt exempel på detta paradigmskifte. Till skillnad från LLM:er, som försöker förutsäga varje enskild pixel eller ord (en process som är beräkningsmässigt dyr och bullrig), förutspår JEPA abstrakta representationer. Den ignorerar oförutsägbara detaljer som rörelsen hos enskilda löv på ett träd och fokuserar på övergripande koncept som träd, vind och årstid. Genom att lära sig att förutsäga hur dessa övergripande tillstånd förändras över tid lär sig AI världens struktur snarare än detaljer på ytnivå.

Från förutsägelse till simulering

Vi ser redan de första glimtarna av denna övergång i videogenereringsmodellerna. När OpenAI släppte Sora beskrev de det inte bara som ett videoverktyg, utan som ett “världssimulator. "

Denna distinktion är avgörande. En vanlig videogenerator kan skapa en video av en person som går genom att förutsäga vilka färgade pixlar som vanligtvis hamnar bredvid varandra. En världssimulator försöker dock bibehålla 3D-konsistens, belysning och objektpermanens över tid. Den "förstår" att om personen går bakom en vägg, ska de inte försvinna ur existensen.

Även om nuvarande videomodeller fortfarande är långt ifrån perfekta, representerar de den nya träningsplatsen. Den fysiska världen innehåller betydligt mer information än den textuella världen. En enda sekund av video innehåller miljontals visuella datapunkter gällande fysik, ljus och interaktion. Genom att träna modeller på denna visuella verklighet kan vi lära AI det "sunda förnuft" som juridikexperter för närvarande saknar.

Detta skapar en ny skalningslag. Framgång kommer inte längre att mätas utifrån hur många biljoner tokens en modell har läst. Den kommer att mätas utifrån simuleringens trovärdighet och dess förmåga att förutsäga framtida tillstånd i miljön. En AI som korrekt kan simulera konsekvenserna av en handling utan att behöva vidta den åtgärden är en AI som kan planera, resonera och agera på ett säkert sätt.

Effektivitet och vägen till AGI

Denna förändring tar även itu med det ohållbara energikostnader av nuvarande AI. LLM:er är ineffektiva eftersom de måste förutsäga varje detalj för att generera en sammanhängande utdata. En världsmodell är mer effektiv eftersom den är selektiv. Precis som en mänsklig förare fokuserar på vägen och ignorerar molnmönstret på himlen, fokuserar en världsmodell på de relevanta orsaksfaktorerna för en uppgift.

LeCun har hävdat att den här metoden gör att modeller kan lära sig mycket snabbare. Ett system som V-JEPA (Video-Joint Embedding Predictive Architecture) har visat att den kan konvergera mot en lösning med betydligt färre träningsiterationer än traditionella metoder. Genom att lära sig datas "form" snarare än att memorera själva datan, bygger World Models en mer robust form av intelligens som generaliserar bättre till nya, osedda situationer.

Detta är den saknade länken för AGI. Sann intelligens kräver navigering. Det kräver att en agent tittar på ett mål, simulerar olika vägar för att uppnå det målet med hjälp av sin interna modell av världen och sedan väljer den väg som har högst sannolikhet för framgång. Textgeneratorer kan inte göra detta; de kan bara skriva en plan, de kan inte förstå begränsningarna för att genomföra den.

The Bottom Line

AI-industrin befinner sig vid en vändpunkt. Strategin att ”bara lägga till mer data” närmar sig sitt logiska slut. Vi går från chatbotens tidsålder till simulatorns tidsålder.

Nästa generations AI-skalning kommer inte att handla om att läsa hela internet. Det kommer att handla om att observera världen, förstå dess regler och bygga en intern arkitektur som speglar verkligheten. Detta är inte bara en teknisk uppgradering; det är en fundamental förändring av vad vi anser vara "inlärning".

För företag och forskare måste fokus flyttas. Vi måste sluta besätta antalet parametrar och börja utvärdera hur väl våra system förstår orsak och verkan. Framtidens AI kommer inte bara att berätta vad som hände; den kommer att visa vad som skulle kunna hända och varför. Det är löftet med World Models, och det är den enda vägen framåt.