Următoarea lege a scalării inteligenței artificiale: Nu mai multe date, ci modele mondiale mai bune

Ani de zile, industria inteligenței artificiale a urmat o regulă simplă și brutală: cu cât mai mare, cu atât mai bine. Am antrenat modele pe seturi de date masive, am crescut numărul de parametri și am folosit o putere de calcul imensă pentru rezolvarea problemei. Această formulă a funcționat în cea mai mare parte a timpului. De la GPT-3 la GPT-4 și de la chatbot-uri rudimentare la motoare de raționament, „legea de scalare„a sugerat că, dacă am continua să alimentăm mașinăria cu mai mult text, aceasta va deveni în cele din urmă inteligentă.”

Dar acum suntem lovindu-se de un zidInternetul este finit. Datele publice de înaltă calitate se epuizează, iar beneficiile simplei creșteri a dimensiunilor modelelor sunt... diminuareaCei mai importanți cercetători în domeniul inteligenței artificiale argumenta că următorul mare salt în inteligența artificială nu va veni doar din citirea mai multor text. Va veni din înțelegerea realității din spatele textului. Această convingere semnalează o schimbare fundamentală în concentrarea IA, inaugurând era Modelului Mondial.

Limitele predicției următorului token

Pentru a înțelege de ce avem nevoie de o nouă abordare, trebuie mai întâi să analizăm ce fac de fapt sistemele actuale de inteligență artificială. În ciuda capacităților lor impresionante, modele precum ChatGPT sau Claude sunt fundamental... motoare statisticeEi prezic următorul cuvânt dintr-o secvență pe baza probabilității a ceea ce a venit înainte. Nu înțeleg că un pahar scăpat se va sparge; pur și simplu știu că, în milioane de povești, cuvântul „spargere” urmează adesea expresiei „pahar scăpat”.

Această abordare, cunoscută sub numele de modelare autoregresivă, are o problemă critică. Se bazează în întregime pe corelație, nu pe cauzalitate. Dacă antrenezi un LLM cu o mie de descrieri ale unui accident de mașină, acesta învață limbajul accidentelor. Dar nu învață niciodată fizica impulsului, a frecării sau a fragilității. Este un spectator, nu un participant.

Această limitare devine „Perete de date„Am acaparat aproape întregul internet public. Pentru a scala mai mult folosind metoda actuală, am avea nevoie exponențial de mai multe date decât există. Datele sintetice (adică textul generat de inteligența artificială) oferă o soluție temporară, dar duc adesea la „prăbușirea modelului„”, unde sistemul își amplifică propriile prejudecăți și erori. Nu putem ajunge la Inteligența Generală Artificială (AGI) folosind doar text, deoarece textul este o compresie a lumii cu lățime de bandă redusă. Descrie realitatea, dar nu este realitatea însăși.

De ce contează modelele mondiale

AI Liderii precum Yann LeCun au susținut de mult timp că sistemelor actuale de inteligență artificială le lipsește un aspect fundamental al cunoașterii umane pe care chiar și copiii mici îl posedă în mod natural. Aceasta este capacitatea noastră de a menține un model intern al modului în care funcționează lumea, pe care ei îl numeau în mod obișnuit Model mondialUn Model Mondial nu se limitează la a prezice următorul cuvânt; ci construiește o hartă mentală internă a modului în care funcționează mediul fizic. Când vedem o minge rostogolindu-se în spatele unei canapele, știm că este încă acolo. Știm că va apărea pe cealaltă parte, dacă nu este oprită. Nu trebuie să citim un manual pentru a înțelege acest lucru; rulăm o simulare mentală bazată pe „modelul nostru mondial” intern al fizicii și permanenței obiectelor.

Pentru ca inteligența artificială să progreseze, aceasta trebuie să treacă de la imitația statistică la acest tip de simulare internă. Trebuie să înțeleagă cauzele care stau la baza evenimentelor, nu doar descrierile lor textuale.

Arhitectură predictivă de integrare comună (JEPA) este un exemplu excelent al acestei schimbări de paradigmă. Spre deosebire de LLM-uri, care încearcă să prezică fiecare pixel sau cuvânt în parte (un proces costisitor din punct de vedere computațional și zgomotos), JEPA prezice reprezentări abstracte. Ignoră detalii imprevizibile, cum ar fi mișcarea frunzelor individuale dintr-un copac, și se concentrează pe concepte de nivel înalt, cum ar fi copacul, vântul și anotimpul. Învățând să prezică modul în care aceste stări de nivel înalt se schimbă în timp, IA învață structura lumii, mai degrabă decât detaliile de suprafață.

De la predicție la simulare

Vedem deja primele semne ale acestei tranziții în modelele de generare video. Când OpenAI a lansat Sora, l-au descris nu doar ca pe un instrument video, ci ca pe un „…simulator mondial. "

Această distincție este vitală. Un generator video standard ar putea crea un videoclip cu o persoană care merge, anticipând ce pixeli colorați stau de obicei unul lângă altul. Un simulator de lume, însă, încearcă să mențină consistența 3D, iluminarea și permanența obiectului în timp. Acesta „înțelege” că, dacă persoana merge în spatele unui perete, nu ar trebui să dispară din existență.

Deși modelele video actuale sunt încă departe de a fi perfecte, ele reprezintă noul teren de antrenament. Lumea fizică conține semnificativ mai multe informații decât lumea textuală. O singură secundă de videoclip conține milioane de puncte de date vizuale referitoare la fizică, lumină și interacțiune. Prin antrenarea modelelor pe această realitate vizuală, putem învăța inteligența artificială „bunul simț” de care studenții la drept le lipsește în prezent.

Aceasta creează o nouă lege de scalare. Succesul nu va mai fi măsurat prin câte trilioane de token-uri a citit un model. Va fi măsurat prin fidelitatea simulării sale și prin capacitatea sa de a prezice stările viitoare ale mediului. O IA care poate simula cu precizie consecințele unei acțiuni fără a fi nevoie să întreprindă acea acțiune este o IA care poate planifica, raționa și acționa în siguranță.

Eficiența și calea către AGI

Această schimbare abordează, de asemenea, problema nesustenabilă costurile energiei al IA actuală. Modelele de Lume (LLM) sunt ineficiente deoarece trebuie să prezică fiecare detaliu pentru a genera un rezultat coerent. Un Model Mondial este mai eficient deoarece este selectiv. Așa cum un șofer uman se concentrează asupra drumului și ignoră modelul norilor de pe cer, un Model Mondial se concentrează pe factorii cauzali relevanți ai unei sarcini.

LeCun a susținut că această abordare permite modelelor să învețe mult mai repede. Un sistem precum V-JEPA (Arhitectura predictivă de integrare a îmbinărilor video) a demonstrat că poate converge către o soluție cu mult mai puține iterații de antrenament decât metodele tradiționale. Prin învățarea „formei” datelor, în loc să le memoreze, Modelele Mondiale construiesc o formă de inteligență mai robustă, care se generalizează mai bine la situații noi, nevăzute.

Aceasta este veriga lipsă pentru AGI. Adevărata inteligență necesită navigare. Necesită ca un agent să analizeze un obiectiv, să simuleze diferite căi pentru a atinge acel obiectiv folosind modelul său intern despre lume și apoi să aleagă calea cu cea mai mare probabilitate de succes. Generatoarele de text nu pot face acest lucru; pot doar să scrie un plan, nu pot înțelege constrângerile executării acestuia.

Linia de jos

Industria inteligenței artificiale se află într-un punct de cotitură. Strategia „adăugați doar mai multe date” își atinge sfârșitul logic. Trecem de la era Chatbot-ului la era Simulatorului.

Următoarea generație de scalare bazată pe inteligență artificială nu va însemna citirea întregului internet. Va fi vorba despre observarea lumii, înțelegerea regulilor sale și construirea unei arhitecturi interne care să reflecte realitatea. Aceasta nu este doar o actualizare tehnică; este o schimbare fundamentală în ceea ce considerăm „învățare”.

Pentru întreprinderi și cercetători, accentul trebuie să se schimbe. Trebuie să încetăm să ne obsedăm de numărul de parametri și să începem să evaluăm cât de bine înțeleg sistemele noastre cauza și efectul. Inteligența artificială a viitorului nu vă va spune doar ce s-a întâmplat; vă va arăta ce s-ar putea întâmpla și de ce. Aceasta este promisiunea Modelelor Mondiale și este singura cale de urmat.