Pot AI Lumile Modele ale Lumii să Înțeleagă cu Adevărat Legile Fizice?

Speranța mare pentru modelele de inteligență artificială vizual-lingvistică este că vor deveni într-o zi capabile de o mai mare autonomie și versatilitate, încorporând principiile legilor fizice în același mod în care dezvoltăm o înțelegere înnăscută a acestor principii prin experiența timpurie.

De exemplu, jocurile cu mingea copiilor tind să dezvolte o înțelegere a cineticii mișcării, și a efectului greutății și texturii suprafeței asupra traiectoriei. La fel, interacțiunile cu scenarii obișnuite, cum ar fi băi, băuturi vărsate, oceanul, piscine și alte corpuri lichide diverse, ne vor insufla o înțelegere versatilă și scalabilă a modului în care lichidele se comportă sub gravitație.

Chiar și postulatele unor fenomene mai puțin obișnuite – cum ar fi combustia, exploziile și distribuția greutății arhitecturale sub presiune – sunt absorbite inconștient prin expunerea la programe de televiziune și filme, sau videoclipuri de pe rețelele sociale.

În momentul în care studiem principiile din spatele acestor sisteme, la un nivel academic, suntem doar “retrofitând” modelele noastre mentale intuitive (dar neinformate) ale acestora.

Stăpânii Unuia

În prezent, majoritatea modelelor de inteligență artificială sunt, prin contrast, mai “specializate”, și multe dintre ele sunt fie reglate sau antrenate de la zero pe seturi de date de imagini sau videoclipuri care sunt destul de specifice anumitor cazuri de utilizare, mai degrabă decât proiectate pentru a dezvolta o înțelegere atât de generală a legilor care guvernează.

Altele pot prezenta aparența unei înțelegeri a legilor fizice; dar ele pot reproduce în realitate mostre din datele de antrenare, mai degrabă decât să înțeleagă cu adevărat principiile de bază ale unor domenii precum fizica mișcării, într-un mod care să poată produce descrieri cu adevărat noi (și științific plauzibile) din prompturile utilizatorilor.

În acest moment delicat al produsului și comercializării sistemelor de inteligență artificială generativă, ne revine nouă, și controlului investitorilor, să distingem marketingul creat pentru noile modele de inteligență artificială de realitatea limitărilor lor.

Una dintre lucrările cele mai interesante din luna noiembrie, condusă de Bytedance Research, a abordat această problemă, explorând decalajul dintre capacitățile aparente și reale ale “modelelor generative universale” precum Sora.

Lucrarea a concluzionat că, în stadiul actual al tehnologiei, ieșirile generate de modele de acest tip sunt mai probabil să imită exemple din datele de antrenare decât să demonstreze o înțelegere deplină a constrângerilor fizice subiacente care operează în lumea reală.

Articolul afirmă*:

‘[Aceste] modele pot fi ușor influențate de “exemple înșelătoare” din setul de antrenare, ceea ce le face să generalizeze într-un mod “bazat pe caz” în anumite condiții. Acest fenomen, observat și în modelele de limbaj mari, descrie tendința modelului de a face referire la cazuri similare de antrenare atunci când rezolvă sarcini noi.

‘De exemplu, considerați un model de video antrenat pe date cu o minge care se mișcă într-o mișcare liniară uniformă. Dacă se efectuează o augmentare a datelor prin răsucirea orizontală a videoclipurilor, introducând astfel o mișcare în sens invers, modelul poate genera o scenă în care o minge cu viteză scăzută își schimbă direcția după primele cadre, deși acest comportament nu este fizic corect.’

Vom examina mai atent lucrarea – intitulată Evaluarea modelelor lumii cu LLM pentru luarea deciziilor – în curând. Dar mai întâi, să aruncăm o privire asupra contextului pentru aceste limitări aparente.

Amintirea Lucrurilor Trecute

Fără generalizare, un model de inteligență artificială antrenat este puțin mai mult decât un tabel de referințe scump pentru porțiuni ale datelor sale de antrenare: găsiți termenul de căutare potrivit, și puteți evoca o instanță a acelor date.

În acest scenariu, modelul acționează efectiv ca un “motor de căutare neural”, deoarece nu poate produce interpretări abstracte sau “creative” ale ieșirii dorite, ci mai degrabă reproduce o variație minoră a datelor pe care le-a văzut în timpul procesului de antrenare.

Acesta este cunoscut sub numele de memorizare – o problemă controversată care apare deoarece modelele de inteligență artificială cu adevărat ductile și interpretative tind să lipsească detalii, în timp ce modelele detaliate tind să lipsească originalitate și flexibilitate.

Capacitatea modelelor afectate de memorizare de a reproduce datele de antrenare poate fi o piedică legală, în cazurile în care creatorii modelului nu aveau drepturi neîngrădite de a utiliza aceste date; și unde beneficiile acestor date pot fi demonstrate prin metode de extragere în creștere.

Din cauza memorizării, urme de date neautorizate pot persista, în lanț, prin multiple sisteme de antrenare, ca o marcă de apă indelibilă și neintenționată – chiar și în proiecte în care practicianul de învățare automată a luat măsuri pentru a se asigura că se utilizează “date sigure”.

Modelele Lumii

Cu toate acestea, problema centrală de utilizare a memorizării este că aceasta tinde să creeze iluzia inteligenței, sau să sugereze că modelul de inteligență artificială a generalizat legi fundamentale sau domenii, în timp ce de fapt este volumul mare de date memorizate care furnizează această iluzie (adică, modelul are atât de multe exemple de date posibile pentru a alege, încât este dificil pentru un om să spună dacă reproduce conținut învățat sau dacă are o înțelegere cu adevărat abstractă a conceptelor implicate în generare).

Această problemă are implicații pentru interesul tot mai mare în modelele lumii – perspectiva unor sisteme de inteligență artificială foarte diverse și scumpe, care incorporează multiple legi cunoscute și sunt bogat explorabile.

Modelele lumii sunt deosebit de interesante în spațiul de imagine și video generativ. În 2023, RunwayML a început o inițiativă de cercetare pentru dezvoltarea și fezabilitatea unor astfel de modele; DeepMind a angajat recent unul dintre creatorii celebrului videoclip generativ Sora pentru a lucra la un model de acest fel; și startup-urile cum ar fi Higgsfield investesc semnificativ în modelele lumii pentru sinteza de imagini și videoclipuri.

Combinații Grele

Una dintre promisiunile noilor dezvoltări în sistemele de inteligență artificială generativă video este perspectiva că acestea pot învăța legi fizice fundamentale, cum ar fi mișcarea, cinetica umană (cum ar fi caracteristicile mersului), dinamica fluidelor, și alte fenomene fizice cunoscute care sunt, cel puțin, vizual familiare oamenilor.

Dacă inteligența artificială generativă ar putea atinge acest punct de referință, ar putea deveni capabilă să producă efecte vizuale hiper-realistice care să descrie explozii, inundații și evenimente de coliziune plauzibile, care implică multiple tipuri de obiecte.

Dacă, pe de altă parte, sistemul de inteligență artificială a fost doar antrenat pe mii (sau sute de mii) de videoclipuri care descriu astfel de evenimente, ar putea reproduce datele de antrenare într-un mod convingător atunci când a fost antrenat pe un punct de date similar cu promptul țintă al utilizatorului; dar ar putea eșua dacă promptul combină prea multe concepte care, într-o astfel de combinație, nu sunt reprezentate deloc în date.

În plus, aceste limitări nu ar fi imediat evidente, până când nu s-ar împinge sistemul cu combinații dificile de acest fel.

Acest lucru înseamnă că un nou sistem generativ poate fi capabil să producă conținut de videoclip viral care, deși impresionant, poate crea o impresie falsă a capacităților și a profunzimii înțelegerii sistemului, deoarece sarcina pe care o reprezintă nu este o adevărată provocare pentru sistem.

De exemplu, un eveniment relativ obișnuit și bine răspândit, cum ar fi “o clădire este demolată”, ar putea fi prezent în multiple videoclipuri dintr-un set de date utilizat pentru a antrena un model care se presupune că are o anumită înțelegere a fizicii. Prin urmare, modelul ar putea prezuma că generalizează acest concept bine și ar putea produce chiar ieșiri noi în parametrii învățați din videoclipurile abundente.

Acesta este un exemplu în distribuție, în care setul de date conține multe exemple utile pentru ca sistemul de inteligență artificială să învețe.

Cu toate acestea, dacă ați solicita un exemplu mai ciudat sau mai puțin obișnuit, cum ar fi “Turnul Eiffel este aruncat în aer de invadatori extratereștri”, modelul ar trebui să combine domenii diverse, cum ar fi “proprietăți metalurgice”, “caracteristici ale exploziilor”, “gravitație”, “rezistență la vânt” – și “nave spațiale extraterestre”.

Acesta este un exemplu în afara distribuției (OOD), care combină atâtea concepte împletite, încât sistemul va fi probabil să nu genereze un exemplu convingător sau va reveni la cel mai apropiat exemplu semantic pe care l-a fost antrenat – chiar dacă acel exemplu nu se conformează promptului utilizatorului.

Cu excepția cazului în care setul de date sursă conține efecte vizuale CGI de stil Hollywood care descriu același eveniment sau unul similar, o astfel de descriere ar necesita cu adevărat ca modelul să atingă o înțelegere bine generalizată și ductilă a legilor fizice.

Restricții Fizice

Noua lucrare – o colaborare între Bytedance, Universitatea Tsinghua și Technion – sugerează că nu numai că modele precum Sora nu internalizează într-adevăr legi fizice deterministice în acest fel, dar că și scalarea datelor (o abordare comună în ultimele 18 luni) pare să nu aducă nicio îmbunătățire reală în acest sens.

Lucrarea explorează nu numai limitele extrapolării unor legi fizice specifice – cum ar fi comportamentul obiectelor în mișcare atunci când se ciocnesc sau când calea lor este blocată – ci și capacitatea modelului de generalizare combinatorie – cazuri în care reprezentările a două principii fizice diferite sunt combinate într-o singură ieșire generativă.

Un rezumat video al noii lucrări. Source: https://x.com/bingyikang/status/1853635009611219019

Cele trei legi fizice selectate pentru studiu de către cercetători au fost mișcarea parabolică; mișcarea liniară uniformă; și ciocnire elastică perfectă.

După cum se poate vedea în videoclipul de mai sus, rezultatele indică faptul că modele precum Sora nu internalizează într-adevăr legi fizice, ci mai degrabă reproduc datele de antrenare.

În plus, autorii au constatat că aspecte precum culoarea și forma devin atât de împletite la momentul inferenței, încât o minge generată ar putea deveni probabil un pătrat, aparent pentru că o mișcare similară într-un exemplu de date a prezentat un pătrat și nu o minge (a se vedea exemplul din videoclipul încorporat mai sus).

Articolul concluzionează:

‘Studiul nostru sugerează că scalarea singură este insuficientă pentru modelele de generare de videoclipuri pentru a descoperi legi fizice fundamentale, în ciuda rolului său în succesul mai larg al lui Sora…

‘…[Aflările] indică faptul că scalarea singură nu poate aborda problema OOD, deși îmbunătățește performanța în alte scenarii.

‘Analiza noastră aprofundată sugerează că generalizarea modelului de video se bazează mai mult pe referința la exemple similare de antrenare, decât pe învățarea unor reguli universale. Am observat o ordine de prioritate a culorii > mărime > viteză > formă în acest comportament “bazat pe caz”.

‘[Studiul] nostru sugerează că scalarea naivă este insuficientă pentru modelele de generare de videoclipuri pentru a descoperi legi fizice fundamentale.’

Când a fost întrebat dacă echipa de cercetare a găsit o soluție la problema, unul dintre autorii lucrării a comentat:

‘Din nefericire, nu am. De fapt, aceasta este probabil misiunea întregii comunități de inteligență artificială.’

Metodă și Date

Cercetătorii au utilizat un Variational Autoencoder (VAE) și DiT pentru a genera mostre de videoclipuri. În această configurație, reprezentările latente comprimate produse de VAE lucrează în tandem cu modelarea procesului de denoising de către DiT.

Videoclipurile au fost antrenate pe Stable Diffusion V1.5-VAE. Schema a rămas fundamental neschimbată, cu doar îmbunătățiri arhitecturale la sfârșitul procesului:

‘[Păstrăm] majoritatea convoluțiilor 2D originale, normalizarea grupului și mecanismele de atenție pe dimensiunile spațiale.

‘Pentru a umfla această structură într-un autoencoder spațio-temporal, convertim ultimele blocuri 2D de downsample ale encoderului și primele blocuri 2D de upsample ale decoderului în 3D, și folosim mai multe straturi 1D suplimentare pentru a îmbunătăți modelarea temporală.’

Pentru a permite modelarea videoclipurilor, VAE-ul modificat a fost antrenat împreună cu date de imagine și videoclip de înaltă calitate, cu componenta 2D Generative Adversarial Network (GAN) nativă a arhitecturii SD1.5 augmentată pentru 3D.

Setul de date de imagini utilizat a fost sursa originală a Stable Diffusion, LAION-Aesthetics, cu filtrare, în plus față de DataComp. Pentru datele de videoclip, a fost curat un subset din Vimeo-90K, Panda-70m și HDVG seturile de date.

Datele au fost antrenate timp de un milion de pași, cu recoltare aleatorie și răsucire orizontală aleatorie aplicate ca procese de augmentare a datelor.

Răsturnarea

După cum s-a menționat anterior, procesul de răsucire orizontală aleatorie poate fi o piedică în antrenarea unui sistem destinat să producă mișcări autentice. Acest lucru se datorează faptului că ieșirile modelului antrenat pot lua în considerare ambele direcții ale unui obiect și pot provoca răsturnări aleatorii, în timp ce încearcă să negocieze aceste date contradictorii (a se vedea videoclipul încorporat mai sus).

Pe de altă parte, dacă se dezactivează răsucirea orizontală, modelul este mai probabil să producă ieșiri care se conformează numai unei direcții învățate din datele de antrenare.

Prin urmare, nu există o soluție ușoară pentru problema, cu excepția faptului că sistemul trebuie să asimileze cu adevărat întregul spectru de posibilități de mișcare din versiunea nativă și din versiunea răsturnată – o facilitate pe care copiii o dezvoltă cu ușurință, dar care pare a fi o provocare mai mare pentru modelele de inteligență artificială.

Teste

Pentru primul set de experimente, cercetătorii au creat un simulator 2D pentru a produce videoclipuri cu mișcări de obiecte și ciocniri care se conformează legilor mecanicii clasice, care au furnizat un volum mare și un set de date controlat, care exclude ambiguitățile videoclipurilor din lumea reală, pentru evaluarea modelelor. Motorul de joc Box2D a fost utilizat pentru a crea aceste videoclipuri.

Cele trei scenarii fundamentale menționate anterior au fost în centrul atenției testelor: mișcarea liniară uniformă, ciocniri elastice perfecte și mișcarea parabolică.

Seturi de date de dimensiuni crescătoare (variind de la 30.000 la trei milioane de videoclipuri) au fost utilizate pentru a antrena modele de dimensiuni și complexitate diferite (DiT-S până la DiT-L), cu primele trei cadre ale fiecărui videoclip utilizate pentru condiționare.

Detalii despre modelele variate antrenate în primul set de experimente. Source: https://arxiv.org/pdf/2411.02385

Cercetătorii au constatat că rezultatele în distribuție (ID) au escaladat bine cu cantități crescătoare de date, în timp ce generările OOD nu s-au îmbunătățit, indicând deficiențe în generalizare.

Rezultatele primului tur de teste.

Autorii notează:

‘Aceste descoperiri sugerează incapacitatea scalării de a efectua raționamente în scenarii OOD.’

Următorul, cercetătorii au testat și antrenat sisteme proiectate pentru a demonstra o îndemânare pentru generalizarea combinatorie, în care două mișcări contrastante sunt combinate pentru a (spera) produce o mișcare coerentă care este fidelă legii fizice din spatele fiecăruia dintre mișcările separate.

Pentru această fază a testelor, autorii au utilizat simulatorul PHYRE, creând un mediu 2D care descrie multiple obiecte de forme diverse în cădere liberă, ciocnindu-se între ele într-o varietate de interacțiuni complexe.

Metricile de evaluare pentru acest al doilea test au fost Fréchet Video Distance (FVD); Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); și un studiu uman (denumit “anormal” în rezultate).

Trei seturi de dimensiuni de antrenare au fost create, la 100.000 de videoclipuri, 0,6 milioane de videoclipuri și 3-6 milioane de videoclipuri. Modelele DiT-B și DiT-XL au fost utilizate, din cauza complexității crescute a videoclipurilor, cu primul cadru utilizat pentru condiționare.

Modelele au fost antrenate timp de un milion de pași la o rezoluție de 256×256, cu 32 de cadre pe videoclip.

Rezultatele celui de-al doilea tur de teste.

Rezultatul acestui test sugerează că simpla creștere a volumului de date este o abordare inadecvată:

Articolul afirmă:

‘Aceste rezultate sugerează că atât capacitatea modelului, cât și acoperirea spațiului de combinație sunt cruciale pentru generalizarea combinatorie. Această perspectivă implică faptul că legile de scalare pentru generarea de videoclipuri ar trebui să se concentreze pe creșterea diversității de combinație, mai degrabă decât pe simpla creștere a volumului de date.’

În cele din urmă, cercetătorii au efectuat teste suplimentare pentru a încerca să determine dacă un model de generare de videoclipuri poate cu adevărat asimila legi fizice, sau dacă pur și simplu memorizează și reproduce datele de antrenare la momentul inferenței.

Aici au examinat conceptul de “generalizare bazată pe caz”, în care modelele tind să imite exemple specifice de antrenare atunci când se confruntă cu situații noi, precum și exemple de mișcare uniformă – în special, modul în care direcția mișcării în datele de antrenare influențează predicțiile modelului antrenat.

Două seturi de date de antrenare, pentru mișcare uniformă și ciocnire, au fost create, fiecare constând din videoclipuri cu mișcări uniforme care descriu viteze între 2,5 și 4 unități, cu primele trei cadre utilizate ca condiționare. Valorile latente, cum ar fi viteza, au fost omise, și, după antrenare, testarea a fost efectuată pe scenarii atât văzute, cât și nevăzute.

În continuare, se prezintă rezultatele testului pentru generarea mișcării uniforme:

Rezultatele testului pentru generarea mișcării uniforme, în care variabila ‘viteză’ este omisă în timpul antrenării.

Autorii afirmă:

‘[Cu] o lacună mare în setul de antrenare, modelul tinde să genereze videoclipuri în care viteza este fie ridicată, fie scăzută pentru a semăna cu datele de antrenare atunci când primele cadre arată viteze medii.’

Pentru testele de ciocnire, mult mai multe variabile sunt implicate, și modelul trebuie să învețe o funcție neliniară bidimensională.

Ciocnire: rezultatele celui de-al treilea și ultim tur de teste.

Autorii observă că prezența “exemplului înșelător”, cum ar fi mișcarea inversă (de exemplu, o minge care ricoșează de o suprafață și își schimbă direcția), poate induce în eroare modelul și provoca predicții fizic incorecte.

Concluzie

Dacă un algoritm non-inteligență artificială (adică o metodă “baked”, procedurală) conține reguli matematice pentru comportamentul fenomenelor fizice, cum ar fi fluide, obiecte sub gravitație sau sub presiune, există un set de constante neschimbătoare disponibile pentru rendering precis.

Însă, descoperirile noii lucrări indică faptul că nu există o relație echivalentă sau o înțelegere intrinsică a legilor fizice clasice care se dezvoltă în timpul antrenării modelelor generative, și că cantitățile crescute de date nu rezolvă problema, ci mai degrabă o ascund – deoarece un număr mai mare de videoclipuri de antrenare sunt disponibile pentru sistemul de a imita la momentul inferenței.

* Conversia mea a citărilor inline ale autorilor în legături.

Publicat pentru prima dată marți, 26 noiembrie 2024