I Modelli di Intelligenza Artificiale del Mondo Possono Veramente Comprendere le Leggi Fisiche?

La grande speranza per i modelli di intelligenza artificiale di visione-linguaggio è che un giorno diventeranno capaci di una maggiore autonomia e versatilità, incorporando principi di leggi fisiche in modo simile a come sviluppiamo una comprensione innata di questi principi attraverso l’esperienza precoce.

Ad esempio, i giochi con la palla dei bambini tendono a sviluppare una comprensione della cinetica del moto, e dell’effetto del peso e della texture della superficie sulla traiettoria. Allo stesso modo, le interazioni con scenari comuni come bagni, bevande versate, oceani, piscine e altri corpi liquidi diversi ci inculcano una comprensione versatile e scalabile dei modi in cui i liquidi si comportano sotto la gravità.

Anche i postulati di fenomeni meno comuni – come la combustione, le esplosioni e la distribuzione del peso architettonico sotto pressione – vengono assorbiti inconsciamente attraverso l’esposizione a programmi TV e film, o video sui social media.

Quando studiamo i principi alla base di questi sistemi a un livello accademico, stiamo semplicemente “adattando” i nostri modelli mentali intuitivi (ma non informati) di essi.

I Maestri di Uno

Attualmente, la maggior parte dei modelli di intelligenza artificiale sono, per contrasto, più “specializzati”, e molti di essi sono stati ottimizzati o addestrati da zero su set di dati di immagini o video che sono abbastanza specifici per determinati casi d’uso, piuttosto che essere progettati per sviluppare una comprensione generale delle leggi che governano.

Altri possono presentare l’aspetto di una comprensione delle leggi fisiche; ma potrebbero in realtà riprodurre semplicemente campioni dai loro dati di addestramento, piuttosto che comprendere veramente i fondamenti di aree come la fisica del moto in modo da poter produrre rappresentazioni veramente nuove (e scientificamente plausibili) dai prompt degli utenti.

In questo momento delicato nella commercializzazione e produzione di sistemi di intelligenza artificiale generativa, spetta a noi, e alla scrupolosità degli investitori, distinguere il marketing ingegnoso di nuovi modelli di intelligenza artificiale dalla realtà delle loro limitazioni.

Uno dei lavori più interessanti di novembre, guidato da Bytedance Research, ha affrontato questo problema, esplorando il divario tra le capacità apparenti e reali di modelli generativi “tuttofare” come Sora.

I ricercatori hanno concluso che, allo stato attuale dell’arte, l’output generato da modelli di questo tipo è più probabile che imiti esempi dai loro dati di addestramento piuttosto che dimostrare una vera comprensione dei vincoli fisici sottostanti che operano nel mondo reale.

Il lavoro afferma*:

‘[Questi] modelli possono essere facilmente distorti da “esempi ingannevoli” nel set di addestramento, portandoli a generalizzare in modo “basato su casi” in determinate condizioni. Questo fenomeno, anche osservato in grandi modelli linguistici, descrive la tendenza di un modello a fare riferimento a casi di addestramento simili quando si risolvono nuovi compiti.

‘Ad esempio, considera un modello video addestrato su dati di una palla in movimento ad alta velocità in moto lineare uniforme. Se la data augmentation viene eseguita ruotando orizzontalmente i video, introducendo così il moto nella direzione opposta, il modello potrebbe generare uno scenario in cui una palla a bassa velocità cambia direzione dopo i primi fotogrammi, anche se questo comportamento non è fisicamente corretto.’

Ricordo del Passato

Senza generalizzazione, un modello di intelligenza artificiale addestrato è poco più di un costoso foglio di calcolo di riferimenti a sezioni dei suoi dati di addestramento: trova il termine di ricerca appropriato, e puoi evocare un’istanza di quei dati.

In quel scenario, il modello sta effettivamente agendo come un “motore di ricerca neurale”, poiché non può produrre interpretazioni astratte o “creative” dell’output desiderato, ma invece replica alcune variazioni minori dei dati che ha visto durante il processo di addestramento.

Questo è noto come memorizzazione – un problema controverso che sorge perché modelli di intelligenza artificiale veramente duttili e interpretativi tendono a mancare di dettagli, mentre modelli veramente dettagliati tendono a mancare di originalità e flessibilità.

La capacità dei modelli influenzati dalla memorizzazione di riprodurre dati di addestramento è un potenziale ostacolo legale, nei casi in cui i creatori del modello non avevano i diritti incondizionati per utilizzare quei dati; e dove i benefici da quei dati possono essere dimostrati attraverso un numero crescente di metodi di estrazione.

A causa della memorizzazione, tracce di dati non autorizzati possono persistere, concatenati, attraverso più sistemi di addestramento, come un marchio di fabbrica indistruttibile e non voluto – anche in progetti in cui il praticante di apprendimento automatico ha preso cura di assicurarsi che vengano utilizzati dati “sicuri”.

Modelli del Mondo

Tuttavia, il problema centrale di utilizzo della memorizzazione è che tende a trasmettere l’illusione di intelligenza, o a suggerire che il modello di intelligenza artificiale abbia generalizzato leggi o domini fondamentali, quando in realtà è il grande volume di dati memorizzati che fornisce questa illusione (cioè, il modello ha così tanti esempi di dati potenziali da cui scegliere che è difficile per un umano capire se sta rigurgitando contenuto appreso o se ha una comprensione veramente astratta dei concetti coinvolti nella generazione).

Questo problema ha implicazioni per l’interesse crescente per i modelli del mondo – la prospettiva di sistemi di intelligenza artificiale altamente diversificati e costosi, che incorporano molte leggi note e sono riccamente esplorabili.

I modelli del mondo sono di particolare interesse nello spazio delle immagini e dei video generativi. Nel 2023, RunwayML ha avviato un progetto di ricerca sullo sviluppo e la fattibilità di tali modelli; DeepMind ha recentemente assunto uno degli ideatori del noto modello generativo di video Sora per lavorare su un modello di questo tipo; e le startup come Higgsfield stanno investendo significativamente in modelli del mondo per la sintesi di immagini e video.

Combinazioni Difficili

Una delle promesse degli sviluppi recenti nei sistemi di intelligenza artificiale generativa è la prospettiva che possano imparare leggi fisiche fondamentali, come il moto, la cinematica umana (come le caratteristiche del passo), la dinamica dei fluidi, e altri fenomeni fisici noti che sono, almeno, visivamente familiari agli umani.

Se l’intelligenza artificiale generativa potesse raggiungere questo traguardo, potrebbe diventare capace di produrre effetti visivi iperrealistici che rappresentano esplosioni, inondazioni e collisioni plausibili tra oggetti diversi.

Se, d’altra parte, il sistema di intelligenza artificiale è stato semplicemente addestrato su migliaia (o centinaia di migliaia) di video che rappresentano tali eventi, potrebbe essere in grado di riprodurre i dati di addestramento in modo convincente quando è stato addestrato su un punto di dati simile alla query dell’utente; tuttavia fallirebbe se la query combina troppe concetti che, in tale combinazione, non sono rappresentati affatto nei dati.

Inoltre, queste limitazioni non sarebbero immediatamente evidenti, fino a quando non si spingesse il sistema con combinazioni di sfide di questo tipo.

Questo significa che un nuovo sistema generativo potrebbe essere in grado di generare contenuti video virali che, sebbene impressionanti, possono creare una falsa impressione delle capacità e della profondità di comprensione del sistema, perché il compito che rappresenta non è una vera sfida per il sistema.

Ad esempio, un evento relativamente comune e ben diffuso, come ‘un edificio viene demolito’, potrebbe essere presente in più video in un set di dati utilizzato per addestrare un modello che dovrebbe avere una certa comprensione della fisica. Pertanto, il modello potrebbe presumibilmente generalizzare bene questo concetto e anche produrre output veramente nuovo all’interno dei parametri appresi da numerosi video.

Questo è un esempio in-distribution, dove il set di dati contiene molti esempi utili per il sistema di apprendimento.

Tuttavia, se si richiedesse un esempio più bizzarro o specioso, come ‘La Torre Eiffel viene fatta esplodere da invasori alieni’, il modello dovrebbe combinare domini diversi come ‘proprietà metallurgiche’, ‘caratteristiche delle esplosioni’, ‘gravità’, ‘resistenza del vento’ – e ‘navi spaziali aliene’.

Questo è un esempio out-of-distribution (OOD), che combina così tanti concetti intrecciati che il sistema probabilmente fallirà nella generazione di un esempio convincente, o si attesterà sull’esempio semantico più vicino su cui è stato addestrato – anche se quell’esempio non aderisce al prompt dell’utente.

Tranne che il set di dati di origine del modello contenesse effetti visivi CGI di stile hollywoodiano che rappresentano lo stesso o un evento simile, una tale rappresentazione richiederebbe assolutamente che il modello raggiunga una comprensione ben generalizzata e duttile delle leggi fisiche.

Vincoli Fisici

Il nuovo articolo – una collaborazione tra Bytedance, Tsinghua University e Technion – suggerisce che non solo modelli come Sora non internalizzano veramente leggi fisiche deterministici in questo modo, ma che l’aumento dei dati (un approccio comune negli ultimi 18 mesi) sembra, nella maggior parte dei casi, non produrre alcun miglioramento in questo senso.

L’articolo esplora non solo i limiti dell’estrapolazione di leggi fisiche specifiche – come il comportamento di oggetti in movimento quando collidono, o quando il loro percorso è ostruito – ma anche la capacità del modello di generalizzazione combinatoria – istanze in cui le rappresentazioni di due principi fisici diversi vengono fuse in un’unica rappresentazione generativa.

Un video riassunto del nuovo articolo. Fonte: https://x.com/bingyikang/status/1853635009611219019

I tre principi fisici selezionati per lo studio dai ricercatori furono moti parabolici; moti lineari uniformi; e collisioni elastiche perfette.

Come si può vedere nel video sopra, i risultati indicano che modelli come Sora non internalizzano veramente le leggi fisiche, ma tendono a riprodurre i dati di addestramento.

Inoltre, gli autori hanno scoperto che aspetti come il colore e la forma diventano così intrecciati al momento dell’inferenza che una palla generata potrebbe probabilmente trasformarsi in un quadrato, apparentemente perché un moto simile in un esempio del set di dati presentava un quadrato e non una palla (vedi esempio nel video incorporato sopra).

L’articolo, che ha notabilmente coinvolto il settore della ricerca sui social media, conclude:

‘Il nostro studio suggerisce che la scalabilità da sola è insufficiente per i modelli di generazione di video per scoprire leggi fisiche fondamentali, nonostante il suo ruolo nel più ampio successo di Sora…

‘…[I risultati] indicano che la scalabilità da sola non può affrontare il problema OOD, anche se migliora le prestazioni in altri scenari.

‘La nostra analisi approfondita suggerisce che la generalizzazione del modello di video si basa più sul riferimento a esempi di addestramento simili che sull’apprendimento di regole universali. Abbiamo osservato un ordine di priorità di colore > dimensione > velocità > forma in questo comportamento “basato su casi”.

‘[Il nostro] studio suggerisce che la scalabilità ingenua è insufficiente per i modelli di generazione di video per scoprire leggi fisiche fondamentali.’

Metodo e Dati

I ricercatori hanno utilizzato un Variational Autoencoder (VAE) e DiT per generare campioni video. In questo setup, le rappresentazioni latenti compresse prodotte dal VAE lavorano in tandem con la modellazione del processo di denoising di DiT.

I video sono stati addestrati su Stable Diffusion V1.5-VAE. Lo schema è stato lasciato fondamentalmente invariato, con solo miglioramenti architettonici alla fine del processo:

‘[Abbiamo mantenuto] la maggior parte della convoluzione 2D originale, della normalizzazione dei gruppi e dei meccanismi di attenzione sulle dimensioni spaziali.

‘Per gonfiare questa struttura in un autoencoder spazio-temporale, abbiamo convertito i primi blocchi di downsampling 2D dell’encoder e i primi blocchi di upsampling 2D del decoder in 3D, e abbiamo impiegato più strati 1D aggiuntivi per migliorare la modellazione temporale.’

Per abilitare la modellazione video, il VAE modificato è stato addestrato congiuntamente con dati di immagini HQ e video, con il componente 2D Generative Adversarial Network (GAN) nativo dell’architettura SD1.5 aumentato per il 3D.

Il set di dati di immagini utilizzato è stato l’originale di Stable Diffusion, LAION-Aesthetics, con filtraggio, in aggiunta a DataComp. Per i dati video, un subset è stato curato da Vimeo-90K, Panda-70m e HDVG.

I dati sono stati addestrati per un milione di passi, con random resized crop e random horizontal flip applicati come processi di data augmentation.

Capovolgimento

Come notato sopra, il processo di data augmentation del random horizontal flip può essere un ostacolo nell’addestramento di un sistema progettato per produrre un moto autentico. Ciò è dovuto al fatto che l’output del modello addestrato potrebbe considerare entrambe le direzioni di un oggetto e causare inversioni casuali mentre tenta di negoziare questi dati in conflitto (vedi video incorporato sopra).

D’altra parte, se si disattiva il flip orizzontale, il modello è più probabile che produca un output che aderisce a una sola direzione appresa dai dati di addestramento.

Quindi non c’è una soluzione facile al problema, se non che il sistema veramente assimila l’intera gamma di possibilità di movimento sia dalla versione nativa che da quella capovolta – una facoltà che i bambini sviluppano facilmente, ma che sembra essere più una sfida per i modelli di intelligenza artificiale.

Test

Per il primo set di esperimenti, i ricercatori hanno formulato un simulatore 2D per produrre video di movimento di oggetti e collisioni che si conformano alle leggi della meccanica classica, che ha fornito un set di dati di alta volume e controllato che esclude le ambiguità dei video del mondo reale, per la valutazione dei modelli. Il motore di gioco fisico Box2D è stato utilizzato per creare questi video.

I tre scenari fondamentali elencati sopra sono stati l’obiettivo dei test: moto lineare uniforme, collisioni elastiche perfette e moto parabolico.

Set di dati di dimensioni crescenti (che vanno da 30.000 a tre milioni di video) sono stati utilizzati per addestrare modelli di diverse dimensioni e complessità (DiT-S a DiT-L), con i primi tre fotogrammi di ogni video utilizzati per la condizionamento.

Dettagli dei modelli diversi addestrati nel primo set di esperimenti. Fonte: https://arxiv.org/pdf/2411.02385

I ricercatori hanno scoperto che i risultati in-distribution (ID) si sono scalati bene con l’aumento dei dati, mentre le generazioni OOD non hanno migliorato, indicando carenze nella generalizzazione.

Risultati per il primo round di test.

Gli autori notano:

‘Questi risultati suggeriscono l’incapacità della scalabilità di eseguire ragionamenti in scenari OOD.’

Successivamente, i ricercatori hanno testato e addestrato sistemi progettati per esibire una competenza nella generalizzazione combinatoria, in cui due movimenti contrastanti vengono combinati per (sperabilmente) produrre un movimento coerente che è fedele alla legge fisica alla base di ciascuno dei movimenti separati.

Per questa fase dei test, gli autori hanno utilizzato il simulatore PHYRE, creando un ambiente 2D che rappresenta oggetti diversi e dalle forme diverse in caduta libera, che collidono tra loro in una varietà di interazioni complesse.

Le metriche di valutazione per questo secondo test sono state Fréchet Video Distance (FVD); Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); e uno studio umano (denominato come ‘anomalo’ nei risultati).

Tre scale di set di dati di addestramento sono state create, a 100.000 video, 0,6 milioni di video e 3-6 milioni di video. Sono stati utilizzati modelli DiT-B e DiT-XL, a causa della maggiore complessità dei video, con il primo fotogramma utilizzato per la condizionamento.

I modelli sono stati addestrati per un milione di passi a una risoluzione di 256×256, con 32 fotogrammi per video.

Risultati per il secondo round di test.

L’esito di questo test suggerisce che l’aumento semplice del volume dei dati è un approccio inadeguato:

L’articolo afferma:

‘Questi risultati suggeriscono che sia la capacità del modello che la copertura dello spazio di combinazione sono cruciali per la generalizzazione combinatoria. Questa intuizione implica che le leggi di scalabilità per la generazione di video dovrebbero concentrarsi sull’aumento della diversità delle combinazioni, piuttosto che semplicemente aumentare il volume dei dati.’

Infine, i ricercatori hanno condotto ulteriori test per cercare di determinare se un modello di generazione di video possa veramente assimilare leggi fisiche, o se semplicemente memorizza e riproduce i dati di addestramento al momento dell’inferenza.

Qui hanno esaminato il concetto di generalizzazione “basata su casi”, in cui i modelli tendono a imitare esempi di addestramento specifici quando si confrontano con situazioni nuove, nonché esempi di moto uniforme – in particolare, come la direzione del moto nei dati di addestramento influenza le previsioni del modello addestrato.

Due set di dati di addestramento, per moti uniformi e collisioni, sono stati curati, ciascuno consistente in video di moto uniforme che rappresentano velocità tra 2,5 e 4 unità, con i primi tre fotogrammi utilizzati come condizionamento. I valori latenti come velocità sono stati omessi, e, dopo l’addestramento, è stato eseguito il test su scenari sia visti che non visti.

Di seguito si vedono i risultati per il test di generazione di moto uniforme:

Risultati per i test di generazione di moto uniforme, dove la variabile ‘velocità’ è omessa durante l’addestramento.

Gli autori affermano:

‘[Con] un grande divario nel set di addestramento, il modello tende a generare video in cui la velocità è o alta o bassa per assomigliare ai dati di addestramento quando i primi fotogrammi mostrano velocità nella gamma media.’

Per i test di collisione, molte più variabili sono coinvolte, e il modello deve apprendere una funzione non lineare bidimensionale.

Collisione: risultati per il terzo e ultimo round di test.

Gli autori osservano che la presenza di ‘esempi ingannevoli’, come il moto inverso (ad esempio, una palla che rimbalza su una superficie e inverte la sua direzione), può ingannare il modello e farlo generare previsioni fisicamente scorrette.

Conclusione

Se un algoritmo non di intelligenza artificiale (cioè un metodo “cotto”, procedurale) contiene regole matematiche per il comportamento di fenomeni fisici come fluidi, oggetti sotto gravità o pressione, ci sono costanti invariabili disponibili per la rappresentazione accurata.

Tuttavia, i risultati del nuovo articolo indicano che non si sviluppa una relazione equivalente o una comprensione intrinseca delle leggi fisiche classiche durante l’addestramento dei modelli generativi, e che l’aumento dei dati non risolve il problema, ma lo oscura – perché un numero maggiore di video di addestramento è disponibile per il sistema da imitare al momento dell’inferenza.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta martedì, 26 novembre 2024