Můžou AI světové modely skutečně pochopit fyzikální zákony?

Velká naděje spojená s modelem AI pro zpracování jazyka a obrazu je, že jednoho dne budou schopny vyšší autonomie a všestrannosti, a to tak, že budou zahrnovat principy fyzikálních zákonů podobně jako my rozvíjíme vnitřní pochopení těchto principů prostřednictvím raných zkušeností.

Například hry s míčem u dětí vedou k porozumění kinetice pohybu a efektu hmotnosti a textury povrchu na dráhu. Podobně interakce se scénáři, jako jsou koupele, rozlité nápoje, oceán, bazény a další různé kapaliny, v nás vytvoří všestranné a škálovatelné pochopení chování kapalin pod gravitací.

Dokonce i postuláty méně běžných jevů – jako je hoření, exploze a architektonická váha pod tlakem – jsou nevědomě absorbovány prostřednictvím expozice televizním programům a filmům nebo videím na sociálních médiích.

Až budeme studovat principy za těmito systémy na akademické úrovni, pouze “retrofitujeme” naše intuitivní (ale neinformované) mentální modely nich.

Mistři jednoho

V současné době jsou většina modelů AI spíše “specializovaná” a mnoho z nich je buď jemně naladěno nebo trénováno od začátku na obrazových nebo videodatových sadách, které jsou khá specifické pro určité použití, spíše než navržené k vývoji takového obecného pochopení vládnoucích zákonů.

Jiní mohou předstírat pozor pochopení fyzikálních zákonů; ale mohou ve skutečnosti pouze reprodukovat vzorky ze svých trénovacích dat, spíše než skutečně rozumět základům oblastí, jako je fyzika pohybu, způsobem, který by mohl produkovat skutečně nové (a vědecky přijatelné) zobrazení z podnětů uživatelů.

V tomto kritickém okamžiku produktizace a komercializace generativních systémů AI je na nás a na prozíravosti investorů rozlišit rafinovanou marketingovou strategii nových modelů AI od reality jejich omezení.

Jedna z nejzajímavějších prací listopadu, vedená Bytedance Research, se zabývala touto otázkou, zkoumáním mezery mezi zdánlivými a skutečnými schopnostmi “všeobecných” generativních modelů, jako je Sora.

Práce dospěla k závěru, že v současné době jsou generované výstupy z modelů tohoto typu spíše napodobeninou příkladů z jejich trénovacích dat než skutečným prokázáním plného pochopení základních fyzikálních omezení, která fungují ve skutečném světě.

Článek uvádí*:

‘[Tyto] modely mohou být snadno zaujaté “klamnými” příklady ze trénovací sady, což vede k generalizaci “založené na případu” za určitých podmínek. Tento jev, který byl také pozorován u velkých jazykových modelů, popisuje tendenci modelu odkazovat na podobné trénovací případy při řešení nových úkolů.

‘Například, pokud je video model trénován na datech vysokorychlostního míče pohybujícího se v uniformním lineárním pohybu. Pokud je provedena data augmentace horizontálním otočením videí, čímž se zavádí pohyb v opačném směru, model může vygenerovat scénář, ve kterém se nízkorychlostní míč otočí po počátečních snímcích, i když toto chování není fyzicky správné.’

Podrobněji se budeme zabývat článkem – nazvaným Evaluating World Models with LLM for Decision Making – brzy. Ale nejprve se podívejme na pozadí těchto zdánlivých omezení.

Paměť minulosti

Bez generalizace je trénovaný model AI jen drahým sešitovým odkazem na části jeho trénovacích dat: najděte příslušný vyhledávací termín a můžete vyvolat instanci tohoto dat.

V tomto scénáři model efektivně funguje jako “neuronový vyhledávač”, protože nemůže produkovat abstraktní nebo “kreativní” interpretace požadovaného výstupu, ale místo toho replikuje nějakou malou variantu dat, která byla viděna během trénovacího procesu.

To se nazývá paměť – kontroverzní problém, který vzniká, protože skutečně pružné a interpretativní modely AI tendují chybět detaily, zatímco skutečně detailní modely tendují chybět originalitu a flexibilitu.

Kapacita modelů postižených pamětí reprodukovat trénovací data je potenciální právní překážka, v případech, kdy tvůrci modelu neměli neomezená práva používat tato data; a kde lze prokázat výhody z těchto dat prostřednictvím rostoucího počtu extrakčních metod.

Vzhledem k paměti mohou stopy neautorizovaných dat persistovat, řetězovitě, prostřednictvím více trénovacích systémů, jako nezamýšlené a trvalé vodítko – i v projektech, kde se praktikující strojového učení snažil zajistit, aby se používala “bezpečná” data.

Světové modely

Nicméně, hlavní problém použití s pamětí je, že tenduje k vytvoření iluze inteligence, nebo naznačuje, že model AI zobecněl fundamentální zákony nebo domény, zatímco ve skutečnosti je to vysoký objem zapamatovaných dat, který poskytuje tuto iluzi (tj. model má tolik potenciálních datových příkladů, ze kterých může vybrat, že je pro člověka obtížné určit, zda reprodukuje naučený obsah nebo zda má skutečně abstraktní pochopení konceptů zapojených do generace).

Tento problém má důsledky pro rostoucí zájem o světové modely – perspektivu vysoce rozmanitých a nákladně trénovaných systémů AI, které zahrnují více známých zákonů a jsou bohatě prozkoumatelné.

Světové modely jsou zvláště zajímavé ve generativním obrazovém a videovém prostoru. V roce 2023 zahájila RunwayML výzkumnou iniciativu do vývoje a proveditelnosti takových modelů; DeepMind nedávno najal jednoho z původců uznávaného generativního videa Sora, aby pracoval na modelu tohoto druhu; a startupy jako Higgsfield investují významně do světových modelů pro obrazovou a videou syntézu.

Těžké kombinace

Jedním z příslibů nových vývojů v generativních systémech AI pro videa je perspektiva, že mohou naučit fundamentální fyzikální zákony, jako je pohyb, lidská kinematika (jako charakteristiky chůze), dynamika kapalin a další známé fyzikální jevy, které jsou alespoň vizuálně熟é lidem.

Pokud by generativní AI mohla dosáhnout tohoto milníku, mohla by být schopna produkovat hyperrealistické vizuální efekty, které zobrazují exploze, záplavy a přesvědčivé kolizní události napříč několika typy objektů.

Pokud na druhé straně systém AI pouze prošel tisíci (nebo stovkami tisíc) videí zobrazujících takové události, mohl by být schopen reprodukovat trénovací data quite přesvědčivě, když byl trénován na podobném datovém bodu jako dotaz uživatele; ale selhat, pokud dotaz kombinuje příliš mnoho konceptů, které nejsou v takové kombinaci zastoupeny v datech.

Dále by tato omezení nebyla okamžitě zřejmá, dokud by systém nebyl podroben náročným kombinacím tohoto druhu.

To znamená, že nový generativní systém může být schopen generovat virální videoobsah, který, ačkoli je působivý, může vytvořit falešný dojem o schopnostech a hloubce pochopení systému, protože úkol, který představuje, není skutečnou výzvou pro systém.

Například relativně běžná a široce rozšířená událost, jako ‘budova je demolována’, by mohla být přítomna ve více videích v datové sadě používané k trénování modelu, který se má učit fyziku. Proto by model mohl presumptivně zobecnit tento koncept dobře a dokonce produkovat skutečně nové výstupy v rámci parametrů naučených z hojných videí.

To je in-distribution příklad, kde datová sada obsahuje mnoho užitečných příkladů pro systém AI, aby se z nich mohl učit.

Jinak, pokud byste požádali o více bizarní nebo spekulativní příklad, jako ‘Eiffelova věž je zničena mimozemskými invazory’, model by musel kombinovat rozmanité domény, jako jsou “metalurgické vlastnosti”, “charakteristiky explozí”, “gravitace”, “odpor větru” – a “mimozemská kosmická loď”.

To je out-of-distribution (OOD) příklad, který kombinuje tolik propojených konceptů, že systém bude pravděpodobně buď selhat generovat přesvědčivý příklad, nebo se vrátit k nejbližšímu sémantickému příkladu, na kterém byl trénován – i když tento příklad neodpovídá podnětu uživatele.

Kromě toho, že zdroj datového souboru obsahoval hollywoodské CGI-založené VFX zobrazující stejné nebo podobné události, by takové zobrazení určitě vyžadovalo, aby model dosáhl dobře zobecněného a pružného pochopení fyzikálních zákonů.

Fyzická omezení

Nová práce – spolupráce mezi Bytedance, Tsinghua University a Technion – naznačuje, že modely, jako je Sora, ne skutečně internalizují deterministické fyzikální zákony tímto způsobem, ale že škálování dat (běžný přístup za posledních 18 měsíců) se zdá být ve většině případů neproduktivní.

Práce zkoumá nejen omezení extrapolace konkrétních fyzikálních zákonů – jako je chování objektů v pohybu, když se srážejí, nebo když je jejich dráha zablokována – ale také kapacitu modelu pro kombinatorní generalizaci – instance, kdy jsou reprezentace dvou různých fyzikálních principů sloučeny do jediného generativního výstupu.

Video souhrn nové práce. Source: https://x.com/bingyikang/status/1853635009611219019

Tři fyzikální zákony vybrané pro studium výzkumníky byly parabolický pohyb; uniformní lineární pohyb; a perfektní elastická srážka.

Jako je vidět na videu výše, zjištění ukazují, že modely, jako je Sora, neinternalizují fyzikální zákony, ale tendují reprodukovat trénovací data.

Dále autoři zjistili, že aspekty, jako je barva a tvar, se stávají tak propojenými v době inference, že vygenerovaný míč se pravděpodobně změní na čtverec, protože podobný pohyb v příkladu datové sady obsahoval čtverec a ne míč (viz příklad ve videu výše).

Článek uvádí*:

‘Naše studie naznačuje, že škálování samo o sobě je nedostatečné pro video generativní modely, aby objevily fundamentální fyzikální zákony, navzdory jeho roli v širším úspěchu Sory…

‘…[Zjištění] naznačují, že škálování samo o sobě nemůže vyřešit problém OOD, i když zlepšuje výkon v jiných scénářích.

‘Naše podrobná analýza naznačuje, že generalizace video modelu závisí více na odkazování na podobné trénovací příklady než na učení univerzálních pravidel. Pozorovali jsme prioritu barev > velikosti > rychlosti > tvaru v tomto “založeném na případu” chování.

‘[Naše] studie naznačuje, že naivní škálování je nedostatečné pro video generativní modely, aby objevily fundamentální fyzikální zákony.’

Když se zeptal, zda výzkumný tým našel řešení problému, jeden z autorů článku komentoval:

‘Bohužel, ne. Ve skutečnosti je to pravděpodobně mise celé AI komunity.’

Metoda a data

Výzkumníci použili Variational Autoencoder (VAE) a DiT architektury pro generování video ukázek. V tomto nastavení komprimované latentní reprezentace vytvořené VAE pracují ve spojení s DiT modelem denoising procesu.

Videa byla trénována na Stable Diffusion V1.5-VAE. Schéma bylo zásadně nezměněno, s pouze koncovými architektonickými vylepšeními:

‘[Zachováme] většinu původních 2D konvolucí, grupové normalizace a pozornostních mechanismů na prostorových rozměrech.

‘Pro inflaci této struktury do prostorově-časového autoencoderu konvertujeme poslední pár 2D downsampling bloků encoderu a počáteční pár 2D upsampling bloků decoderu na 3D a používáme několik dalších 1D vrstev pro vylepšení časového modelování.’

Pro umožnění video modelování byl modifikovaný VAE trénován společně s HQ obrazovými a videodatovými, s 2D Generative Adversarial Network (GAN) komponentou původní SD1.5 architektury rozšířenou pro 3D.

Obrazová datová sada použitá byla původní zdroj Stable Diffusion, LAION-Aesthetics, s filtrováním, kromě DataComp. Pro videodata byla vybrána podmnožina z Vimeo-90K, Panda-70m a HDVG datasets.

Data byla trénována po milion kroků, s náhodným velikostním ořezem a náhodným horizontálním otočením aplikovaným jako data augmentace procesy.

Flipping Out

Jak je uvedeno výše, náhodný horizontální otočný proces data augmentace proces může být nevýhodou při trénování systému navrženého pro produkci autentického pohybu. To je proto, že výstup z trénovaného modelu může brát v úvahu obě směry objektu a způsobit náhodné otočení, když se snaží zpracovat tento konfliktní data (viz video výše).

Naproti tomu, pokud se horizontální otočení vypne, model je poté více pravděpodobný produkovat výstup, který odpovídá pouze jednomu směru naučenému z trénovacích dat.

Takže neexistuje žádné snadné řešení problému, kromě toho, že systém skutečně asimiluje veškeré možnosti pohybu z obou původních a otočených verzí – schopnost, kterou děti rozvíjejí snadno, ale která je pro modely AI zřejmě větší výzvou.

Testy

Pro první sadu experimentů formulují výzkumníci 2D simulátor pro produkci videí objektového pohybu a srážek, které odpovídají zákonům klasické mechaniky, což poskytuje velkou a řízenou datovou sadu, která vylučuje nejasnosti reálných videí, pro hodnocení modelů. Box2D fyzikální herní engine byl použit pro vytvoření těchto videí.

Tři základní scénáře uvedené výše byly zaměřeny testů: uniformní lineární pohyb, perfektní elastická srážka a parabolický pohyb.

Datové sady rostoucí velikosti (sahající od 30 000 do tří milionů videí) byly použity k trénování modelů různých velikostí a složitosti (DiT-S na DiT-L), s prvními třemi snímky každého videa použitémi pro kondicionování.

Podrobnosti o různých modelech trénovaných v první sadě experimentů. Source: https://arxiv.org/pdf/2411.02385

Výzkumníci zjistili, že in-distribution (ID) výsledky škálovaly dobře s rostoucími daty, zatímco OOD generace se nezlepšily, což naznačuje nedostatky v generalizaci.

Výsledky první série testů.

Autoři uvádějí:

‘Tyto zjištění naznačují neschopnost škálování provést odůvodnění v OOD scénářích.’

Další, výzkumníci testovali a trénovali systémy navržené pro prokázání profesionality v kombinatorní generalizaci, kde jsou dvě protichůdné pohyby kombinovány do (doufáme) koherentního pohybu, který je věrný fyzikálnímu zákonu za každým z oddělených pohybů.

Pro tuto fázi testů autoři použili PHYRE simulátor, vytvářející 2D prostředí, které zobrazuje více a různě tvarovaných objektů v pádu, srážejících se s nimi v různých komplexních interakcích.

Hodnoticí metriky pro tento druhý test byly Fréchet Video Distance (FVD); Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); a lidská studie (označená jako “abnormální” ve výsledcích).

Tři úrovně trénovacích datových sad byly vytvořeny, na 100 000 videích, 0,6 milionu videích a 3-6 milionech videích. DiT-B a DiT-XL modely byly použity, kvůli zvýšené složitosti videí, s prvním snímkem použitým pro kondicionování.

Modely byly trénovány po milion kroků na 256×256 rozlišení, se 32 snímky na video.

Výsledky druhé série testů.

Výsledek tohoto testu naznačuje, že jednoduše zvyšování objemu dat je nedostatečný přístup:

Článek uvádí:

‘Tyto výsledky naznačují, že jak kapacita modelu, tak pokrytí kombinací prostoru jsou zásadní pro kombinatorní generalizaci. Tento vhled naznačuje, že škálovací zákony pro generaci videa by se měly zaměřit na zvýšení rozmanitosti kombinací, spíše než pouze na škálování objemu dat.’

Nakonec výzkumníci provedli další testy, aby se pokusili určit, zda video generativní modely mohou skutečně asimilovat fyzikální zákony, nebo zda jednoduše pamatují a reprodukují trénovací data v době inference.

Zde zkoumali koncept “založeného na případu” generalizace, kde modely tendují imitovat konkrétní trénovací příklady, když se setkávají s novými situacemi, a také zkoumali příklady uniformního pohybu – konkrétně, jak směr pohybu v trénovacích datech ovlivňuje předpovědi trénovaného modelu.

Dvě sady trénovacích dat, pro uniformní pohyb a srážku, byly vybrány, každá sestávající z videí uniformního pohybu zobrazujících rychlosti mezi 2,5 a 4 jednotkami, s prvními třemi snímky použitými jako kondicionování. Latentní hodnoty, jako je rychlost, byly vynechány, a po trénování byl proveden test na viděných i neviděných scénářích.

Níže vidíme výsledky testu pro generaci uniformního pohybu:

Výsledky testů pro generaci uniformního pohybu, kde je proměnná ‘rychlost’ vynechána během trénování.

Autoři uvádějí:

‘[S] velkou mezerou v trénovací sadě, model tenduje generovat videa, kde je rychlost buď vysoká nebo nízká, aby se podobala trénovacím datům, když počáteční snímky ukazují střední rychlosti.’

Pro testy srážek je zapojeno mnohem více proměnných, a model se musí naučit dvourozměrnou nelineární funkci.

Srážka: výsledky třetí a poslední série testů.

Autoři pozorují, že přítomnost “klamných” příkladů, jako je zpětný pohyb (tj. míč, který se odrazí od povrchu a změní směr), může zmást model a způsobit, že vygeneruje fyzicky nesprávné předpovědi.

Závěr

Pokud algoritmus (tj. “upečený”, procedurální metoda) obsahuje matematické pravidla pro chování fyzikálních jevů, jako jsou kapaliny, objekty pod gravitací nebo pod tlakem, existuje soubor neměnných konstant pro přesné vykreslení.

Výsledky nové práce však naznačují, že žádný ekvivalentní vztah nebo vnitřní pochopení klasických fyzikálních zákonů se nevyvíjí během trénování generativních modelů, a že zvyšující se objemy dat nevyřeší problém, ale spíše jej zakryjí – protože je k dispozici více trénovacích videí pro systém k imitaci v době inference.

* Moje konverze inline citací autorů na hyperlinky.

První publikováno úterý, 26. listopadu 2024