Kan AI-världsmodeller verkligen förstå fysiska lagar?

Det stora hoppet för AI-modeller med visionspråk är att de en dag kommer att bli kapabla till större autonomi och mångsidighet, och införliva principer för fysiska lagar på ungefär samma sätt som vi utvecklar en medfödd förståelse för dessa principer genom tidig erfarenhet.

Till exempel tenderar barns bollspel att utvecklas förståelse för rörelsekinetik, och av effekten av vikt och ytstruktur på banan. På samma sätt kommer interaktioner med vanliga scenarier som bad, utspillda drycker, havet, simbassänger och andra olika flytande kroppar att ingjuta i oss en mångsidig och skalbar förståelse av hur vätska beter sig under gravitationen.

Även postulaten av mindre vanliga fenomen – som förbränning, explosioner och arkitektonisk viktfördelning under tryck – absorberas omedvetet genom exponering för TV-program och filmer eller videor på sociala medier.

När vi studerar Principerna bakom dessa system, på en akademisk nivå, "renoverar" vi bara våra intuitiva (men oinformerade) mentala modeller av dem.

Masters of One

För närvarande är de flesta AI-modeller däremot mer "specialiserade", och många av dem är det heller finstämd eller tränade från grunden på bild- eller videodatauppsättningar som är ganska specifika för vissa användningsfall, snarare än utformade för att utveckla en sådan allmän förståelse av gällande lagar.

Andra kan presentera utseende av en förståelse av fysiska lagar; men de kanske faktiskt reproducerar prover från deras träningsdata, snarare än att verkligen förstå grunderna i områden som rörelsefysik på ett sätt som kan producera verkligt nya (och vetenskapligt rimliga) skildringar från användarnas uppmaningar.

I detta känsliga ögonblick i produktiseringen och kommersialiseringen av generativa AI-system överlåts det åt oss, och till investerarnas granskning, att skilja den skapade marknadsföringen av nya AI-modeller från verkligheten av deras begränsningar.

En av novembers mest intressanta tidningar, ledd av Bytedance Research, tog sig an denna fråga och utforskade klyftan mellan den skenbara och verkliga förmågan hos "all-purpose" generativa modeller som t.ex. sora.

Arbetet drog slutsatsen att vid den nuvarande teknikens ståndpunkt är det mer sannolikt att genererad produktion från modeller av denna typ är det ta exempel från deras träningsdata än att faktiskt visa full förståelse för de underliggande fysiska begränsningarna som verkar i den verkliga världen.

Tidningen säger*:

"[Dessa] modeller kan lätt vara partiska av "bedrägliga" exempel från träningsuppsättningen, vilket leder till att de generaliserar på ett "fallsbaserat" sätt under vissa förhållanden. Detta fenomen också observerad i stora språkmodeller, beskriver en modells tendens att referera till liknande utbildningsfall när man löser nya uppgifter.

"Tänk till exempel på en videomodell som tränas på data från en höghastighetsboll som rör sig i enhetlig linjär rörelse. Om dataförstärkning utförs genom att vända videorna horisontellt, och därigenom introducera rörelse i omvänd riktning, kan modellen generera ett scenario där en låghastighetsboll ändrar riktning efter de första bilderna, även om detta beteende inte är fysiskt korrekt.'

Vi ska ta en närmare titt på tidningen – med titeln Utvärdera världsmodeller med LLM för beslutsfattande  – inom kort. Men låt oss först titta på bakgrunden till dessa uppenbara begränsningar.

Påminnelse om saker tidigare

Utan generalisering, är en utbildad AI-modell inte mycket mer än ett dyrt kalkylblad med referenser till delar av dess träningsdata: hitta den lämpliga söktermen så kan du sammankalla en instans av denna data.

I det scenariot fungerar modellen effektivt som en "neural sökmotor", eftersom den inte kan producera abstrakta eller "kreativa" tolkningar av den önskade produktionen, utan istället replikerar några mindre variationer av data som den såg under utbildningsprocessen.

Detta kallas memorering – Ett kontroversiellt problem som uppstår eftersom verkligt formbara och tolkande AI-modeller tenderar att sakna detaljer, medan verkligt detaljerade modeller tenderar att sakna originalitet och flexibilitet.

Möjligheten för modeller som påverkas av memorering att reproducera träningsdata är ett potentiellt juridiskt hinder, i de fall där modellens skapare inte hade obehindrade rättigheter att använda dessa data; och där fördelarna med dessa uppgifter kan påvisas genom ett växande antal extraktionsmetoder.

På grund av memorering kan spår av icke-auktoriserad data ihärdiga, kedjade, genom flera utbildningssystem, som en outplånlig och oavsiktlig vattenstämpel – även i projekt där maskininlärningsutövaren har sett till att "säkra" data används.

Världsmodeller

Den centrala användningsfrågan med memorering är dock att den tenderar att förmedla illusion av intelligens, eller föreslå att AI-modellen har generaliserade grundläggande lagar eller domäner, där det faktiskt är den höga volymen memorerad data som ger denna illusion (dvs modellen har så många potentiella dataexempel att välja mellan att det är svårt för en människa för att berätta om det är uppstötande lärt innehåll eller om det har en verkligt abstrakt förståelse av begreppen som är involverade i generationen).

Denna fråga har konsekvenser för det växande intresset för världsmodeller – utsikterna till mycket olika och dyrt utbildade AI-system som innehåller flera kända lagar och som är rikt att utforska.

Världsmodeller är av särskilt intresse i det generativa bild- och videoutrymmet. 2023 började RunwayML en forskningsinitiativ in i utvecklingen och genomförbarheten av sådana modeller; DeepMind nyligen anlitade en av upphovsmännen till den hyllade Sora generativa videon för att arbeta på en modell av detta slag; och startups som Higgsfield investerar kraftigt i världsmodeller för bild- och videosyntes.

Hårda kombinationer

Ett av löftena om nya utvecklingar inom generativa video-AI-system är möjligheten att de kan lära sig grundläggande fysiska lagar, såsom rörelse, mänsklig kinematik (som t.ex. gångegenskaper), vätskedynamik, och andra kända fysiska fenomen som åtminstone är visuellt bekanta för människor.

Om generativ AI kunde uppnå denna milstolpe skulle den kunna producera hyperrealistiska visuella effekter som skildrar explosioner, översvämningar och troliga kollisionshändelser över flera typer av objekt.

Om å andra sidan AI-systemet helt enkelt har tränats på tusentals (eller hundratusentals) videor som visar sådana händelser, skulle det kunna återge träningsdata ganska övertygande när det tränades på en liknande data pekar på användarens målfråga; ännu misslyckas om frågan kombinerar för många begrepp som, i en sådan kombination, inte alls representeras i datan.

Vidare skulle dessa begränsningar inte vara omedelbart uppenbara, förrän man pressade systemet med utmanande kombinationer av detta slag.

Detta innebär att ett nytt generativt system kan vara kapabelt att generera viralt videoinnehåll som, även om det är imponerande, kan skapa ett felaktigt intryck av systemets kapacitet och djup av förståelse, eftersom uppgiften det representerar inte är en verklig utmaning för systemet.

Till exempel en relativt vanlig och väl spridd händelse, som t.ex "en byggnad är riven", kan vara närvarande i flera videor i en datauppsättning som används för att träna en modell som ska ha viss förståelse för fysik. Därför kan modellen antagligen generalisera detta koncept väl och till och med producera genuint ny produktion inom de parametrar som lärts av många videor.

Fall challenge är en i distribution exempel, där datasetet innehåller många användbara exempel för AI-systemet att lära av.

Men om man skulle begära ett mer bisarrt eller konstigt exempel, som t.ex "Eiffeltornet sprängs av utomjordiska inkräktare", skulle modellen krävas för att kombinera olika domäner som "metallurgiska egenskaper", "explosioners egenskaper", "gravitation", "vindmotstånd" – och "utomjordiska rymdfarkoster".

Fall challenge är en utanför distribution (OOD)-exempel, som kombinerar så många intrasslade begrepp att systemet sannolikt antingen misslyckas med att generera ett övertygande exempel, eller kommer att gå som standard till närmaste semantiska exempel som det tränades på – även om det exemplet inte följer användarens uppmaning.

Förutom att modellens källdatauppsättning innehöll Hollywood-stil CGI-baserad VFX som visar samma eller en liknande händelse, skulle en sådan skildring absolut kräva att den uppnår en välgeneraliserad och smidig förståelse av fysiska lagar.

Fysiska begränsningar

Den nya tidningen – ett samarbete mellan Bytedance, Tsinghua University och Technion – antyder inte bara att modeller som Sora gör det inte verkligen internalisera deterministiska fysiska lagar på detta sätt, men att skala upp data (ett vanligt tillvägagångssätt under de senaste 18 månaderna) verkar i de flesta fall inte ge någon verklig förbättring i detta avseende.

Uppsatsen utforskar inte bara gränserna för extrapolering av specifika fysiska lagar – såsom beteendet hos föremål i rörelse när de kolliderar eller när deras väg är blockerad – utan också en modells förmåga att kombinatorisk generalisering – fall där representationerna av två olika fysiska principer slås samman till en enda generativ utdata.

En videosammanfattning av den nya tidningen. Källa: https://x.com/bingyikang/status/1853635009611219019

De tre fysiska lagar som valts ut för studier av forskarna var parabolisk rörelse; enhetlig linjär rörelse; Och perfekt elastisk kollision.

Som man kan se i videon ovan tyder resultaten på att modeller som Sora inte riktigt internaliserar fysiska lagar, utan tenderar att reproducera träningsdata.

Vidare fann författarna att fasetter som färg och form blir så intrasslade vid slutledningstidpunkten att en genererad boll sannolikt skulle förvandlas till en kvadrat, uppenbarligen eftersom en liknande rörelse i ett datasetexempel innehöll en kvadrat och inte en boll (se exempel i videon) inbäddad ovan).

Tidningen, som har särskilt engagerad forskningssektorn på sociala medier, avslutar:

"Vår studie tyder på att skalning ensam är otillräcklig för videogenereringsmodeller för att avslöja grundläggande fysiska lagar, trots dess roll i Soras bredare framgång ...

"...[Fynd] indikerar att skalning ensam inte kan lösa OOD-problemet, även om det förbättrar prestandan i andra scenarier.

"Vår djupgående analys tyder på att generalisering av videomodeller mer bygger på att hänvisa till liknande träningsexempel snarare än att lära sig universella regler. Vi observerade en prioriteringsordning av färg > storlek > hastighet > form i detta "fallsbaserade" beteende.

"[Vår] studie tyder på att naiv skalning är otillräcklig för videogenereringsmodeller för att upptäcka grundläggande fysiska lagar."

Tillfrågad om forskargruppen hade hittat en lösning på frågan, en av tidningens författare kommenterade:

'Tyvärr har vi inte gjort det. Egentligen är detta förmodligen hela AI-gemenskapens uppdrag.'

Metod och data

Forskarna använde en Varierande autokodare (VAE) och dit arkitekturer för att generera videoprover. I denna inställning, den komprimerade latenta representationer producerat av VAE arbete i tandem med DiT:s modellering av förnekande processen.

Videor tränades över Stable Diffusion V1.5-VAE. Schemat lämnades i princip oförändrat, med endast arkitektoniska förbättringar i slutet av processen:

"[Vi behåller] majoriteten av den ursprungliga 2D-faltningen, gruppnormaliseringen och uppmärksamhetsmekanismerna på de rumsliga dimensionerna.

'För att blåsa upp den här strukturen till en rumslig-temporal automatisk kodare, konverterar vi de sista 2D-downsample-blocken i kodaren och de första 2D-upsample-blocken i dekodern till 3D-block, och använder flera extra 1D-lager för att förbättra tidsmodelleringen. '

För att möjliggöra videomodellering tränades den modifierade VAE tillsammans med HQ-bild- och videodata, med 2D Generative Adversarial Network (GAN)-komponenten inbyggd i SD1.5-arkitekturen utökad för 3D.

Bilddataset som användes var Stable Diffusions ursprungliga källa, LAION-Estetik, med filtrering, förutom DataComp. För videodata kurerades en delmängd från Vimeo-90K, Panda-70m och HDVG datauppsättningar.

Data tränades för en miljon steg, med slumpmässig beskärning och slumpmässig horisontell vändning tillämpad som dataförstärkning processer.

Få frispel

Som nämnts ovan, den slumpmässiga horisontella flip-dataförstärkningen process kan vara en skuld vid träning av ett system utformat för att producera autentisk rörelse. Detta beror på att utdata från den tränade modellen kan överväga båda riktningar för ett objekt, och orsaka slumpmässiga vändningar när det försöker förhandla om dessa motstridiga data (se inbäddad video ovan).

Å andra sidan, om man vänder horisontell vändning sänkt, är det mer sannolikt att modellen producerar utdata som följer bara en riktning lärt sig av träningsdata.

Så det finns ingen enkel lösning på problemet, förutom att systemet verkligen assimilerar alla rörelsemöjligheter från både den ursprungliga och vända versionen – en anläggning som barn utvecklar lätt, men som tydligen är mer av en utmaning för AI-modeller .

Tester

För den första uppsättningen experiment formulerade forskarna en 2D-simulator för att producera videor av objektrörelser och kollisioner som överensstämmer med den klassiska mekanikens lagar, som tillhandahöll en hög volym och kontrollerad datauppsättning som uteslöt tvetydigheterna i verkliga videor, för utvärdering av modellerna. De Box2D fysikspelmotor användes för att skapa dessa videor.

De tre grundläggande scenarierna som anges ovan var i fokus för testerna: enhetlig linjär rörelse, perfekt elastiska kollisioner och parabolisk rörelse.

Datauppsättningar av ökande storlek (från 30,000 XNUMX till tre miljoner videor) användes för att träna modeller av olika storlek och komplexitet (DiT-S till DiT-L), med de tre första bildrutorna i varje video som användes för konditionering.

Detaljer om de olika modellerna som tränades i den första uppsättningen experiment. Källa: https://arxiv.org/pdf/2411.02385

Forskarna fann att resultaten inom distribution (ID) skalade bra med ökande mängder data, medan OOD-generationerna inte förbättrades, vilket tyder på brister i generaliseringen.

Resultat för första testomgången.

Författarna noterar:

"Dessa fynd tyder på oförmågan hos skalning att utföra resonemang i OOD-scenarier."

Därefter testade og tränade forskarna system utformade för att uppvisa en skicklighet för kombinatorisk generalisering, där två kontrasterande rörelser kombineras för att (förhoppningsvis) producera en sammanhängande rörelse som är trogen den fysiska lagen bakom var och en av de separata rörelserna.

För denna fas av testerna använde författarna PHYRE simulator, som skapar en 2D-miljö som skildrar flera och olika formade objekt i fritt fall, som kolliderar med varandra i en mängd komplexa interaktioner.

Utvärderingsmått för detta andra test var Fréchet Video Distance (FVD); Strukturellt likhetsindex (SSIM); Högsta signal-till-brus-förhållande (PSNR); Lärde Perceptuella likhetsmått (LPIPS); och en mänsklig studie (betecknad som "onormal" i resultat).

Tre skalor med träningsdatauppsättningar skapades, med 100,000 0.6 videor, 3 miljoner videor och 6-XNUMX miljoner videor. DiT-B- och DiT-XL-modeller användes, på grund av videornas ökade komplexitet, med den första bildrutan som användes för konditionering.

Modellerna tränades för en miljon steg i 256×256 upplösning, med 32 bilder per video.

Resultat för andra testomgången.

Resultatet av detta test tyder på att enbart ökad datavolym är ett otillräckligt tillvägagångssätt:

I uppsatsen anges:

"Dessa resultat tyder på att både modellkapacitet och täckning av kombinationsutrymmet är avgörande för kombinatorisk generalisering. Denna insikt innebär att skalningslagar för videogenerering bör fokusera på att öka kombinationsdiversiteten, snarare än att bara skala upp datavolymen.'

Slutligen genomförde forskarna ytterligare tester för att försöka avgöra om en videogenereringsmodell verkligen kan assimilera fysiska lagar, eller om den helt enkelt memorerar och reproducerar träningsdata vid slutledningstidpunkten.

Här undersökte de begreppet "fallsbaserad" generalisering, där modeller tenderar att efterlikna specifika träningsexempel när de konfronteras med nya situationer, såväl som att undersöka exempel på enhetlig rörelse – specifikt hur rörelseriktningen i träningsdata påverkar den tränade modellens förutsägelser .

Två uppsättningar träningsdata, för enhetlig rörelse och kollision, kurerades, var och en bestående av enhetliga rörliga videor som visar hastigheter mellan 2.5 till 4 enheter, med de tre första bildrutorna som konditionering. Latenta värden som t.ex hastighet utelämnades, och efter träning utfördes tester på både sedda och osynliga scenarier.

Nedan ser vi resultat för testet för generering av enhetlig rörelse:

Resultat för tester för generering av enhetlig rörelse, där variabeln 'hastighet' utelämnas under träning.

Författarna säger:

"[Med] en stor lucka i träningsuppsättningen tenderar modellen att generera videor där hastigheten är antingen hög eller låg för att likna träningsdata när initiala bildrutor visar medelintervallhastigheter."

För kollisionstesterna är mycket fler variabler inblandade, och modellen krävs för att lära sig en tvådimensionell icke-linjär funktion.

Kollision: resultat för den tredje och sista testomgången.

Författarna observerar att förekomsten av "bedrägliga" exempel, såsom omvänd rörelse (dvs en boll som studsar från en yta och vänder sin kurs), kan vilseleda modellen och få den att generera fysiskt felaktiga förutsägelser.

Slutsats

Om en icke-AI-algoritm (dvs. en "bakad", procedurmetod) innehåller matematiska regler för beteendet hos fysiska fenomen som vätskor, eller föremål under gravitation eller under tryck, finns en uppsättning oföränderliga konstanter tillgängliga för exakt återgivning.

Den nya artikelns resultat indikerar dock att inget sådant likvärdigt samband eller inneboende förståelse av klassiska fysiska lagar utvecklas under träningen av generativa modeller, och att ökande mängder data inte löser problemet, utan snarare döljer det – eftersom ett större antal träningsvideor finns tillgängliga för systemet att imitera vid slutledningstidpunkten.

* Min konvertering av författarnas inline-citat till hyperlänkar.

Första gången publicerad tisdagen den 26 november 2024