Kan AI-världsmodeller verkligen förstå fysiska lagar?

Den stora förhoppningen för vision-språk AI-modeller är att de en dag ska bli kapabla till större autonomi och flexibilitet, och inkorporera principer för fysiska lagar på samma sätt som vi utvecklar en medfödd förståelse för dessa principer genom tidig erfarenhet.

Till exempel tenderar barns bollspel att utveckla en förståelse för rörelsekinetik, och av effekten av vikt och yttekstur på bana. Likaså kommer interaktioner med vanliga scenarier som bad, spillda drycker, havet, simbassänger och andra olika vätskeformer att ge oss en mångsidig och skalbar förståelse för hur vätskor beter sig under tyngdkraft.

Även postulaten för mindre vanliga fenomen – som förbränning, explosioner och arkitektonisk viktfördelning under tryck – absorberas omedvetet genom exponering för TV-program och filmer, eller sociala medie-videor.

När vi studerar principerna bakom dessa system på en akademisk nivå, är vi i princip bara “retrofitting” våra intuitiva (men oinformerade) mentala modeller av dem.

Mästare på en

För närvarande är de flesta AI-modeller, i kontrast, mer “specialiserade”, och många av dem är antingen finjusterade eller tränade från scratch på bild- eller videodataset som är ganska specifika för vissa användningsfall, snarare än utformade för att utveckla en sådan allmän förståelse för styrande lagar.

Andra kan presentera utseendet av en förståelse för fysiska lagar; men de kan faktiskt bara reproducera prover från sin träningsdata, snarare än att verkligen förstå grunderna i områden som rörelsefysik på ett sätt som kan producera verkligen nya (och vetenskapligt trovärdiga) beskrivningar från användarnas prompt.

I denna känsliga ögonblick i produktifieringen och kommersialiseringen av generativa AI-system, är det upp till oss, och till investerarnas granskning, att skilja på de konstruerade marknadsföringsinsatserna för nya AI-modeller och verkligheten i deras begränsningar.

En av novembers mest intressanta artiklar, ledd av Bytedance Research, tog itu med detta problem, och undersökte gapet mellan de uppenbara och verkliga förmågorna hos “all-purpose”-generativa modeller som Sora.

Arbetet drog slutsatsen att i den nuvarande tillståndet för konsten, är den genererade utmatningen från modeller av denna typ mer benägna att imitera exempel från deras träningsdata än att verkligen demonstrera en fullständig förståelse för de underliggande fysiska begränsningarna som opererar i den verkliga världen.

Artikeln säger*:

‘[Dessa] modeller kan lätt bli fördomade av “bedrägliga” exempel från träningsuppsättningen, vilket leder dem till att generalisera på ett “fallbaserat” sätt under vissa förhållanden. Detta fenomen, som också iakttagits i stora språkmodeller, beskriver en modells tendens att hänvisa till liknande träningsfall när den löser nya uppgifter.

‘Till exempel, överväg en videomodell som tränats på data för en höghastighetsboll som rör sig i enhetlig linjär rörelse. Om dataförstärkning utförs genom att vända videorna horisontellt, vilket introducerar omvänd riktning, kan modellen generera en scen där en låghastighetsboll vänder riktning efter de första ramarna, även om detta beteende inte är fysiskt korrekt.’

Vi ska ta en närmare titt på artikeln – med titeln Utvardering av världsmodeller med LLM för beslutsfattande – strax. Men först ska vi titta på bakgrunden till dessa uppenbara begränsningar.

Minnet av saker som har passerat

Utan generalisering, är en tränad AI-modell lite mer än en dyr uppslagsbok med referenser till delar av dess träningsdata: hitta den lämpliga söktermen, och du kan frammana ett exempel på den datan.

I det scenariot fungerar modellen i princip som en “neural sökmotor”, eftersom den inte kan producera abstrakta eller “kreativa” tolkningar av den önskade utmatningen, utan istället replikerar någon liten variation av data som den såg under träningsprocessen.

Detta kallas memorisering – ett kontroversiellt problem som uppstår eftersom verkligen flexibla och tolkbara AI-modeller tenderar att sakna detaljer, medan verkligen detaljerade modeller tenderar att sakna originalitet och flexibilitet.

Kapaciteten för modeller som påverkas av memorisering att reproducera träningsdata är ett potentiellt juridiskt hinder, i fall där modellens skapare inte hade obegränsade rättigheter att använda den datan; och där fördelarna med den datan kan demonstreras genom ett växande antal extraktionsmetoder.

På grund av memorisering kan spår av obehörig data kvarstå, kedjade, genom flera träningsystem, som en outplånlig och oavsiktlig vattenstämpel – även i projekt där maskinlärningspraktikern har tagit hand om att se till att “säker” data används.

Världsmodeller

Det centrala användningsproblemet med memorisering är att det tenderar att förmedla illusionen av intelligens, eller antyda att AI-modellen har generaliserat grundläggande lagar eller domäner, där i själva verket är det den höga volymen av memoriserad data som förser denna illusion (dvs. modellen har så många potentiella dataexempel att välja mellan att det är svårt för en människa att avgöra om den regurgiterar inlärkt innehåll eller om den har en verkligen abstraherad förståelse för koncepten som är inblandade i generationen).

Detta problem har konsekvenser för det växande intresset för världsmodeller – perspektivet på högt diversifierade och dyrt tränade AI-system som inkorporerar flera kända lagar, och som är rikt rikligt utforskbara.

Världsmodeller är av särskilt intresse i den generativa bild- och videorummet. År 2023 inledde RunwayML ett forskningsinitiativ för utvecklingen och genomförbarheten av sådana modeller; DeepMind nyligen anställde en av skaparna av den berömda Sora-generativa videon för att arbeta med en modell av detta slag; och startups såsom Higgsfield investerar betydligt i världsmodeller för bild- och videosyntes.

Hårda kombinationer

En av de nya utvecklingarnas löften i generativa video-AI-system är möjligheten att de kan lära sig grundläggande fysiska lagar, såsom rörelse, mänsklig kinematik (såsom gångkaraktärer), fluidodynamik, och andra kända fysiska fenomen som är, åtminstone, visuellt bekanta för människor.

Om generativ AI kunde uppnå denna milstolpe, kunde den bli kapabel till att producera hyperrealistiska visuella effekter som avbildar explosioner, översvämningar och trovärdiga kollisionshändelser över flera typer av objekt.

Om, å andra sidan, AI-systemet bara har tränats på tusentals (eller hundratals tusentals) videor som avbildar sådana händelser, kan det vara kapabelt till att reproducera träningsdatan ganska övertygande när det tränades på en liknande datapunkt till användarens målfråga; men misslyckas om frågan kombinerar för många koncept som inte är representerade i datan.

Detta betyder att ett nytt generativt system kan vara kapabelt till att generera virala videoinnehåll som, medan det är imponerande, kan skapa en falsk bild av systemets förmågor och djup av förståelse, eftersom uppgiften det representerar inte är en verklig utmaning för systemet.

Till exempel kan en relativt vanlig och väl spridd händelse, som ‘en byggnad rivs’, vara närvarande i flera videor i en dataset som används för att träna en modell som förväntas ha någon förståelse för fysik. Därför kan modellen förmodligen generalisera detta koncept väl, och till och med producera verkligen nya utmatningar inom de parametrar som lärs från rikliga videor.

Detta är ett in-distribution exempel, där dataset innehåller många användbara exempel för AI-systemet att lära från.

Men om man skulle begära ett mer bisarrt eller tvivelaktigt exempel, som ‘Eiffeltornet sprängs av utomjordingar’, skulle modellen behöva kombinera olika domäner som ‘metalliska egenskaper’, ‘egenskaper hos explosioner’, ‘tyngdkraft’, ‘vindmotstånd’ – och ‘utomjordingars rymdfarkoster’.

Detta är ett out-of-distribution (OOD) exempel, som kombinerar så många sammanflätade koncept att systemet sannolikt antingen misslyckas med att generera en övertygande exempel, eller kommer att defaulta till det närmaste semantiska exemplet som det tränades på – även om det exemplet inte följer användarens prompt.

Förutom att modellens källdataset innehöll Hollywood-stil CGI-baserad VFX som avbildar samma eller ett liknande händelse, skulle en sådan avbildning absolut kräva att den uppnår en väl generaliserad och flexibel förståelse av fysiska lagar.

Fysiska begränsningar

Den nya artikeln – ett samarbete mellan Bytedance, Tsinghua University och Technion – föreslår inte bara att modeller som Sora inte verkligen internaliserar deterministiska fysiska lagar på detta sätt, utan också att skala upp datan (en vanlig metod under de senaste 18 månaderna) tycks, i de flesta fall, producera ingen verklig förbättring i detta avseende.

Artikeln undersöker inte bara begränsningarna för extrapolering av specifika fysiska lagar – som beteendet hos objekt i rörelse när de kolliderar, eller när deras bana är blockerad – utan också en modells förmåga till kombinatorisk generalisering – exempel där representationerna av två olika fysiska principer kombineras till en enda generativ utmatning.

En video sammanfattning av den nya artikeln. Källa: https://x.com/bingyikang/status/1853635009611219019

De tre fysiska lagarna som valdes för studien av forskarna var parabolisk rörelse; enhetlig linjär rörelse; och perfekt elastisk kollision.

Som kan ses i videon ovan, visar resultaten att modeller som Sora inte verkligen internaliserar fysiska lagar, utan tenderar att reproducera träningsdata.

Dessutom fann författarna att aspekter som färg och form blir så sammanflätade vid inferenstid att en genererad boll sannolikt skulle förvandlas till en kvadrat, tydligen för att en liknande rörelse i ett dataset exempel visade en kvadrat och inte en boll (se exempel i videon ovan).

Artikeln, som har engagerat forskningssektorn på sociala medier, drar slutsatsen:

‘Vår studie föreslår att skala ensam är otillräcklig för videogenereringsmodeller för att upptäcka grundläggande fysiska lagar, trots dess roll i Soras breda framgång…

‘…[Resultaten] indikerar att skala ensam inte kan hantera OOD-problemet, även om det förbättrar prestandan i andra scenarier.

‘Vår ingående analys visar att videomodellgeneralisering förlitar sig mer på att hänvisa till liknande träningsexempel än på att lära sig universella regler. Vi observerade en prioritetsordning för färg > storlek > hastighet > form i detta “fallbaserade” beteende.

‘[Vår] studie föreslår att naiv skala är otillräcklig för videogenereringsmodeller för att upptäcka grundläggande fysiska lagar.’

När forskargruppen tillfrågades om de hade funnit en lösning på problemet, sa en av artikelförfattarna att:

‘Tyvärr har vi inte. Faktum är att detta är förmodligen hela AI-samfundets uppdrag.’

Metod och data

Forskarna använde en Variational Autoencoder (VAE) och DiT arkitekturer för att generera videoprover. I denna inställning fungerar de komprimerade latenta representationerna som produceras av VAE i tandem med DiT:s modellering av brusreduceringsprocessen.

Videor tränades över Stable Diffusion V1.5-VAE. Schemat lämnades i princip oförändrat, med endast slutliga arkitektoniska förbättringar:

‘[Vi behåller] den stora majoriteten av den ursprungliga 2D-konvolutionen, gruppnormaliseringen och uppmärksamhetsmekanismerna på de rumsliga dimensionerna.

‘För att blåsa upp denna struktur till en rumslig-tidslig autoencoder, konverterar vi de sista få 2D-nerdelenheter av encoder och de första få 2D-uperingsblocken av decoder till 3D-enheter, och använder flera extra 1D-lager för att förbättra den temporala modelleringen.’

För att möjliggöra videomodellering, tränades den modifierade VAE tillsammans med HQ-bild- och videodata, med den 2D-generativa adversativa nätverkskomponenten (GAN) som är inbyggd i SD1.5-arkitekturen utökad för 3D.

Bild-datasetet som användes var Stable Diffusions ursprungliga källa, LAION-Aesthetics, med filtrering, samt DataComp. För videodata, valdes en undergrupp från Vimeo-90K, Panda-70m och HDVG dataset.

Datat tränades i en miljon steg, med slumpmässig storleksändring och slumpmässig horisontell vändning som dataförstärkningsprocesser.

Flippande ut

Som nämnts ovan, kan den slumpmässiga horisontella vändningsprocessen för dataförstärkning vara en belastning vid tränning av ett system som är utformat för att producera äkta rörelse. Detta beror på att utmatningen från den tränade modellen kan överväga båda riktningarna för ett objekt, och orsaka slumpmässiga omvändningar när den försöker förhandla detta motsägelsefulla data (se den inbäddade videon ovan).

Å andra sidan, om man stänger av horisontell vändning av, är modellen då mer benägen att producera utmatning som håller sig till bara en riktning som lärs från träningsdatat.

Så det finns ingen enkel lösning på problemet, förutom att systemet verkligen assimilerar hela möjligheterna för rörelse från både den ursprungliga och den vända versionen – en funktion som barn utvecklar lätt, men som är en större utmaning, tydligen, för AI-modeller.

Tester

För den första uppsättningen experiment, formulerade forskarna en 2D-simulator för att producera videor av objektrörelse och kollisioner som överensstämmer med klassisk mekanik, som tillhandahöll en stor och kontrollerad dataset som uteslöt de tvetydigheter som finns i verkliga videor, för utvärdering av modellerna. Box2D fysikspelmotorn användes för att skapa dessa videor.

De tre grundläggande scenarierna som nämndes ovan var fokus för testerna: enhetlig linjär rörelse, perfekt elastisk kollision och parabolisk rörelse.

Dataset av ökande storlek (från 30 000 till tre miljoner videor) användes för att träna modeller av olika storlek och komplexitet (DiT-S till DiT-L), med de första tre ramarna i varje video som användes för villkor.

Detaljer om de varierande modellerna som tränades i den första uppsättningen experiment. Källa: https://arxiv.org/pdf/2411.02385

Forskarna fann att in-distribution (ID) resultaten skalade väl med ökande mängder data, medan OOD-genereringar inte förbättrades, vilket indikerar brister i generalisering.

Resultat för den första omgången tester.

Författarna noterar:

‘Dessa resultat föreslår oförmågan att skala för att utföra resonemang i OOD-scenarier.’

Sedan testade och tränade forskarna system som var utformade för att visa en förmåga till kombinatorisk generalisering, där två motsatta rörelser kombineras för att (hoppas) producera en sammanhängande rörelse som är trogen den fysiska lagen bakom var och en av de separata rörelserna.

För denna fas av testerna, använde författarna PHYRE simulatoren, som skapade en 2D-miljö som avbildar flera och olika former av objekt i fritt fall, som kolliderar med varandra i en mängd olika komplexa interaktioner.

Utvärderingsmetriker för denna andra test var Fréchet Video Distance (FVD); Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); och en mänsklig studie (betecknad som “abnormal” i resultaten).

Tre skalor av träningsdataset skapades, vid 100 000 videor, 0,6 miljoner videor och 3-6 miljoner videor. DiT-B och DiT-XL modeller användes, på grund av den ökade komplexiteten i videorna, med den första ramen som användes för villkor.

Modellerna tränades i en miljon steg vid 256×256 upplösning, med 32 ramar per video.

Resultat för den andra omgången tester.

Resultatet av denna test tyder på att enbart ökning av datavolymen är en otillräcklig metod:

Artikeln säger:

‘Dessa resultat föreslår att både modellkapacitet och täckning av kombinationsutrymmet är avgörande för kombinatorisk generalisering. Denna insikt implicerar att skallagar för videogenerering bör fokusera på att öka kombinationsdiversitet, snarare än att enbart skala upp datavolymen.’

Slutligen, genomförde forskarna ytterligare tester för att försöka bestämma om en videogenereringsmodell kan verkligen assimilera fysiska lagar, eller om den bara memoriserar och reproducerar träningsdata vid inferenstid.

Här undersökte de konceptet “fallbaserad” generalisering, där modeller tenderar att imitera specifika träningsexempel när de möter nya situationer, samt undersökte exempel på enhetlig rörelse – specifikt, hur riktningen för rörelse i träningsdata påverkar den tränade modellens förutsägelser.

Två uppsättningar träningsdata, för enhetlig rörelse och kollision, valdes, var och en bestående av enhetlig rörelse videor som visar hastigheter mellan 2,5 till 4 enheter, med de första tre ramarna som användes som villkor. Latenta värden som hastighet utelämnades, och efter träningsprocessen, genomfördes testning på både sedda och osedda scenarier.

Nedan ser vi resultat för testet för enhetlig rörelse generation:

Resultat för tester för enhetlig rörelse generation, där ‘hastighets’-variabeln utelämnas under träningsprocessen.

Författarna påstår:

‘[Med] en stor lucka i träningsuppsättningen, tenderar modellen att generera videor där hastigheten är antingen hög eller låg för att likna träningsdata när de första ramarna visar medelhastigheter.’

För kollisions-testerna, är många fler variabler inblandade, och modellen måste lära sig en tvådimensionell icke-linjär funktion.

Kollision: resultat för den tredje och sista omgången tester.

Författarna observerar att närvaron av “bedrägliga” exempel, som omvänd rörelse (dvs. en boll som studsar av en yta och vänder sin bana), kan vilseleda modellen och orsaka att den genererar fysiskt inkorrekta förutsägelser.

Slutsats

Om en icke-AI-algoritm (dvs. en “bakad”, procedurell metod) innehåller matematiska regler för beteendet hos fysiska fenomen som vätskor, eller objekt under tyngdkraft, eller under tryck, finns det en uppsättning oföränderliga konstanter tillgängliga för exakt rendering.

Men den nya artikeln visar att ingen motsvarande relation eller inbyggd förståelse för klassiska fysiska lagar utvecklas under träningsprocessen för generativa modeller, och att ökande mängder data inte löser problemet, utan snarare döljer det – eftersom en större mängd träningsvideor är tillgängliga för systemet att imitera vid inferenstid.

* Min konvertering av författarnas inline-citat till hyperlänkar.

Publicerad första gången tisdag, 26 november 2024