Kan AI-Verdensmodeller Virkelig Forstå Fysiske Love?

Den store forhåbning for vision-sprog AI-modeller er, at de en dag vil blive i stand til at udvise større autonomi og fleksibilitet, og inkorporere principper for fysiske love på samme måde, som vi udvikler en indre forståelse af disse principper gennem tidlige erfaringer.

For eksempel tenderer børns boldspil til at udvikle en forståelse af bevægelseskinetik, og af effekten af vægt og overfladetekstur på trajektorie. Ligeså vil interaktioner med almindelige scenarier som bade, spildt drikkevarer, havet, svømmepoller og andre forskellige væskelegemer vil indgive os en fleksibel og skalerbar forståelse af, hvordan væske opfører sig under tyngdekraft.

Even de postulater for mindre almindelige fænomener – såsom forbrænding, eksplosioner og arkitektonisk vægtfordeling under tryk – bliver ubevidst absorberet gennem eksponering af tv-programmer og film, eller sociale medievideoer.

Inden vi studerer principperne bag disse systemer på et akademisk niveau, har vi allerede ‘retrofitet’ vores intuitive (men uinformerede) mentale modeller af dem.

Mestre af Én

I øjeblikket er de fleste AI-modeller, i modsætning hertil, mere ‘specialiserede’, og mange af dem er enten finjusteret eller trænet fra scratch på billed- eller video datasets, der er ret specifikke for bestemte brugsområder, snarere end designede til at udvikle en sådan generel forståelse af styrende love.

Andre kan præsentere illusionen af en forståelse af fysiske love; men de kan faktisk blot reproducere eksempler fra deres træningsdata, snarere end virkelig forstå grundlæggende områder såsom bevægelsesfysik på en måde, der kan producere virkelig nyt (og videnskabeligt plausibelt) udtryk fra brugernes prompts.

På dette ømfindtlige tidspunkt i produktiviseringen og kommercieliseringen af generative AI-systemer, er det op til os, og til investorenes skærpede opmærksomhed, at skelne mellem den tilrettelagte marketing af nye AI-modeller og virkeligheden af deres begrænsninger.

En af novembers mest interessante artikler, ledet af Bytedance Research, tog fat i dette problem, og undersøgte gapet mellem den åbenlyse og reelle evner af ‘alt-formål’ generative modeller såsom Sora.

Arbejdet konkluderede, at på nuværendes tilstand af kunsten, er det genererede output fra modeller af denne type mere sandsynligt at efterligne eksempler fra deres træningsdata end virkelig at demonstrere en fuld forståelse af de underliggende fysiske begrænsninger, der opererer i den virkelige verden.

Denne artikel fastslår*:

‘[Disse] modeller kan let blive forvrængede af “bedrageriske” eksempler fra træningsmængden, hvilket får dem til at generalisere på en “tilfældesbaseret” måde under visse betingelser. Dette fænomen, der også er observeret i store sprogmodeller, beskriver en models tendens til at henviser til lignende træningscases, når de løser nye opgaver.

‘For eksempel, overvej en video-model, der er trænet på data om en højhastighedsbold, der bevæger sig i uniform lineær bevægelse. Hvis dataforstærkning udføres ved at vende videoerne horisontalt, og dermed introducere omvendt retning, kan modellen generere en scene, hvor en lavhastighedsbold omvender retning efter de første rammer, selvom dette adfærd ikke er fysisk korrekt.’

Vi vil se nærmere på artiklen – med titlen Evaluering af Verdensmodeller med LLM til Beslutningstagning – om lidt. Men først skal vi se på baggrunden for disse åbenlyse begrænsninger.

Erindring om Tingene fra Fortiden

Uden generalisering, er en trænet AI-model ikke meget mere end en dyr spreadsheet med reference til dele af dens træningsdata: Find det rette søgeord, og du kan fremkalde et eksempel på den data.

I dette scenarie fungerer modellen effektivt som en ‘neural søgemaskine’, da den ikke kan producere abstrakte eller ‘kreative’ fortolkninger af den ønskede output, men i stedet reproducerer en mindre variation af data, som den så under træningsprocessen.

Dette kaldes memorering – et kontroversielt problem, der opstår, fordi virkelig fleksible og fortolkende AI-modeller tenderer til at mangle detaljer, mens virkelig detaljerede modeller tenderer til at mangle originalitet og fleksibilitet.

Kapaciteten for modeller, der er påvirket af memorering, til at reproducerer træningsdata, er et potentiel juridisk problem, i tilfælde, hvor modellens skabere ikke havde ubesværet ret til at bruge den data; og hvor fordelene fra den data kan demonstreres gennem en voksende mængde ekstraktionsmetoder.

Fordi memorering kan føre til, at spor af ikke-authoriseret data kan bestå, sammenkædet, gennem multiple træningssystemer, som en uønsket og ufrivillig vandmærke – selv i projekter, hvor maskinlæringspraktikeren har taget sig af at sikre, at ‘sikre’ data bliver brugt.

Verdensmodeller

Men det centrale brugsproblem med memorering er, at det tenderer til at konveyere illusionen af intelligens, eller antyde, at AI-modellen har generaliseret fundamentale love eller domæner, hvorimod det i virkeligheden er den høje mængde af memoriseret data, der frembringer denne illusion (dvs. modellen har så mange potentielle dataeksempler at vælge imellem, at det er svært for et menneske at afgøre, om det er en reproduktion af lært indhold eller om det har en virkelig abstraheret forståelse af koncepterne, der er involveret i generationen).

Dette problem har ramificeringer for den voksende interesse i verdensmodeller – udsigten til højst diverse og dyrt trænet AI-systemer, der inkorporerer multiple kendte love, og er rigt udviklede.

Verdensmodeller er af særlig interesse i generative billed- og videoområdet. I 2023 startede RunwayML en forskningsinitiativ om udviklingen og gennemførligheden af sådanne modeller; DeepMind har nyligt ansat en af ophavsmændene bag den anerkendte Sora-generative video til at arbejde på en model af denne type; og startups som Higgsfield investerer betydeligt i verdensmodeller til billed- og videosyntese.

Hard Kombinationer

En af løfterne om nye udviklinger i generative video-AI-systemer er udsigten til, at de kan lære grundlæggende fysiske love, såsom bevægelse, menneskelig kinematik (såsom gangkarakteristika), fluidodynamik, og andre kendte fysiske fænomener, der er, i hvert fald, visuelt kendte for mennesker.

Hvis generative AI kan opnå dette milepæl, kan det blive i stand til at producere hyperrealistiske visuelle effekter, der afbilder eksplosioner, oversvømmelser og plausibelt kollisionsbegivenheder på tværs af multiple objektyper.

Hvis, på den anden side, AI-systemet blot er blevet trænet på tusinder (eller hundredtusinder) af videoer, der afbilder sådanne begivenheder, kan det være i stand til at reproducerer træningsdataen ret overbevisende, når det er trænet på et tilsvarende datapunkt til brugerens mål; dog kan det fejle, hvis forespørgslen kombinerer for mange koncepter, der ikke er repræsenteret i data.

Yderligere vil disse begrænsninger ikke være umiddelbart åbenlyse, før man udfordrer systemet med udfordrende kombinationer af denne type.

Dette betyder, at et nyt generativt system kan være i stand til at generere virale videoindhold, der, selvom det er imponerende, kan skabe en falsk indtryk af systemets evner og dybde af forståelse, fordi opgaven det repræsenterer ikke er en reel udfordring for systemet.

For eksempel kan en relativt almindelig og velkendt begivenhed, såsom ‘en bygning bliver revet ned’, være til stede i multiple videoer i en dataset, der bruges til at træne en model, der skal have en vis forståelse af fysik. Derfor kan modellen formodentlig generalisere dette koncept godt og endda producere virkelig nyt output inden for de parametre, der er lært fra talrige videoer.

Dette er et ind-distribution eksempel, hvor datasettet indeholder mange nyttige eksempler for AI-systemet at lære fra.

Men hvis man beder om et mere bizart eller tvivlsomt eksempel, såsom ‘Eiffeltårnet bliver sprængt i luften af rumvæsener’, skal modellen kombinere diverse domæner såsom ‘metaliske egenskaber’, ‘eksplosionskarakteristika’, ‘tyngdekraft’, ‘vindmodstand’ – og ‘rumvæsensfartøjer’.

Dette er et ud-distribution (OOD) eksempel, der kombinerer så mange sammenflettede koncepter, at systemet sandsynligvis enten vil fejle i at generere et overbevisende eksempel eller vil falde tilbage til det nærmeste semantiske eksempel, det blev trænet på – selv hvis det eksempel ikke overholder brugerens prompt.

Undtagen at modellens kilde-dataset indeholdt Hollywood-stil CGI-baseret VFX, der afbildede det samme eller et lignende begivenhed, ville en sådan afbildning absolut kræve, at det opnår en velgeneraliseret og fleksibel forståelse af fysiske love.

Fysiske Begrænsninger

Den nye artikel – en samarbejdsprojekt mellem Bytedance, Tsinghua Universitet og Technion – antyder ikke kun, at modeller som Sora ikke virkelig internaliserer deterministiske fysiske love på denne måde, men også, at opskalering af data (en almindelig tilgang de sidste 18 måneder) synes at producere ingen reel forbedring i denne henseende.

Artiklen undersøger ikke kun begrænsningerne for ekstrapolation af bestemte fysiske love – såsom opførslen af objekter i bevægelse, når de kolliderer, eller når deres vej er blokeret – men også en models evne til kombinatorisk generalisering – eksempler, hvor repræsentationerne af to forskellige fysiske principper kombineres til en enkelt generativ output.

En videoresume af den nye artikel. Source: https://x.com/bingyikang/status/1853635009611219019

De tre fysiske love, der blev valgt til studie af forskerne, var parabolisk bevægelse; uniform lineær bevægelse; og perfekt elastisk kollision.

Som kan ses i videoen ovenfor, viser resultaterne, at modeller som Sora ikke virkelig internaliserer fysiske love, men tenderer til at reproducerer træningsdata.

Yderligere fandt forfatterne, at aspekter såsom farve og form bliver så sammenflettede ved slutningen af træningen, at en genereret bold sandsynligvis vil blive til en kvadrat, åbenbart fordi en lignende bevægelse i et dataseteksempel havde en kvadrat og ikke en bold (se eksempel i video ovenfor).

Artiklen, der har notablet engageret forskningssektoren på sociale medier, konkluderer:

‘Vores studie antyder, at opskalering alene er utilstrækkeligt for video-genereringsmodeller til at afsløre grundlæggende fysiske love, på trods af dens rol i Soras bredere succes…

‘…[Resultaterne] antyder, at opskalering alene ikke kan løse OOD-problemet, selvom det forbedrer ydelsen i andre scenarier.

‘Vores dybdegående analyse antyder, at video-modellens generalisering afhænger mere af at referere til lignende trænings eksempler end læring af universelle regler. Vi observerede en prioriteringsrækkefølge af farve > størrelse > hastighed > form i denne “tilfældesbaserede” adfærd.

‘[Vores] studie antyder, at naiv opskalering er utilstrækkeligt for video-genereringsmodeller til at opdage grundlæggende fysiske love.’

Da forskningsteamet blev spurgt, om de havde fundet en løsning på problemet, kommenterede en af artiklens forfattere :

‘Desværre har vi ikke. Faktisk er dette sandsynligvis hele AI-fællesskabets mission.’

Metode og Data

Forskerne brugte en Variational Autoencoder (VAE) og DiT arkitekturer til at generere videoeksempler. I denne opsætning arbejder de komprimerede latente repræsentationer, der produceres af VAE, sammen med DiTs modellering af denøjningsprocessen.

Videoerne blev trænet over Stable Diffusion V1.5-VAE. Skemaet blev ladet stort set uændret, med kun end-of-process arkitektoniske forbedringer:

‘[Vi beholder] det meste af den oprindelige 2D-konvolution, gruppe-normalisering og opmærksomhedsmekanismer på de rumlige dimensioner.

‘For at.inflate denne struktur til en rum-tids auto-encoder, konverterer vi de sidste få 2D-downsample-blokke af encoderen og de første få 2D-upsample-blokke af decoderen til 3D, og anvender flere ekstra 1D-lag til at forbedre den tidsmæssige modellering.’

For at aktivere video-modellering blev den modificerede VAE trænet sammen med HQ-billeder og video-data, med den 2D Generative Adversarial Network (GAN) komponent, der er naturlig for SD1.5-arkitekturen, forstærket til 3D.

Det anvendte billed-dataset var Stable Diffusions oprindelige kilde, LAION-Aesthetics, med filtrering, samt DataComp. For video-data blev en undermængde kurateret fra Vimeo-90K, Panda-70m og HDVG datasets.

Dataene blev trænet i en million skridt, med tilfældigt resized crop og tilfældigt horisontal flip anvendt som dataforstærkning processer.

Flipping Out

Som nævnt ovenfor kan den tilfældige horisontale flip dataforstærknings process være en begrænsning i træning af et system, der skal producere autentisk bevægelse. Dette skyldes, at output fra det trænede model kan tage både begge retninger af et objekt i betragtning og forårsage tilfældige omvendelser, mens det forsøger at håndtere denne modsætningsfulde data (se indlejret video ovenfor).

På den anden side, hvis man slår horisontal flip fra, er modellen mere sandsynligt at producere output, der kun overholder én retning lært fra træningsdataen.

Så der er ingen let løsning på problemet, undtagen at systemet virkelig assimilerer hele mulighedernes spektrum af bevægelse fra både den native og flippede version – en facilitet, der udvikles let af børn, men som er mere af en udfordring, åbenbart, for AI-modeller.

Tests

For den første række eksperimenter formulerede forskerne en 2D-simulator til at producere videoer af objektsbevægelse og kollisioner, der overensstemmer med klassisk mekaniks love, hvilket gav en stor og kontrolleret dataset, der udelukkede usikkerhederne i virkelige videoer, til evaluering af modellerne. Box2D fysikspil-motoren blev brugt til at skabe disse videoer.

De tre grundlæggende scenarier, der er nævnt ovenfor, var fokus for testene: uniform lineær bevægelse, perfekt elastisk kollision og parabolisk bevægelse.

Datasets af stigende størrelse (varierende fra 30.000 til tre millioner videoer) blev brugt til at træne modeller af forskellig størrelse og kompleksitet (DiT-S til DiT-L), med de første tre rammer af hver video brugt til betingelse.

Detaljer om de forskellige modeller, der blev trænet i den første række eksperimenter. Source: https://arxiv.org/pdf/2411.02385

Forskerne fandt, at de ind-distribution (ID) resultater skalerede godt med øgende mængder af data, mens de OOD-genereringer ikke forbedredes, hvilket antyder mangler i generalisering.

Resultater for den første række tests.

Forfatterne bemærker:

‘Disse resultater antyder, at opskalering ikke kan udføre resonnering i OOD-scenarier.’

Herefter testede og trænede forskerne systemer, der var designet til at vise en dygtighed i kombinatorisk generalisering, hvor to modsatrettede bevægelser kombineres for at (håbede) producere en samlet bevægelse, der er tro mod den fysiske lov bag hver af de separate bevægelser.

Til denne fase af testene brugte forfatterne PHYRE simulator, der skaber en 2D-miljø, der afbilder multiple og forskelligt formede objekter i frit fald, der kolliderer med hinanden i en række komplekse interaktioner.

Evaluationsmetrikker for denne anden test var Fréchet Video Distance (FVD); Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); og en menneskelig studie (bemærket som ‘abnormal’ i resultater).

Tre skalaer af træningsdatasets blev skabt, på 100.000 videoer, 0,6 millioner videoer og 3-6 millioner videoer. DiT-B og DiT-XL modeller blev brugt, på grund af den øgede kompleksitet af videoerne, med den første ramme brugt til betingelse.

Modellerne blev trænet i en million skridt ved 256×256 opløsning, med 32 rammer per video.

Resultater for den anden række tests.

Resultatet af denne test antyder, at blot at øge datavolumen er en utilstrækkelig tilgang:

Artiklen fastslår:

‘Disse resultater antyder, at både modelkapacitet og dækning af kombinationsrummet er afgørende for kombinatorisk generalisering. Denne indsigt antyder, at opskaleringsslove for video-generering skal fokusere på at øge kombinationsdiversitet, snarere end blot at øge datavolumen.’

Til sidst gennemførte forskerne yderligere tests for at forsøge at bestemme, om en video-genereringsmodel kan virkelig assimilere fysiske love, eller om den blot memoriserer og reproducerer træningsdata ved slutningen af træningen.

Her undersøgte de konceptet om ’tilfældesbaseret’ generalisering, hvor modeller tenderer til at efterligne bestemte trænings eksempler, når de konfronteres med nye situationer, samt undersøgte eksempler på uniform bevægelse – specifikt, hvordan retningen af bevægelse i træningsdataen påvirker den trænede models forudsigelser.

To sæt træningsdata, for uniform bevægelse og kollision, blev kurateret, hver bestående af uniform bevægelsesvideoer, der afbildede hastigheder mellem 2,5 til 4 enheder, med de første tre rammer brugt til betingelse. Latente værdier såsom hastighed blev udeladt, og efter træning blev testen udført på både sete og usete scenarier.

Herunder ser vi resultaterne for testen for uniform bevægelsesgenerering:

Resultater for tests for uniform bevægelsesgenerering, hvor ‘hastighed’ variablen er udeladt under træning.

Forfatterne bemærker:

‘[Med] et stort gap i træningsmængden, tenderer modellen til at generere videoer, hvor hastigheden er enten høj eller lav for at ligne træningsdata, når de første rammer viser middelhastigheder.’

For kollisions-testerne er langt flere variabler involveret, og modellen skal lære en to-dimensionel ikke-lineær funktion.

Kollision: resultater for den tredje og sidste række tests.

Forfatterne observerer, at tilstedeværelsen af ‘deceptive’ eksempler, såsom omvendt bevægelse (dvs. en bold, der bouncer af en overflade og omvender retning), kan mislede modellen og få den til at generere fysisk forkerte forudsigelser.

Konklusion

Hvis en ikke-AI-algoritme (dvs. en ‘bagt’, procedureret metode) indeholder matematiske regler for opførslen af fysiske fænomener såsom væsker, eller objekter under tyngdekraft, eller under tryk, er der en række uforanderlige konstanter til rådighed for nøjagtig rendering.

Men den nye artiklens resultater antyder, at ingen tilsvarende relation eller indre forståelse af klassiske fysiske love udvikles under træningen af generative modeller, og at øgende mængder af data ikke løser problemet, men snarere skjuler det – fordi en større mængde træningsvideoer er til rådighed for systemet til at imiterer ved slutningen af træningen.

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Først udgivet tirsdag, 26. november 2024