Kan AI-verdensmodeller virkelig forstå fysiske lover?

Den store håpet for visuelt-språklig AI-modeller er at de en dag skal bli i stand til å bli mer autonome og fleksible, og inkorporere prinsipper for fysiske lover på samme måte som vi utvikler en innfødt forståelse av disse prinsippene gjennom tidlig erfaring.

For eksempel, barns ballspill tenderer til å utvikle en forståelse av bevegelseskinetikk, og av effekten av vekt og overflatekvalitet på banen. Liksom interaksjoner med vanlige scenarier som badekar, spilt drikke, havet, svømmebasseng og andre forskjellige væsker vil gi oss en fleksibel og skalerbar forståelse av måten væsker oppfører seg under gravitasjon.

Even postulatene til mindre vanlige fenomener – som forbrenning, eksplosjoner og arkitektonisk vektfordeling under trykk – blir ubevisst absorbert gjennom eksponering til TV-programmer og filmer, eller sosiale medievideoer.

Ved den tid vi studerer prinsippene bak disse systemene, på et akademisk nivå, er vi bare ‘oppgraderer’ vår intuitive (men uinformert) mentale modell av dem.

Mestere av én

For tiden er de fleste AI-modellene, i motsetning, mer ‘spesialiserte’, og mange av dem er enten finjustert eller trent fra scratch på bilde- eller video-datasett som er ganske spesifikke for bestemte bruksområder, snarere enn å være designet for å utvikle en slik generell forståelse av styrende lover.

Andre kan presentere utseendet av en forståelse av fysiske lover; men de kan faktisk bare gjenta eksempler fra deres treningsdata, snarere enn å virkelig forstå grunnleggende områder som bevegelsesfysikk på en måte som kan produsere virkelig nye (og vitenskapelig plausibler) avbildninger fra brukerens forespørsler.

I dette ømfintlige øyeblikket i produktiseringen og kommersialiseringen av generative AI-systemer, er det opp til oss, og til investorenes skarpsyn, å skille mellom den kunstige markedsføringen av nye AI-modeller og virkeligheten av deres begrensninger.

En av novembers mest interessante artikler, ledet av Bytedance Research, tok tak i dette problemet, og utforsket gapet mellom den åpenbare og virkelige evnene til ‘all-formål’ generative modeller som Sora.

Arbeidet konkluderte med at i den nåværende tilstanden av kunnskapen, er generert utgang fra modeller av denne typen mer sannsynlig å gjenskape eksempler fra deres treningsdata enn å virkelig demonstrere en fullstendig forståelse av de underliggende fysiske begrensningene som opererer i den virkelige verden.

Artikkelen sier*:

‘[Disse] modellene kan lett bli forvrengt av “forførende” eksempler fra treningssettet, og føre til at de generaliserer på en “sak-basert” måte under visse forhold. Dette fenomen, som også er observert i store språkmodeller, beskriver en modells tendens til å referere til lignende trenings eksempler når de løser nye oppgaver.

‘For eksempel, betrakt en video-modell som er trent på data av en høyhastighets ball som beveger seg i uniform lineær bevegelse. Hvis dataforstørrelse utføres ved å vende videoene horisontalt, og dermed introdusere reversert bevegelse, kan modellen generere en scenario hvor en lavhastighets ball reverserer retning etter de første rammer, selv om dette atferden ikke er fysisk korrekt.’

Vi skal se nærmere på artikkelen – tittelen Evaluating World Models with LLM for Decision Making – snart. Men først, la oss se på bakgrunnen for disse åpenbare begrensningene.

Erindring av ting forbi

Uten generalisering, er en trent AI-modell lite mer enn en dyrekjøpt oversikt over referanser til deler av dens treningsdata: finn det riktige søkeordet, og du kan fremkalle en instans av den dataen.

I denne situasjonen, fungerer modellen effektivt som en ‘neural søkemotor’, siden den ikke kan produsere abstrakte eller ‘kreative’ tolkninger av den ønskede utgangen, men heller gjentar en liten variasjon av data som den så under treningsprosessen.

Dette er kjent som memorisering – et kontroversielt problem som oppstår fordi virkelig fleksible og tolkende AI-modeller tenderer til å mangle detaljer, mens virkelig detaljerte modeller tenderer til å mangle originalitet og fleksibilitet.

Kapasiteten for modeller som er påvirket av memorisering til å gjenskape treningsdata er et potensielt juridisk hinder, i tilfeller hvor modellens skapere ikke hadde ubegrensede rettigheter til å bruke den dataen; og hvor fordeler fra den dataen kan demonstreres gjennom en økende mengde ekstraktionsmetoder.

Fordi memorisering, kan spor av ikke-godkjent data bestå, sammenkoblet, gjennom flere trenings systemer, som en uønsket og uavhengig vannmerke – selv i prosjekter hvor maskinlæringspraktikeren har tatt vare på å sikre at ‘sikre’ data blir brukt.

Verdensmodeller

Imidlertid er det sentrale bruksproblemet med memorisering at det tenderer til å fremme illusjonen av intelligens, eller antyde at AI-modellen har generalisert grunnleggende lover eller domener, hvor i virkeligheten det er den høye volumet av memorisert data som fremmer denne illusjonen (dvs. modellen har så mange potensielle dataeksempler å velge mellom at det er vanskelig for en menneske å avgjøre om det er en gjentakelse av lært innhold eller om det har en virkelig abstrahert forståelse av konseptene som er involvert i genereringen).

Dette problemet har implikasjoner for den økende interessen for verdensmodeller – muligheten for høyt diverse og dyrt trent AI-systemer som inkorporerer multiple kjente lover, og som er rikt utforskbare.

Verdensmodeller er av særlig interesse i generativ bilde- og video-rom. I 2023 startet RunwayML en forskningsinitiativ for å utvikle og undersøke slike modeller; DeepMind har nylig ansatt en av opphavspersonene bak den anerkjente Sora-generative video til å arbeide på en modell av denne typen; og startups som Higgsfield investerer betydelig i verdensmodeller for bilde- og video-syntese.

Harde kombinasjoner

En av løftene med nye utviklinger i generative video-AI-systemer er muligheten for at de kan lære grunnleggende fysiske lover, som bevegelse, menneskelig kinematikk (slik som gange-karakteristika), fluid-dynamikk, og andre kjente fysiske fenomener som er, i det minste, visuelt kjent for mennesker.

Hvis generative AI kunne nå dette milepælet, kunne det bli i stand til å produsere hyper-realistiske visuelle effekter som avbilder eksplosjoner, flom, og plausibler kollisjons hendelser over flere typer objekter.

Hvis, på den andre siden, AI-systemet bare har blitt trent på tusenvis (eller hundredtusenvis) av videoer som avbilder slike hendelser, kan det være i stand til å gjenskape treningsdataen ganske overbevisende når det er trent på en lignende data punkt til brukerens mål-spørring; men feile hvis spørringen kombinerer for mange konsepter som ikke er representert i dataene.

Videre, ville disse begrensningene ikke være umiddelbart åpenbare, før man presser systemet med utfordrende kombinasjoner av denne typen.

Dette betyr at et nytt generativt system kan være i stand til å generere virale video-innhold som, selv om det er imponerende, kan skape en falsk inntrykk av systemets evner og dybde av forståelse, fordi oppgaven det representerer ikke er en virkelig utfordring for systemet.

For eksempel, en relativt vanlig og godt distribuert hendelse, som ‘en bygning blir revet’, kan være til stede i flere videoer i en datasett brukt til å trene en modell som er ment å ha en viss forståelse av fysikk. Derfor kan modellen antageligvis generalisere dette konseptet godt, og sogar produsere virkelig nye utgang innenfor parameterne lært fra mange videoer.

Dette er et in-distribution eksempel, hvor datasettene inneholder mange nyttige eksempler for AI-systemet å lære fra.

Imidlertid, hvis en skulle be om et mer bisarrt eller tvilsomt eksempel, som ‘Eiffel-tårnet blir sprengt av utenomjordiske invasjoner’, ville modellen bli pålagt å kombinere diverse domener som ‘metalliske egenskaper’, ‘karakteristika av eksplosjoner’, ‘gravitasjon’, ‘vindmotstand’ – og ‘utenomjordiske romfartøyer’.

Dette er et out-of-distribution (OOD) eksempel, som kombinerer så mange sammenflettede konsepter at systemet sannsynligvis enten vil feile i å generere en overbevisende eksempel, eller vil gå tilbake til det nærmeste semantiske eksemplet det ble trent på – selv om det eksemplet ikke adlyder brukerens spørring.

Unntatt at modellens kilde-dataset inneholdt Hollywood-stil CGI-basert VFX som avbildet det samme eller et lignende hendelse, ville en slik avbildning absolutt kreve at det oppnår en godt generalisert og fleksibel forståelse av fysiske lover.

Fysiske begrensninger

Den nye artikkelen – et samarbeid mellom Bytedance, Tsinghua University og Technion – antyder ikke bare at modeller som Sora ikke virkelig internaliserer deterministiske fysiske lover på denne måten, men at å øke datamengden (en vanlig tilnærming de siste 18 månedene) synes, i de fleste tilfeller, å produsere ingen virkelig forbedring i denne hensigt.

Artikkelen utforsker ikke bare begrensningene for ekstrapolasjon av spesifikke fysiske lover – som atferden til objekter i bevegelse når de kolliderer, eller når deres bane er blokkert – men også en modells evne til kombinatorisk generalisering – eksempler hvor representasjonene av to forskjellige fysiske prinsipper kombineres til en enkelt generativ utgang som er tro mot den fysiske loven bak hver av de separate bevegelsene.

En video sammenfatting av den nye artikkelen. Kilde: https://x.com/bingyikang/status/1853635009611219019

De tre fysiske lovene som ble valgt for studie av forskerne, var parabolisk bevegelse; uniform lineær bevegelse; og perfekt elastisk kollisjon.

Som kan ses i videoen ovenfor, indikerer funnene at modeller som Sora ikke virkelig internaliserer fysiske lover, men tenderer til å gjenskape treningsdata.

Videre fant forfatterne at aspekter som farge og form blir så sammenflettet på inferenstid at en generert ball sannsynligvis vil bli en firkant, antagelig fordi en lignende bevegelse i et datasett-eksempel hadde en firkant og ikke en ball (se eksempel i video ovenfor).

Artikkelen, som har engasjert forskningssektoren på sosiale medier, konkluderer:

‘Vår studie antyder at skaling alene er utilstrekkelig for video-genereringsmodeller til å avdekke grunnleggende fysiske lover, til tross for dens rol i Soras bredere suksess…

‘…[Funn] indikerer at skaling alene ikke kan løse OOD-problemet, selv om det forbedrer ytelsen i andre scenarioer.

‘Vår grundige analyse antyder at video-modell generalisering avhenger mer av å referere til lignende trenings eksempler enn å lære universelle regler. Vi observerte en prioriteringsorden av farge > størrelse > hastighet > form i denne “sak-baserte” atferden.

‘[Vår] studie antyder at naiv skaling er utilstrekkelig for video-genereringsmodeller til å oppdage grunnleggende fysiske lover.’

Spurt om forskningsteamet hadde funnet en løsning på problemet, kommenterte en av artikkelenes forfattere at:

‘Uheldigvis, har vi ikke. Faktisk, dette er sannsynligvis oppgaven til hele AI-samfunnet.’

Metode og data

Forskerne brukte en Variational Autoencoder (VAE) og DiT arkitekturer for å generere video-eksempler. I denne oppsettet, arbeider de komprimerte latente representasjoner produsert av VAE sammen med DiTs modellering av denoising prosessen.

Videoer ble trent over Stable Diffusion V1.5-VAE. Skjemaet ble i hovedsak uendret, med bare end-of-prosess arkitektoniske forbedringer:

‘[Vi beholder] majoriteten av den opprinnelige 2D konvolusjon, gruppe normalisering, og oppmerksomhetsmekanismer på romlige dimensjoner.

‘For å blåse opp denne strukturen til en romlig-tidslig auto-encoder, konverterer vi de siste få 2D ned-sampling blokkene av encoderen og de første få 2D opp-sampling blokkene av dekoderen til 3D, og anvender flere ekstra 1D lag for å forbedre tidslig modellering.’

For å aktivere video-modellering, ble den modifiserte VAE trent sammen med HQ-bilde- og video-data, med 2D Generative Adversarial Network (GAN) komponenten i SD1.5-arkitekturen forbedret for 3D.

Bildefil datasett som ble brukt var Stable Diffusions opprinnelige kilde, LAION-Aesthetics, med filtrering, i tillegg til DataComp. For video-data, ble en undergruppe kuratert fra Vimeo-90K, Panda-70m og HDVG datasettene.

Dataene ble trent i en million skritt, med tilfeldig størrelse og tilfeldig horisontal flip som dataforstørrelse prosesser.

Flipping ut

Som nevnt ovenfor, kan den tilfeldige horisontale flip dataforstørrelse prosessen være en begrensning i trening av et system som er designet for å produsere autentisk bevegelse. Dette er fordi utgang fra den trenede modellen kan vurdere begge retninger av et objekt, og forårsake tilfeldige reverseringer mens det forsøker å forhandle denne motsigelser av data (se video ovenfor).

På den andre siden, hvis en slår av horisontal flipping av, er modellen deretter mer sannsynlig til å produsere utgang som adlyder bare én retning lært fra treningsdataen.

Så det er ingen enkel løsning på problemet, bortsett fra at systemet virkelig assimilerer hele mulighetene av bevegelse fra både den native og flippede versjon  – en fasilitet som barn utvikler lett, men som er mer av en utfordring, åpenbart, for AI-modeller.

Tester

For den første settet med eksperimenter, formulerte forskerne en 2D simulator for å produsere videoer av objektbevegelse og kollisjoner som samsvarer med lovene om klassisk mekanikk, som ga en høy volum og kontrollert datasett som ekskluderte usikkerhetene i virkelige videoer, for evaluering av modellene. Box2D fysikk-spillmotoren ble brukt til å lage disse videoene.

De tre grunnleggende scenariene nevnt ovenfor var fokus for testene: uniform lineær bevegelse, perfekt elastisk kollisjon, og parabolisk bevegelse.

Datasett av økende størrelse (varierende fra 30 000 til tre millioner videoer) ble brukt til å trene modeller av forskjellig størrelse og kompleksitet (DiT-S til DiT-L), med de første tre rammer av hver video brukt for betingelse.

Detaljer om de forskjellige modellene trent i den første settet med eksperimenter. Kilde: https://arxiv.org/pdf/2411.02385

Forskerne fant at de in-distribution (ID) resultater skalert godt med økende mengder data, mens de OOD-genereringer ikke forbedret, og indikerer mangler i generalisering.

Resultater for den første runden med tester.

Forfatterne bemerker:

‘Disse funnene antyder at skaling ikke kan utføre resonnering i OOD-scenarier.’

Neste, testet og trent forskerne systemer som var designet for å vise en dyktighet for kombinatorisk generalisering, hvor to motsatte bevegelser kombineres til (håper) å produsere en sammenhengende bevegelse som er tro mot den fysiske loven bak hver av de separate bevegelsene.

For denne fasen av testene, brukte forfatterne PHYRE simulator, og lagde en 2D-omgivelse som avbilder flere og forskjellige formede objekter i fritt fall, som kolliderer med hverandre i en rekke komplekse interaksjoner.

Evaluering-metrikker for denne andre testen var Fréchet Video Distance (FVD); Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); og en menneskelig studie (betegnet som ‘abnormal’ i resultater).

Tre skalaer av treningsdatasett ble laget, på 100 000 videoer, 0,6 millioner videoer, og 3-6 millioner videoer. DiT-B og DiT-XL modeller ble brukt, på grunn av den økte kompleksiteten i videoene, med den første rammen brukt for betingelse.

Modellene ble trent i en million skritt på 256×256 oppløsning, med 32 ramer per video.

Resultater for den andre runden med tester.

Resultatet av denne testen antyder at bare å øke datavolum er en utilstrekkelig tilnærming:

Artikkelen sier:

‘Disse resultater antyder at både modellkapasitet og dekning av kombinasjonsrommet er avgjørende for kombinatorisk generalisering. Denne innsikten impliserer at skaling lover for video-generering burde fokusere på å øke kombinasjonsdiversitet, snarere enn bare å skale opp datavolum.’

Til slutt, utførte forskerne ytterligere tester for å forsøke å bestemme om en video-genereringsmodell kan virkelig assimilere fysiske lover, eller om det bare memoriserer og gjenskaper treningsdata på inferenstid.

Her undersøkte de konseptet om ‘sak-basert’ generalisering, hvor modeller tenderer til å gjenskape bestemte trenings eksempler når de konfronteres med nye situasjoner, samt undersøkte eksempler på uniform bevegelse – spesielt, hvordan retningen av bevegelse i treningsdata påvirker den trenede modellens prediksjoner.

To sett med treningsdata, for uniform bevegelse og kollisjon, ble kuratert, hver bestående av uniform bevegelse videoer som avbilder hastigheter mellom 2,5 til 4 enheter, med de første tre rammer brukt som betingelse. Latente verdier som hastighet ble utelatt, og, etter trening, ble testing utført på både sett og usett scenarioer.

Nedenfor ser vi resultater for testen for uniform bevegelse generering:

Resultater for tester for uniform bevegelse generering, hvor ‘hastighet’ variabelen er utelatt under trening.

Forfatterne sier:

‘[Med] en stor gap i treningssettet, tenderer modellen til å generere videoer hvor hastigheten er enten høy eller lav for å ligne treningsdata når de første rammer viser midterste hastigheter.’

For kollisjonstestene, er langt flere variabler involvert, og modellen må lære en to-dimensjonal ikke-lineær funksjon.

Kollisjon: resultater for den tredje og siste runden med tester.

Forfatterne observerer at tilstedeværelsen av ‘forførende’ eksempler, som reversert bevegelse (dvs. en ball som bouncer av en overflate og reverserer sin kurs), kan misle modellen og føre til at den genererer fysisk inkorrekte prediksjoner.

Konklusjon

Hvis en ikke-AI algoritme (dvs. en ‘bakt’, prosedyrisk metode) inneholder matematiske regler for atferden til fysiske fenomener som væsker, eller objekter under gravitasjon, eller under trykk, er det en mengde uforanderlige konstanter tilgjengelig for nøyaktig rendering.

Imidlertid, den nye artikkelenes funn antyder at ingen slik ekvivalent relasjon eller intrinsisk forståelse av klassiske fysiske lover utvikles under trening av generative modeller, og at økende mengder data ikke løser problemet, men snarere skjuler det – fordi en større mengde treningsvideoer er tilgjengelige for systemet å imitere på inferenstid.

* Min konvertering av forfatternes inline-citater til lenker.

Først publisert tirsdag, 26. november 2024