Voivatko tekoälymallit todella ymmärtää fysikaalisia lakeja?

Suuri toive visio-kieli-tekoälymallien osalta on, että ne tulevat jonain päivänä kykeneviksi suurempaan autonomiaan ja monipuolisuuteen, sisällyttäen fysikaalisten lakien periaatteita samalla tavalla, kuin kehitymme luonnollisen ymmärryksen näistä periaatteista varhaisen kokemuksen kautta.

Esimerkiksi lasten pallonpelit kehittävät liikkeen kinetiikan ymmärryksen ja painon ja pinnan koostumuksen vaikutuksen radalle. Samoin yhteys yleisiin tilanteisiin, kuten kylpyyn, kaatuneisiin juomiin, mereen, uimahuoneisiin ja muihin moninaisiin nestekappaleisiin, antaa meille monipuolisen ja skaalautuvan ymmärryksen siitä, miten nesteet käyttäytyvät painovoiman alaisina.

Jopa vähemmän yleisten ilmiöiden postulaatit, kuten palamisilmiöt, räjähdykset ja arkkitehtoninen painonjakauma paineen alaisena, imevät meidät tiedostamattomasti TV-ohjelmien ja elokuvien kautta tai sosiaalisen median videoista.

Kun opiskelemme näiden järjestelmien periaatteita akateemisella tasolla, me vain “retrofit” intuitiivisia (vaikka tietämättömiä) mielikuviamme niistä.

Mestarit yhdessä

Tällä hetkellä useimmat tekoälymallit ovat vastakohtaa, ja monet niistä on hienosäädetty tai koulutettu alusta alkaen kuva- tai videodataksi, jotka ovat hyvin spesifisiä tiettyihin käyttötarkoituksiin, eivätkä suunniteltu kehittämään yleistä ymmärrystä hallitsevista laeista.

Muut voivat antaa ilmeen fysikaalisten lakien ymmärryksestä; mutta ne voivat tosiasiassa toistaa koulutusdataa, eivätkä todella ymmärrä liikkeen fysiikan perusteita tavalla, joka voisi tuottaa todella uusia (ja tieteellisesti uskottavia) kuvausohjeita käyttäjien pyynnöistä.

Tässä herkkässä vaiheessa tekoälyn generatiivisten järjestelmien tuotteistamisessa ja kaupallistamisessa on meidän ja sijoittajien tehtävä erottaa uusien tekoälymallien markkinointi todellisista rajoituksista.

Marraskuun mielenkiintoisimmissa tutkimuksissa, joita johti Bytedance Research, tutkittiin tätä ongelmaa, tutkien “kaikenkattavien” generatiivisten mallien, kuten Soran, näennäisten ja todellisten kykyjen välistä kuilua.

Tutkimus totesi, että nykytekniikan nykyisellä tasolla generoitu output tällaisista malleista on todennäköisemmin toistamassa koulutusdataa kuin todella osoittamassa fysikaalisten rajoitusten ymmärrystä, jotka toimivat todellisessa maailmassa.

Tutkimus toteaa*:

‘Nämä mallit voivat helposti olla harhaisia “petollisista” esimerkeistä koulutusjoukossa, mikä johtaa siihen, että ne yleistyvät “tapauskohtaisella” tavalla tiettyjen olosuhteiden alaisena. Tämä ilmiö, jota on myös havaittu suurissa kielimalleissa, kuvaa mallin taipumusta viitata samankaltaisiin koulutusjoukkoihin ratkaistaessa uusia tehtäviä.

‘Esimerkiksi, tarkastellaan video-mallia, joka on koulutettu datasta, jossa korkean nopeuden pallo liikkuu yhdenmukaisessa lineaarisessa liikkeessä. Jos data-augmentaatiota tehdään kääntämällä videot vaakaan, mikä esittää vastakkaisen suunnan liikettä, malli voi generoida tilanteen, jossa matalan nopeuden pallo kääntyy vastakkaiseen suuntaan alkurameiden jälkeen, vaikka tämä käyttäytyminen ei ole fysikaalisesti oikein.’

Tutkimme tarkemmin tutkimusta – jonka otsikko on Maailman mallien arviointi LLM: n avulla päätöksenteon kannalta – pian. Mutta ensin katsotaan taustaa näille näennäisille rajoituksille.

Muistin varassa

Ilman yleistymistä koulutettu tekoälymalli on vain kallis viite tiettyihin osiin koulutusdataa: etsi sopiva hakusana, ja voit kutsua esiin tämän datan esiintymän.

Tässä skenaariossa malli toimii tehokkaasti “neuraalisen hakukoneen” kaltaisena, koska se ei voi tuottaa abstrakteja tai “luovia” tulkintoja halutusta tuloksesta, vaan toistaa vain jonkinlaisen muunnelman dataa, jonka se näki koulutusprosessin aikana.

Tämä on muistinvarasto – kiistanalainen ongelma, joka johtuu siitä, että todella joustavat ja tulkintakykyiset tekoälymallit usein puuttuvat yksityiskohtaisuudesta, kun taas yksityiskohtaiset mallit usein puuttuvat alkuperäisyydestä ja joustavuudesta.

Memoroinnin aiheuttama kapasiteetti mallien toistaa koulutusdataa on potentiaalinen oikeudellinen este, tapauksissa, joissa mallin luojat eivät olleet saaneet vapaata oikeutta käyttää tiettyä dataa; ja joissa hyödyt tästä datasta voidaan osoittaa kasvavan määrän eristysmenetelmien kautta.

Muistinvarastoinnin vuoksi epävirallisen datan jäljet voivat säilyä, ketjutettuina, useiden koulutusjärjestelmien läpi, kuin ikuisesti tarkoittamaton ja tahaton vesileima – jopa hankkeissa, joissa koneoppimisen harjoittaja on varmistanut, että “turvallista” dataa käytetään.

Maailman mallit

Muistinvarastoinnin keskeinen ongelma on, että se usein antaa älymystön illuusion tai antaa ymmärtää, että tekoälymalli on yleistänyt periaatteita tai alueita, vaikka se itse asiassa on korkea määrä muistettua dataa, joka tarjoaa tämän illuusion (ts. malli on niin monia potentiaalisia data-esimerkkejä valita, että on vaikea ihmiselle sanoa, onko se toistamassa opittua sisältöä vai onko se todella abstrahoinut käsitteiden ydin.

Tämä ongelma on merkittävä maailman mallien kasvavan kiinnostuksen kannalta – mahdollisuus erittäin monipuolisille ja kalliille koulutetuille tekoälyjärjestelmille, jotka sisällyttävät useita tunnettuja lakeja ja ovat rikkaasti tutkittavissa.

Maailman mallit ovat erityisen kiinnostavia generatiivisessa kuvan ja videon tilassa. Vuonna 2023 RunwayML aloitti tutkimushankkeen tällaisten mallien kehittämiseksi ja toteuttamiskelpoisuudeksi; DeepMind on vastikään palkannut yhden maineikkaiden Sora-generatiivisten videoiden alkuperäisistä kehittäjistä työskentelemään tällaisen mallin parissa; ja startup-yritykset, kuten Higgsfield, panostavat merkittävästi maailman malleihin kuvan ja videon synteesiin.

Kovat yhdistelmät

Yksi uusien kehitysten lupaavista generatiivisissa tekoälyjärjestelmissä on se, että ne voivat oppia perusfysikaalisia lakeja, kuten liikettä, ihmisen kinematiikkaa (kuten askelmerkin ominaisuuksia), nesteiden dynamiikkaa ja muita fysikaalisia ilmiöitä, jotka ovat ainakin visuaalisesti tuttuja ihmisille.

Jos generatiivinen tekoäly voisi saavuttaa tämän merkkipaalun, se voisi tulla kykeneväksi tuottamaan hyperrealistisia visuaalisia efektejä, jotka kuvaavat räjähdyksiä, tulvia ja uskottavia törmäysefektejä useiden eri objektien välillä.

Toisaalta, jos tekoälyjärjestelmä on vain koulutettu tuhansiin (tai satoihin tuhansiin) videoihin, jotka kuvaavat tällaisia tapahtumia, se voi olla kykenevä toistamaan koulutusdataa melko vakuuttavasti, kun se on koulutettu samankaltaiseen datakohtaan kuin käyttäjän kohdepyyntö; mutta epäonnistuu, jos pyyntö yhdistää liian monta konseptia, jotka eivät ole edustettuina datasta sellaisessa yhdistelmässä.

Nämä rajoitukset eivät olisi välittömästi ilmeisiä, kunnes yritetään haastaa järjestelmää haastavilla yhdistelmillä.

Tämä tarkoittaa, että uusi generatiivinen järjestelmä voi olla kykenevä tuottamaan viraalista video sisältöä, joka on vaikuttava, mutta luo väärän käsityksen järjestelmän kyvyistä ja ymmärryksen syvyydestä, koska tehtävä, jonka se edustaa, ei ole todellinen haaste järjestelmälle.

Esimerkiksi suhteellisen yleinen ja laajasti levinnyt tapahtuma, kuten ‘rakennus on purettu’, saattaa olla useissa videoissa koulutusdatasta, jota käytetään mallin kouluttamiseen, jolla on jonkinlainen ymmärrys fysiikasta. Siksi malli voisi yleistää tämän käsitteen hyvin ja jopa tuottaa aitoja uusia tuloksia koulutusvideoiden perusteella.

Tämä on sisäänjäävä esimerkki, jossa data sisältää monia hyödyllisiä esimerkkejä tekoälyjärjestelmän oppimiseen.

Sen sijaan, jos pyydettiin joku oudompi tai epätodennäköisempi esimerkki, kuten ‘Eiffel-torni räjähtää avaruusolentojen toimesta’, malli joutuisi yhdistämään monia eri alueita, kuten “metallisten ominaisuuksien”, “räjähdysten ominaisuuksien”, “painovoiman”, “tuulen vastuksen” – ja “avaruusaluksen”.

Tämä on ulospäin menevä esimerkki (OOD), joka yhdistää niin monta toisiinsa kytköksissä olevaa konseptia, että järjestelmä todennäköisesti joko epäonnistuu tuottamaan vakuuttavan esimerkin tai palauttaa lähimmän semanttisen esimerkin, jolle se on koulutettu – vaikka se ei vastaa käyttäjän pyyntöä.

Poikkeuksena siinä tapauksessa, että mallin koulutusdata sisälsi Hollywood-tyylisiä CGI-pohjaisia VFX: iä, jotka kuvasivat samaa tai samankaltaista tapahtumaa, tällainen kuvaus vaatisi, että se saavuttaa hyvin yleistetyn ja joustavan ymmärryksen fysikaalisista laeista.

Fysikaaliset rajoitukset

Uusi tutkimus – yhteistyö Bytedancen, Tsinghua-yliopiston ja Technionin välillä – osoittaa, että mallit, kuten Sora, eivät todella sisäistä deterministisiä fysikaalisia lakeja, ja että datan skaalauttaminen (yleinen lähestymistapa viimeisten 18 kuukauden aikana) näyttää useimmissa tapauksissa tuottavan mitään todellista parannusta tässä suhteessa.

Tutkimus tutkii ei vain tiettyjen fysikaalisten lakien extrapoloinnin rajoituksia – kuten esineiden käyttäytymistä liikkeessä, kun ne törmäilevät toisiinsa tai kun heidän reitinsä on estetty – vaan myös mallin yhdistävän yleistymisen kykyä – tapauksia, joissa kaksi eri fysikaalisen periaatteen edustukset yhdistetään yhteen generatiiviseen tulokseen.

Uuden tutkimuksen videoyhteenveto. Lähde: https://x.com/bingyikang/status/1853635009611219019

Kolme fysikaalista lakia, jotka tutkijat valitsivat tutkimukseen, olivat parabolinen liike; yhtenäinen lineaarinen liike; ja täysin elastinen törmäys.

Kuten voidaan nähdä yllä olevasta videosta, tutkimuksen tulokset osoittavat, että mallit, kuten Sora, eivät todella sisäistä fysikaalisia lakeja, vaan toistavat koulutusdataa.

Lisäksi tutkijat totesivat, että ominaisuudet, kuten väri ja muoto, ovat niin kytköksissä toisiinsa johdonmukaisuuden aikana, että generoitu pallo voi helposti muuttua ruuduksi, koska vastaava liike data-esimerkissä sisälsi ruudun eikä palloa (katso esimerkki videossa yllä).

Tutkimus toteaa:

‘Tutkimuksemme osoittaa, että skaalauttaminen yksin riittämätön video-generaattorimallien löytämiseksi perusfysikaalisista laeista, vaikka se on ollut osa Soran laajempaa menestystä…

‘…(Tulokset) osoittavat, että skaalauttaminen yksin ei voi ratkaista OOD-ongelmaa, vaikka se parantaa suorituskykyä muissa skenaarioissa.

‘Meidän syvällinen analyysi osoittaa, että video-mallien yleistymisen riippuvainen enemmän viittaamisesta samankaltaisiin koulutus-esimerkkeihin kuin yleisten sääntöjen oppimisesta. Havaitsemme priorisointijärjestyksen värin > koon > nopeuden > muodon “tapauskohtaisessa” käyttäytymisessä.

‘Tutkimuksemme osoittaa, että tietämättömän skaalauttaminen on riittämätön video-generaattorimallien löytämiseksi perusfysikaalisista laeista.’

Kun tutkijoiden kysyttiin, olivatko he löytäneet ratkaisun ongelmaan, yksi tutkimuksen kirjoittajista kommentoi:

‘Valitettavasti emme. Tämä on todennäköisesti koko tekoäly-yhteisön tehtävä.’

Menetelmä ja data

Tutkijat käyttivät Variational Autoencoder (VAE) ja DiT -arkkitehtuureja generoimaan video-otoksia. Tässä asetelmaa VAE:n tuottamat tiivistetyt latenttiset edustukset toimivat yhdessä DiT:n melunpoistoprosessin mallinnuksen kanssa.

Videot koulutettiin Stable Diffusion V1.5-VAE: n yli. Skeema pidettiin perustavasti muuttumattomana, vain lopputuloksen arkkitehtoniset parannukset:

‘[Me säilytämme] suurimman osan alkuperäisestä 2D-konvoluutiosta, ryhmittäisestä normaalista ja huomionmekanismeista spatiaalisilla ulottuvuuksilla.

‘Muuttaaksemme tämän rakenteen avaruus-aikaisaksi autoenkooderiksi, muutamme viimeiset 2D-alennuslokit kooderin ja dekooderin alkuupottavat 2D-lokit 3D: ksi, ja käytämme useita lisäksi 1D-kerroksia parantamaan aikasuuntaista mallinnusta.’

Jotta video-mallinnus olisi mahdollista, muunnettu VAE koulutettiin yhdessä korkealaatuisen kuvan ja videon kanssa, 2D-generatiivisen vastakkaisverkkomallin (GAN) osana SD1.5-arkkitehtuuriin.

Käytetty kuva-aineisto oli Stable Diffusionin alkuperäinen lähde, LAION-Aesthetics, suodattimella, lisäksi DataComp. Videodatasta kurattiin alijoukko Vimeo-90K, Panda-70m ja HDVG -datasta.

Dataa koulutettiin miljoonalla askeleella, satunnaisella koon muutoksella ja satunnaisella vaakaan kääntämisellä sovellettuina data-augmentaatio -prosesseina.

Kääntäminen

Kuten mainittiin aiemmin, satunnainen vaakaan kääntäminen prosessi voi olla este koulutettaessa järjestelmää, joka tuottaa aitoa liikettä. Tämä johtuu siitä, että koulutetun mallin output saattaa ottaa huomioon molemmat suunnat esineen liikkeelle, ja aiheuttaa satunnaisia käännöksiä, kun se yrittää neuvotella tätä ristiriitaista dataa (katso liitetty video yllä).

Toisaalta, jos kääntäminen poistetaan, malli on todennäköisemmin tuottaa output, joka noudattaa vain yhtä suuntaa opittua koulutusdatasta.

Joten ei ole helppoa ratkaisua ongelmaan, paitsi jos järjestelmä todella omaksuu liikkeen kaikki mahdollisuudet sekä alkuperäisestä että käännetyistä versioista – kyky, jota lapset kehittävät helposti, mutta joka on enemmän haaste tekoälymallille.

Testit

Ensimmäisessä kokeessa tutkijat muodostivat 2D-simulaattorin tuottamaan videoita esineiden liikkeestä ja törmäyksistä, jotka ovat klassisen mekaniikan lakien mukaan, mikä tarjosi suuren ja kontrolloidun datasetin, joka poissulki todellisen maailman videoiden epäselvyydet, mallien arvioimiseksi. Box2D -fysiikkapeli moottori käytettiin luomaan nämä videot.

Kolme perus tapausta, jotka mainittiin aiemmin, olivat testien keskipisteenä: yhtenäinen lineaarinen liike, täysin elastinen törmäys ja parabolinen liike.

Kasvavan kokoiset datasetit (vaihdellen 30 000: sta kolmeen miljoonaan videoon) käytettiin kouluttamaan malleja eri koosta ja monimutkaisuudesta (DiT-S: stä DiT-L: ään), ja jokaisen videon ensimmäiset kolme kehystä käytettiin ehdotuskeinona.

Eri kokoisten mallien yksityiskohdat ensimmäisessä kokeessa. Lähde: https://arxiv.org/pdf/2411.02385

Tutkijat totesivat, että sisäänjäävien (ID) tulokset skaalautuivat hyvin kasvavan datamäärän kanssa, kun taas ulospäin menevät (OOD) generoinnit eivät parantuneet, osoittaen puutteita yleistymisessä.

Ensimmäisen kokeen tulokset.

Tutkijat toteavat:

‘Nämä tulokset osoittavat, että skaalauttaminen ei pysty suorittamaan päättelyä OOD-skenaarioissa.’

Seuraavaksi tutkijat testasivat ja kouluttivat järjestelmiä, jotka olivat suunniteltu osoittamaan taituruutta yhdistävän yleistymisen, jossa kaksi vastakkaista liikettä yhdistetään (toivottavasti) tuottamaan yhtenäinen liike, joka on uskollinen fysikaalisen lain taustalla kummassakin erillisessä liikkeessä.

Tässä kokeen vaiheessa tutkijat käyttivät PHYRE -simulaattoria, joka loi 2D-ympäristön, jossa useita ja moninainen esineitä esitetään vapaasti putoamassa, törmäilemässä toisiinsa moninaisissa ja kompleksisissa vuorovaikutuksissa.

Arviointi-mittarit tässä toisessa kokeessa olivat Fréchet Video Distance (FVD); Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); ja ihmisten tutkimus (merkitty “epätavallinen” tuloksissa).

Kolme skaalaa koulutusdataa luotiin, 100 000 videosta, 0,6 miljoonasta videosta ja 3-6 miljoonasta videosta. DiT-B- ja DiT-XL-malleja käytettiin, johtuen videoiden lisääntyneestä monimutkaisuudesta, ja ensimmäinen kehys käytettiin ehdotuskeinona.

Mallit koulutettiin miljoonalla askeleella 256×256-resoluutiolla, 32 kehyksellä videota kohden.

Toisen kokeen tulokset.

Kokeen tulos osoittaa, että pelkästään datan määrän lisääminen on riittämätön lähestymistapa:

Tutkimus toteaa:

‘Nämä tulokset osoittavat, että sekä mallin kapasiteetti että yhdistelmätilan peittävyys ovat ratkaisevia yhdistävän yleistymisen kannalta. Tämä oivallus osoittaa, että video-generaattorien skaalautumislaeissa tulisi keskittyä yhdistelmien monimuotoisuuden lisäämiseen, eikä pelkästään datan määrän kasvattamiseen.’

Lopulta tutkijat suorittivat lisää kokeita selvittääkseen, voivatko video-generaattorit todella omaksua fysikaalisia lakeja, vai toistavatko ne vain koulutusdataa johdonmukaisuuden aikana.

Tässä he tutkivat “tapauskohtaisen” yleistymisen käsitettä, jossa mallit taipuvat jäljittelemään tiettyjä koulutus-esimerkkejä kohtaamalla uusia tilanteita, sekä tutkivat yhtenäistä liikettä – erityisesti, miten koulutusdatan liikkeen suunta vaikuttaa koulutetun mallin ennusteisiin.

Kaksi joukkoa koulutusdataa, yhtenäiselle liikkeelle ja törmäykselle, kurattiin, kummassakin yhtenäisen liikkeen videoita, jotka esittivät nopeuksia 2,5: stä 4 yksikköön, ja ensimmäiset kolme kehystä käytettiin ehdotuskeinona. Latenttiarvot, kuten nopeus, jätettiin pois, ja koulutuksen jälkeen testaus suoritettiin sekä näkyvissä että näkymättömissä skenaarioissa.

Alempana nähdään tulokset yhtenäisen liikkeen generoinnin testistä, jossa “nopeus”-muuttuja jätettiin pois koulutuksen aikana:

Tulokset yhtenäisen liikkeen generoinnin testistä, jossa “nopeus”-muuttuja jätettiin pois koulutuksen aikana.

Tutkijat toteavat:

‘[Suurella aukolla koulutusjoukossa] malli taipuu generoimaan videoita, joissa nopeus on joko korkea tai matala, muistuttaen koulutusdataa, kun alkukehykset näyttävät keskivertaisia nopeuksia.’

Törmäyskokeissa on paljon enemmän muuttujia, ja mallin on opittava kaksiulotteinen epälineaarinen funktio.

Törmäys: kolmannen ja viimeisen kokeen tulokset.

Tutkijat huomauttavat, että “petollisten” esimerkkien, kuten käännetyen liikkeen, läsnäolo voi johtaa mallin harhaan ja aiheuttaa fysikaalisesti virheellisiä ennusteita.

Johtopäätös

Jos ei-tekoälyalgoritmi (ts. “paistettu”, proseduraalinen menetelmä) sisältää matemaattisia sääntöjä fysikaalisten ilmiöiden, kuten nesteiden, esineiden painovoiman alaisena tai paineen alaisena, käyttäytymiselle, on joukko muuttumattomia vakioita saatavilla tarkkaan renderöintiin.

Sen sijaan tutkimuksen tulokset osoittavat, että vastaava suhde tai sisäinen ymmärrys klassisista fysikaalisista laeista ei kehity generatiivisten mallien koulutuksen aikana, ja että datan määrän lisääminen ei ratkaise ongelmaa, vaan peittää sen – koska suurempi määrä koulutusvideoita on saatavilla järjestelmän jäljentämiseksi johdonmukaisuuden aikana.

* Minun muunnos kirjoittajien sisäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran tiistaina 26. marraskuuta 2024