Heijastusmallien rajoitettu ymmärrys peileistä ja heijastuksista

Sitten kun tekoäly alkoi herättää yleistä mielenkiintoa, tietokoneen näköntutkimuksen alalla on syvennetty kiinnostusta kehittää tekoälymallit, jotka voivat ymmärtää ja jäljitellä fysikaalisia lakeja. Haasteena on kuitenkin ollut opettaa koneoppimismalleja simuloimaan ilmiöitä, kuten gravitaatiota ja nesteiden dynamiikkaa. Tämä on ollut merkittävä tutkimuksen aihe viimeisten viiden vuoden ajan.

Kun latensti difuusiomallit (LDM) tulivat hallitsemaan generatiivisen tekoälyn kenttää vuonna 2022, tutkijat ovat yhä enenevissä määrin keskittyneet LDM-arkkitehtuurin rajoitettuun kykyyn ymmärtää ja jäljitellä fysikaalisia ilmiöitä. Nyt tämä ongelma on saanut lisää huomiota avainkeksinnön, OpenAI:n generatiivisen videomallin Soran ja avoimen lähdekoodin Hunyuan Video ja Wan 2.1 -mallien myötä.

Heijastusongelma

Useimmat tutkimukset, jotka pyrkivät parantamaan LDM:n ymmärrystä fysiikasta, ovat keskittyneet alueille, kuten kävelyssä, hiukkassimulaatioissa ja muiden newtonilaisten liikkeen ilmiöiden tutkimisessa. Nämä alueet ovat saaneet huomiota, koska virheet perusfysikaalisissa käyttäytymisissä heikentäisivät välittömästi tekoälyllisesti luotujen videoiden aitous.

Kuitenkin yksi pieni, mutta kasvava tutkimussuunta keskittyy yhteen LDM:n suurimmista heikkouksista – sen suhteellisesta kyvyttömyydestä tuottaa tarkkoja heijastuksia.

Tammikuun 2025 tutkimuksesta ‘Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections’, esimerkkejä ‘heijastusvirheestä’ verrattuna tutkijoiden omiin lähestymistapoihin. Lähde: https://arxiv.org/pdf/2409.14677

Tämä ongelma oli myös haaste CGI-ajanalla ja on edelleen haaste videopelien kehittämisessä, jossa ray-tracing -algoritmit simuloivat valon polkua, kun se vuorovaikuttaa pintojen kanssa. Ray-tracing laskee, miten virtuaalivalot heijastuvat tai menevät läpi objekteja, luoden realistiset heijastukset, taitokset ja varjot.

Kuitenkin jokainen lisäinen heijastus kasvattaa laskennallista kustannusta, joten reaaliaikaiset sovellukset joutuvat tinkimään viiveen ja tarkin heijastuksen välillä rajoittamalla sallittujen valosäteiden määrää.

Virtuaalisen valosäteen esitys perinteisessä 3D-pohjaisessa (eli CGI) tilanteessa, jossa käytetään 1960-luvulla kehitettyjä tekniikoita ja periaatteita, jotka tulivat täydellisyyteen vuosina 1982-1993 (Tron [1982] ja Jurassic Park [1993] välisenä aikana). Lähde: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing