Til at løse diffusion-modellers begrænsede forståelse af spejle og reflekser

Siden generativ AI begyndte at tiltrække offentlig opmærksomhed, har computer vision-forskningsfeltet dybt beskæftiget sig med at udvikle AI-modeller, der kan forstå og reproducere fysiklove; dog har udfordringen med at lære maskinelæringssystemer til at simulere fænomener som tyngdekraft og flydende dynamik været et væsentligt fokus for forskningsindsats i mindst de sidste fem år.

Siden latente diffusionsmodeller (LDM’er) kom til at dominere den generative AI-scene i 2022, har forskere koncentreret sig om LDM-arkitekturens begrænsede evne til at forstå og reproducere fysikfænomener. Nu har dette problem fået yderligere betydning med udviklingen af OpenAI’s generative video-model Sora og den (muligvis) mere betydningsfulde udgivelse af den åbne kilde- video-modeller Hunyuan Video og Wan 2.1.

Reflekterer dårligt

De fleste forskningsindsatser rettet mod at forbedre LDM’ers forståelse af fysik har fokuseret på områder som gangsimulering, partikelfysik og andre aspekter af newtonske bevægelser. Disse områder har tiltrukket opmærksomhed, fordi uændringer i grundlæggende fysisk adfærd ville umiddelbart undergrave autenticiteten af AI-genererede videoer.

Der er dog en lille, men voksende, forskningsstrøm, der koncentrerer sig om en af LDM’ers største svagheder – deres relative udygtighed til at producere nøjagtige reflekser.

Fra januar 2025-papiret ‘Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections’, eksempler på ‘refleksionsfejl’ versus forskernes egen tilgang. Kilde: https://arxiv.org/pdf/2409.14677

Dette problem var også en udfordring under CGI-æraen og er det stadig i videospilsbranchen, hvor ray-tracing-algoritmer simulerer lysens vej, når den interagerer med overflader. Ray-tracing beregner, hvordan virtuelle lysstråler bouncer eller passerer gennem objekter for at skabe realistiske reflekser, refraktioner og skygger.

Men da hver yderligere bounce kraftigt øger beregningsomkostningerne, må realtidsapplikationer afveje latency mod nøjagtighed ved at begrænse antallet af tilladte lysstråle-bounces.

En repræsentation af en virtuelt beregnet lysstråle i en traditionel 3D-baseret (dvs. CGI) scenario, der anvender teknologier og principper, der først blev udviklet i 1960’erne og som nåede kulmination mellem 1982-93 (perioden mellem ‘Tron’ [1982] og ‘Jurassic Park’ [1993]). Kilde: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing