Rezolvarea limitărilor modelelor de difuzie în înțelegerea oglinzilor și reflexiilor

De când inteligența artificială generativă a început să capteze interesul public, domeniul cercetării în vederea computerizată a adâncit interesul pentru dezvoltarea de modele AI capabile să înțeleagă și să reproducă legi fizice; cu toate acestea, provocarea de a învăța sistemele de învățare automată să simuleze fenomene precum gravitația și dinamica lichidelor a fost un focar semnificativ de eforturi de cercetare pentru cel puțin cinci ani.

De când modelele de difuzie latente (LDM) au devenit dominante în scena inteligenței artificiale generative în 2022, cercetătorii s-au concentrat din ce în ce mai mult pe capacitatea limitată a arhitecturii LDM de a înțelege și reproduce fenomene fizice. Acum, această problemă a câștigat o prominență suplimentară odată cu dezvoltarea modelului de video generativ Sora de la OpenAI și cu lansarea (probabil) mai semnificativă a recentă a modelelor de video Hunyuan Video și Wan 2.1 cu sursă deschisă.

Reflectarea defectuoasă

Cea mai mare parte a cercetărilor menite să îmbunătățească înțelegerea LDM a fizicii s-a concentrat pe domenii precum simularea mersului, fizica particulelor și alte aspecte ale mișcării newtoniene. Aceste domenii au atras atenția deoarece inexactitățile în comportamentele fizice de bază ar submina imediat autenticitatea videourilor generate de IA.

Cu toate acestea, o mică, dar în creștere, direcție de cercetare se concentrează pe una dintre cele mai mari slăbiciuni ale LDM – incapacitatea relativă de a produce reflexii exacte.

Din lucrarea din ianuarie 2025 ‘Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections’, exemple de ‘eșec al reflexiei’ versus abordarea cercetătorilor. Sursă: https://arxiv.org/pdf/2409.14677

Această problemă a fost, de asemenea, o provocare în era CGI și rămâne astfel în domeniul jocurilor video, unde algoritmii de urmărire a razelor simulează calea luminii în interacțiune cu suprafețele. Urmărirea razelor calculează modul în care razele de lumină virtuale ricoșează sau trec prin obiecte pentru a crea reflexii, refracții și umbre realiste.

Cu toate acestea, deoarece fiecare ricoșeu suplimentar crește semnificativ costul computațional, aplicațiile în timp real trebuie să facă un compromis între latență și acuratețe, limitând numărul de ricoșeuri ale razelor de lumină permise.

O reprezentare a unui fascicul de lumină virtual calculat într-un scenariu 3D tradițional (adică CGI), utilizând tehnologii și principii dezvoltate pentru prima dată în anii 1960 și care au ajuns la maturitate între 1982-1993 (perioada dintre ‘Tron’ [1982] și ‘Parcul Jurasic’ [1993]). Sursă: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing