Å løse diffusjonsmodellers begrensede forståelse av speil og refleksjoner

Siden generativ AI begynte å samle på seg offentlig interesse, har forskningsfeltet datavisning dypt interessert seg for å utvikle AI-modeller som kan forstå og gjenskape fysiske lover; likevel har utfordringen med å lære maskinlæringsystemer å simulere fenomener som tyngdekraft og flytende dynamikk vært et betydelig fokus for forskningsinnsats i minst de siste fem årene.

Siden latente diffusjonsmodeller (LDM) kom til å dominere generativ AI-scenen i 2022, har forskerne økt fokusert på LDM-arkitekturens begrensede evne til å forstå og gjenskape fysiske fenomener. Nå har dette problemet fått ytterligere betydning med den banebrytende utviklingen av OpenAIs generative video-modell Sora, og den (muligens) mer betydningsfulle nylige utgivelsen av den åpne kilde video-modellene Hunyuan Video og Wan 2.1.

Reflekterer dårlig

De fleste forskningsinnsatsene rettet mot å forbedre LDMs forståelse av fysikk har fokusert på områder som gange-simulering, partikkelfysikk og andre aspekter av newtonske bevegelser. Disse områdene har tiltalt oppmerksomhet fordi uakkurater i grunnleggende fysiske atferd ville umiddelbart undergrave autentisiteten av AI-genererte videoer.

Likevel har en liten, men voksende, forskningsretning konsentrert seg om en av LDMs største svakheter – dens relative evne til å produsere nøyaktige refleksjoner.

Fra januar 2025-papiret ‘Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections’, eksempler på ‘refleksjonsfeil’ versus forskernes egen tilnærming. Kilde: https://arxiv.org/pdf/2409.14677

Dette problemet var også en utfordring under CGI-æraen og er fortsatt et problem i videospill, hvor ray-tracing-algoritmer simulerer lysens bane når den interagerer med overflater. Ray-tracing beregner hvordan virtuelle lysstråler bouncer av eller passerer gjennom objekter for å skape realistiske refleksjoner, refraksjoner og skygger.

Likevel, fordi hver ekstra bounc signifikant øker beregningskostnadene, må sanntidsapplikasjoner avveie forsinkelse mot nøyaktighet ved å begrense antallet tillatte lysstråle-bouncer.

En representasjon av en virtuelt beregnet lysstråle i en tradisjonell 3D-basert (dvs. CGI) scenario, som bruker teknologier og prinsipper først utviklet på 1960-tallet, og som kom til fulminasjon mellom 1982-93 (perioden mellom ‘Tron’ [1982] og ‘Jurassic Park’ [1993]. Kilde: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing

For eksempel kan avbildningen av en krom-tekann foran et speil innebære en ray-tracing-prosess hvor lysstråler bouncer gjentakende mellom reflekterende overflater, og skaper en nesten uendelig løkke med liten praktisk nytte for det endelige bildet. I de fleste tilfeller er en refleksjonsdybde på to til tre bouncer allerede over what the viewer kan oppfatte. En enkelt bouncer ville resultere i et svart speil, siden lyset må fullføre minst to reiser for å danne en synlig refleksjon.

Hver ekstra bouncer øker signifikant beregningskostnadene, ofte fordobler render-tid, og gjør raskere håndtering av refleksjoner en av de største mulighetene for å forbedre ray-traced rendering-kvalitet.

Naturligvis skjer refleksjoner, og er essensielle for fotorealistisk, i langt mindre åpenbare scenarioer – som den reflekterende overflaten av en bygate eller et slagfelt etter regnet; refleksjonen av den motsatte gaten i en butikkvindu eller glassdør; eller i brille på avbildede karakterer, hvor objekter og miljøer kan kreve å dukke opp.

En simuleret dobbelt-refleksjon oppnådd via tradisjonell komposisjon for en ikonisk scene i ‘The Matrix’ (1999).

Bilde-problemer

Av denne grunn har rammer som var populære før diffusjonsmodellene, som Neural Radiance Fields (NeRF), og noen nyere utfordrere som Gaussian Splatting har hatt sine egne kamp med å gjenskape refleksjoner på en naturlig måte.

REF²-NeRF-prosjektet (avbildet under) foreslo en NeRF-basert modellering-metode for scener som inneholder et glass-kabinett. I denne metoden ble refraksjon og refleksjon modellert ved hjelp av elementer som var avhengige og uavhengige av tilskuerens perspektiv. Denne tilnærmingen tillot forskerne å estimere overflatene hvor refraksjon skjedde, spesielt glass-overflater, og muliggjorde separasjon og modellering av både direkte og reflektert lys-komponenter.

Eksempler fra Ref2Nerf-papiret. Kilde: https://arxiv.org/pdf/2311.17116

Andre NeRF-møter med refleksjons-løsninger de siste 4-5 årene har inkludert NeRFReN, Reflecting Reality, og Meta’s 2024 Planar Reflection-Aware Neural Radiance Fields prosjekt.

For GSplat, papirer som Mirror-3DGS, Reflective Gaussian Splatting, og RefGaussian har tilbudt løsninger med hensyn til refleksjons-problemet, mens 2023 Nero-prosjektet foreslo en spesialisert metode for å inkorporere reflekterende kvaliteter i neurale representasjoner.

MirrorVerse

Å få en diffusjonsmodell til å respektere refleksjonslogikk er muligens mer vanskelig enn med eksplisitt strukturerte, ikke-semantiske tilnærminger som Gaussian Splatting og NeRF. I diffusjonsmodeller er en regel av denne typen bare sannsynlig å bli pålitelig innlemmet hvis treningsdataene inneholder mange varierte eksempler over en bred rekke scenarioer, og er derfor tungt avhengig av distribusjonen og kvaliteten på den opprinnelige datasetten.

Tradisjonelt er tillegg av slike atferd en oppgave for en LoRA eller fine-tuning av basis-modellen; men disse er ikke ideelle løsninger, siden en LoRA tenderer til å skjeve utgangen mot sin egen treningsdata, selv uten prompting, mens fine-tunes – foruten å være dyre – kan forkaste en stor modell uavvendelig vekk fra hovedstrømmen, og fremkalle en rekke relaterte tilpassede verktøy som aldri vil fungere med noen annen stamme av modellen, inkludert den opprinnelige.

Generelt krever forbedring av diffusjonsmodeller at treningsdataene betaler større oppmerksomhet til fysikken av refleksjon. Likevel er det mange andre områder som også er i behov av lignende spesiell oppmerksomhet. I sammenheng med hyperskala-datasett, hvor tilpasset kurasjon er kostbart og vanskelig, er det urimelig å håndtere hver enkelt svakhet på denne måten.

Likevel dukker løsninger opp for LDM-refleksjons-problemet fra tid til annen. En nylig innsats, fra India, er MirrorVerse-prosjektet, som tilbyr en forbedret datasett og treningsmetode i stand til å forbedre tilstanden av kunnskap i denne bestemte utfordringen i diffusjonsforskning.

Høyre, resultater fra MirrorVerse sammenlignet med to tidligere tilnærminger (sentrale to kolonner). Kilde: https://arxiv.org/pdf/2504.15397

Som vi kan se i eksempelet over (feature-bildet i PDF-en av den nye studien), forbedrer MirrorVerse på nyere tilbud som håndterer det samme problemet, men er langt ifra perfekt.

I øvre høyre bilde ser vi at de keramiske krukken er noe til høyre for hvor de bør være, og i bildet under, som teknisk sett ikke bør inneholde en refleksjon av koppene, har en uakkurat refleksjon blitt tvunget inn i høyre-hånd-området, mot logikken av naturlige refleksjons-vinkler.

Derfor vil vi se på den nye metoden ikke så mye fordi den kan representere den nåværende tilstanden av kunnskap i diffusjons-basert refleksjon, men like mye for å illustrere omfanget av hvilken grad dette kan vise seg å være et uovervinnelig problem for latente diffusjonsmodeller, både statiske og video, ettersom de nødvendige data-eksemplene på refleksivitet sannsynligvis vil være sammenfiltret med bestemte handlinger og scenarioer.

Derfor kan denne bestemte funksjonen av LDMs fortsette å være underlegen struktur-spesifikke tilnærminger som NeRF, GSplat og også tradisjonell CGI.

Den nye artikkelen har tittelen MirrorVerse: Pushing Diffusion Models to Realistically Reflect the World, og kommer fra tre forskere på Vision and AI Lab, IISc Bangalore, og Samsung R&D Institute i Bangalore. Artikkelen har en tilhørende prosjekt-side, samt en datasett på Hugging Face, med kildekode utgitt på GitHub.

Metode

Forskerne bemerker fra starten av at modeller som Stable Diffusion og Flux har vanskeligheter med å respektere refleksjons-basert prompting, og illustrerer problemet dyktig:

Fra papiret: Nåværende state-of-the-art tekst-til-bilde-modeller, SD3.5 og Flux, viste betydelige utfordringer i å produsere konsistente og geometrisk nøyaktige refleksjoner når de ble bedt om å generere dem i en scene.

Forskerne har utviklet MirrorFusion 2.0, en diffusjons-basert generativ modell rettet mot å forbedre fotorealisismen og den geometriske nøyaktigheten av speil-refleksjoner i syntetiske bilder. Treningsdataene for modellen var basert på forskernes eget ny-kurerte datasett, kalt MirrorGen2, designet for å håndtere generalisering-svakheter observert i tidligere tilnærminger.

MirrorGen2 utvider på tidligere metoder ved å introdusere tilfeldig objekt-plassering, tilfeldige rotasjoner, og eksplisitt objekt-grunnleggelse, med målet om å sikre at refleksjoner forblir troverdige over en bredere rekke av objekt-pose og plasseringer i forhold til speil-overflaten.

Schema for generering av syntetiske data i MirrorVerse: datasett-genererings-pipeline-applikasjonen viktig augmentasjon ved å plassere, rotere og grunnlegge objekter innen scenen ved hjelp av 3D-Positioner. Objekter er også parret i semantisk konsistente kombinasjoner for å simulere komplekse romlige relasjoner og okklusjoner, og tillater datasettene å fange mer realistiske interaksjoner i multi-objekt-scener.

For å ytterligere styrke modellens evne til å håndtere komplekse romlige arrangementer, inkorporerer MirrorGen2-pipeline parret objekt-scener, som muliggjør systemet å bedre representere okklusjoner og interaksjoner mellom flere elementer i reflekterende innstillinger.

Papiret sier:

‘Kategorier er manuelt parret for å sikre semantisk kohens – for eksempel, paring av en stol med et bord. Under rendering, etter plassering og rotasjon av hoved-[objekt], er et ekstra [objekt] fra den parrede kategorien sampet og arrangert for å forhindre overlap, og sikrer distinkte romlige regioner innen scenen.’

I forhold til eksplisitt objekt-grunnleggelse, sikret her forfatterne at de genererte objekter var ‘ankret’ til bakken i de syntetiske dataene, og ikke ‘svævende’ upassende, noe som kan skje når syntetiske data genereres i stor skala eller med høyt automatiserte metoder.

Siden datasett-innovasjon er sentral til nyheten i papiret, vil vi gå tidligere enn vanlig til denne delen av dekningen.

Data og tester

SynMirrorV2

Forskerne konseptualiserte SynMirrorV2-datasettet for å forbedre mangfoldet og realisme av speil-refleksjons-treningsdata, med 3D-objekter hentet fra Objaverse og Amazon Berkeley Objects (ABO)-datasettene, med disse valgene deretter refinerer gjennom OBJECT 3DIT, samt filter-prosessen fra V1 MirrorFusion-prosjektet, for å eliminere lavkvalitets-aktiviteter. Dette resulterte i en refinerer samling av 66,062 objekter.

Eksempler fra Objaverse-datasettet, brukt i opprettelsen av det kurerte datasettet for det nye systemet. Kilde: https://arxiv.org/pdf/2212.08051

Scene-konstruksjon involverte plassering av disse objekter på teksturerte gulv fra CC-Textures og HDRI-bakgrunner fra PolyHaven-CGI-repositoriet, ved hjelp av enten full-væg eller høye rektangulære speil. Belysning var standardisert med et areallys plassert over og bak objekter, i en 45-graders vinkel. Objekter ble skalert for å passe innen en enhets kube og plassert ved hjelp av en forhåndsregnet skjæring av speil- og kamera-visning frustumer, og sikret synlighet.

Tilfeldige rotasjoner ble brukt rundt y-aksen, og en grunnleggelsesteknikk ble brukt for å forhindre ‘flytende-arter’.

For å simulere mer komplekse scener, inkluderte datasettet også flere objekter arrangerer etter semantisk konsistente paringer basert på ABO-kategorier. Sekundære objekter ble plassert for å unngå overlap, og skapte 3,140 multi-objekt-scener designet for å fange varierte okklusjoner og dybde-relasjoner.

Eksempler på render-views fra forfatternes datasett som inneholder flere (mer enn to) objekter, med illustrasjoner av objekt-segmentering og dybde-kart-visualiseringer under.

Treningsprosess

Forskerne erkjente at syntetisk realisme alene var utilstrekkelig for robust generalisering til sanntids-data, og utviklet en tre-stegs curriculum-læringsprosess for å trene MirrorFusion 2.0.

I steg 1 ble vektene til både kondisjon- og genererings-grener initialisert med Stable Diffusion v1.5-checkpoint, og modellen ble finjustert på enkelt-objekt-trenings-deling av SynMirrorV2-datasettet. I motsetning til ovennevnte Reflecting Reality-prosjekt, frøs forskerne ikke genererings-grener. De deretter trenet modellen i 40,000 iterasjoner.

I steg 2 ble modellen finjustert i ytterligere 10,000 iterasjoner på multi-objekt-trenings-deling av SynMirrorV2, for å lære systemet å håndtere okklusjoner og mer komplekse romlige arrangementer funnet i realistiske scener.

Til slutt, i steg 3, ble ytterligere 10,000 iterasjoner av finjustering utført ved hjelp av sanntids-data fra MSD-datasettet, ved hjelp av dybde-kart generert av Matterport3D-monokulær-dybde-estimator.

Eksempler fra MSD-datasettet, med sanntids-scener analyserer til dybde- og segmenterings-kart. Kilde: https://arxiv.org/pdf/1908.09101

Under treningsprosessen ble tekst-prompts utelatt for 20 prosent av trenings-tiden for å oppmuntre modellen til å bruke tilgjengelig dybde-informasjon (dvs. en ‘maskert’ tilnærming).

Treningsprosessen fant sted på fire NVIDIA A100-GPU-er for alle steg (VRAM-specifikasjonen er ikke supplert, selv om den ville ha vært 40GB eller 80GB per kort). En læringsrate på 1e^-5 ble brukt på en batch-størrelse på 4 per GPU, under AdamW-optimalisatoren.

Dette trenings-skjemaet økte progressivt vanskelighetsgraden av oppgavene presentert til modellen, startende med enklere syntetiske scener og fremover mot mer komplekse komposisjoner, med intensjonen om å utvikle robust sanntids-overførbarhet.

Testing

Forfatterne evaluerte MirrorFusion 2.0 mot den tidligere state-of-the-art, MirrorFusion, som fungerte som en baseline, og utførte eksperimenter på MirrorBenchV2-datasettet, som dekket både enkelt- og multi-objekt-scener.

Ytterligere kvalitative tester ble utført på eksempler fra MSD-datasettet og Google Scanned Objects (GSO)-datasettet.

Evalueringen brukte 2,991 enkelt-objekt-bilder fra sett og usett kategorier, og 300 to-objekt-scener fra ABO. Ytelse ble målt ved hjelp av Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); og Learned Perceptual Image Patch Similarity (LPIPS)-poeng for å vurdere refleksjons-kvalitet på den maskerte speil-regionen. CLIP-similaritet ble brukt til å vurdere tekstlig tilpasning med innledende-prompts.

I kvantitative tester genererte forfatterne bilder ved hjelp av fire frø for en bestemt prompt, og valgte den resulterende bildet med den beste SSIM-poengsummen. De to rapporterte tabellene med resultater for de kvantitative testene er vist nedenfor.

Venstre, kvantitative resultater for enkelt-objekt-refleksjons-genererings-kvalitet på MirrorBenchV2 enkelt-objekt-del. MirrorFusion 2.0 overgikk baseline-en, med de beste resultater vist i fet skrift. Høyre, kvantitative resultater for multi-objekt-refleksjons-genererings-kvalitet på MirrorBenchV2 multi-objekt-del. MirrorFusion 2.0 trent med flere objekter overgikk versjonen trent uten dem, med de beste resultater vist i fet skrift.

Forfatterne kommenterer:

‘[Resultatene] viser at vår metode overgår baseline-metoden og finjustering på flere objekter forbedrer resultatene på komplekse scener.’

Det meste av resultatene, og de som er fremhevet av forfatterne, angår kvalitative tester. På grunn av dimensjonene på disse illustrasjonene, kan vi bare delvis gjengi papirets eksempler.

Sammenligning på MirrorBenchV2: baseline-en feilet i å opprettholde nøyaktige refleksjoner og romlige konsistens, viste feil stolerings-orientering og forvrengte refleksjoner av flere objekter, mens (ifølge forfatterne) MirrorFusion 2.0 korrekt renderer stolen og sofaene, med nøyaktig posisjon, orientering og struktur.

Av disse subjektive resultater mener forfatterne at baseline-modellen feilet i å korrekt rendre objekt-orientering og romlige relasjoner i refleksjoner, ofte produserte artefakter som feil rotasjon og flytende objekter. MirrorFusion 2.0, trent på SynMirrorV2, beholdt korrekt objekt-orientering og posisjon i både enkelt- og multi-objekt-scener, resulterende i mer realistiske og konsistente refleksjoner.

Nedenfor ser vi kvalitative resultater på ovennevnte GSO-datasettet:

Sammenligning på GSO-datasettet. Baseline-en misrepresenterte objekt-struktur og produserte ufullstendige, forvrengte refleksjoner, mens MirrorFusion 2.0, ifølge forfatterne, beholdt romlig integritet og genererte nøyaktig geometri, farge og detalj, selv på utenfor-distribusjon-objekter.

Her kommenterer forfatterne:

‘MirrorFusion 2.0 genererer betydelig mer nøyaktige og realistiske refleksjoner. For eksempel, i Fig. 5 (a – oven), MirrorFusion 2.0 korrekt reflekterer håndtaket (høydet i grønt), mens baseline-modellen produserer en uforenlig refleksjon (høydet i rødt).

‘Liksom for ‘White-Yellow mug’ i Fig. 5 (b), MirrorFusion 2.0 leverer en overbevisende geometri med minimale artefakter, i motsetning til baseline-en, som feiler i å korrekt fange objektets geometri og utseende.’

Den siste kvalitative testen var mot ovennevnte sanntids-MSD-datasettet (delvis resultater vist nedenfor):

Sanntids-scene-resultater som sammenligner MirrorFusion, MirrorFusion 2.0 og MirrorFusion 2.0, finjustert på MSD-datasettet. MirrorFusion 2.0, ifølge forfatterne, fanger komplekse scene-detaljer mer nøyaktig, inkludert klyngete objekter på et bord og tilstedeværelsen av flere speil innen en tredimensjonal miljø. Kun delvis resultater er vist her, på grunn av dimensjonene på resultatene i den opprinnelige artikkelen, som vi henviser leseren til for fullstendige resultater og bedre oppløsning.

Her observerer forfatterne at mens MirrorFusion 2.0 fungerte godt på MirrorBenchV2- og GSO-data, hadde den initialt vanskeligheter med komplekse sanntids-scener i MSD-datasettet. Finjustering av modellen på en delmengde av MSD forbedret dens evne til å håndtere klyngete miljøer og flere speil, resulterende i mer konsistente og detaljerte refleksjoner på den holdte-ut test-delen.

I tillegg ble en bruker-studie utført, hvor 84 prosent av brukerne rapporterte å ha foretrukket genereringer fra MirrorFusion 2.0 over baseline-metoden.

Resultater fra bruker-studien.

Ettersom detaljer om bruker-studien har blitt henlagt til appendiksen i artikkelen, henviser vi leseren til den for spesifikke detaljer om studien.

Konklusjon

Selv om flere av resultatene vist i artikkelen er imponerende forbedringer av state-of-the-art, er state-of-the-art for denne bestemte forfølgningen så elendig at selv en uoverbevisende samlet løsning kan vinne med en minimal innsats. Den grunnleggende arkitekturen til en diffusjonsmodell er ugunstig for å lære og demonstrere konsistent fysikk, så problemet er dårlig stilte, og åpenbart ikke tilbøyelig til en elegant løsning.

Fortsatt, å legge til data i eksisterende modeller er allerede standard-metoden for å rette opp svakheter i LDM-ytelse, med alle ulemper som er nevnt tidligere. Det er rimelig å anta at hvis fremtidige høy-skala-datasett skulle å betale mer oppmerksomhet til distribusjonen (og annoteringen) av refleksjons-relaterte datapunkter, kunne vi forvente at de resulterende modellene ville håndtere denne scenariet bedre.

Likevel er det samme sant for flere andre feil i LDM-utgang – hvem kan si hvilke av dem som fortjener mest innsats og penger involvert i den type løsning som forfatterne av den nye artikkelen foreslår her?

Først publisert mandag, 28. april 2025. Tirsdag 29. april: gjort korreksjoner i siste paragrafer.