Het oplossen van de beperkte kennis van diffusiemodellen over spiegels en reflecties

Sinds generatieve AI de publieke interesse begon te wekken, heeft het onderzoeksgebied van computer visie zijn interesse verdiept in het ontwikkelen van AI-modellen die fysieke wetten kunnen begrijpen en repliceren; echter is de uitdaging om machine learning-systemen te leren om fenomenen zoals zwaartekracht en vloeistofdynamica te simuleren, een belangrijk onderzoeksgebied geweest voor minstens de afgelopen vijf jaar.

Sinds latente diffusiemodellen (LDM’s) in 2022 de generatieve AI-scene begonnen te domineren, hebben onderzoekers steeds meer gefocust op de beperkte capaciteit van LDM-architectuur om fysieke fenomenen te begrijpen en te reproduceren. Nu heeft dit probleem extra aandacht gekregen met de baanbrekende ontwikkeling van OpenAI’s generatieve videomodel Sora, en de (zogenaamd) meer significante recente release van de open-source video modellen Hunyuan Video en Wan 2.1.

Slecht reflecteren

De meeste onderzoeken die gericht zijn op het verbeteren van de kennis van LDM’s over fysica, hebben zich gericht op gebieden zoals gait-simulatie, deeltjesfysica en andere aspecten van Newtoniaanse beweging. Deze gebieden hebben aandacht getrokken omdat onnauwkeurigheden in basisfysieke gedragingen onmiddellijk de authenticiteit van AI-gegenereerde video zouden ondermijnen.

Echter, een kleine maar groeiende onderzoekslijn richt zich op een van de grootste zwakheden van LDM’s – hun relatieve onvermogen om nauwkeurige reflecties te produceren.

Uit het artikel van januari 2025 ‘Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections’, voorbeelden van ‘reflectiefout’ versus de aanpak van de onderzoekers. Bron: https://arxiv.org/pdf/2409.14677

Dit probleem was ook een uitdaging tijdens de CGI-tijdperk en blijft dat in de videospellennijverheid, waar ray-tracing algoritmen de baan van licht simuleren wanneer deze met oppervlakken interageert. Ray-tracing berekent hoe virtuele lichtstralen afketsen of door objecten heen gaan om realistische reflecties, brekingen en schaduwen te creëren.

Echter, omdat elke extra afketsing de berekeningskosten aanzienlijk verhoogt, moeten real-time toepassingen een compromis sluiten tussen latentie en nauwkeurigheid door het aantal toegestane lichtstraal-afketsingen te beperken.

Een voorstelling van een virtueel berekende lichtstraal in een traditionele 3D-gebaseerde (d.w.z. CGI) scenario, met technologieën en principes die voor het eerst in de jaren 60 zijn ontwikkeld en die tussen 1982-93 (tussen ‘Tron’ [1982] en ‘Jurassic Park’ [1993]) tot volle wasdom zijn gekomen. Bron: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing

Bijvoorbeeld, het afbeelden van een chromen theepot voor een spiegel kan een ray-tracingproces omvatten waarbij lichtstralen herhaaldelijk tussen reflecterende oppervlakken afketsen, waardoor een bijna oneindige lus ontstaat met weinig praktisch voordeel voor het eindbeeld. In de meeste gevallen is een reflectiediepte van twee tot drie afketsingen al voldoende om te overtreffen wat de kijker kan waarnemen. Een enkele afketsing zou resulteren in een zwarte spiegel, aangezien het licht minstens twee reizen moet maken om een zichtbare reflectie te vormen.

Elke extra afketsing verhoogt de berekeningskosten aanzienlijk, vaak verdubbelt de rendertijden, waardoor het sneller omgaan met reflecties een van de grootste kansen is om de kwaliteit van ray-getraceerde rendering te verbeteren.

Natuurlijk komen reflecties voor en zijn essentieel voor fotorealisme in veel minder voor de hand liggende scenario’s – zoals het reflecterende oppervlak van een stadstraat of een slagveld na de regen; de reflectie van de tegenovergestelde straat in een winkelraam of glazen deur; of in de brillenglazen van afgebeelde personages, waar objecten en omgevingen kunnen worden weergegeven.

Een gesimuleerde tweelingreflectie bereikt via traditionele compositie voor een iconische scène in ‘The Matrix’ (1999).

Beeldproblemen

Om deze reden hebben kaders die populair waren voordat diffusiemodellen ontstonden, zoals Neurale Stralingsvelden (NeRF), en enkele recentere uitdagers zoals Gaussische Splatting hun eigen moeilijkheden om reflecties op een natuurlijke manier te activeren.

Het REF²-NeRF project (afgebeeld hieronder) stelde een NeRF-gebaseerde modellingsmethode voor voor scènes met een glazen kast. In deze methode werden breking en reflectie gemodelleerd met behulp van elementen die afhankelijk waren van en onafhankelijk van de kijkersperspectief. Deze aanpak stelde de onderzoekers in staat om de oppervlakken waar breking optreedt te schatten, met name glazen oppervlakken, en om de directe en gereflecteerde lichtcomponenten te scheiden en te modelleren.

Voorbeelden uit het Ref2Nerf-artikel. Bron: https://arxiv.org/pdf/2311.17116

Andere NeRF-georiënteerde reflectieoplossingen van de afgelopen 4-5 jaar hebben onder andere NeRFReN, Reflecting Reality, en Meta’s 2024 Planar Reflection-Aware Neural Radiance Fields project omvat.

Voor GSplat hebben artikelen zoals Mirror-3DGS, Reflective Gaussian Splatting, en RefGaussian oplossingen aangeboden met betrekking tot het reflectieprobleem, terwijl het 2023 Nero-project een op maat gemaakte methode heeft voorgesteld om reflecterende kwaliteiten in neurale voorstellingen op te nemen.

Spiegelwereld

Het krijgen van een diffusiemodel om reflectielogica te respecteren is waarschijnlijk moeilijker dan met expliciet structurele, niet-semantische benaderingen zoals Gaussische Splatting en NeRF. In diffusiemodellen is een dergelijke regel alleen waarschijnlijk betrouwbaar ingebed als de trainingsdata veel variabele voorbeelden bevat over een breed scala aan scenario’s, waardoor het zwaar afhankelijk is van de distributie en kwaliteit van de oorspronkelijke dataset.

Traditioneel is het toevoegen van specifiek gedrag van deze soort het domein van een LoRA of de fijn-afstemming van het basismodel; maar deze zijn geen ideale oplossingen, aangezien een LoRA de uitvoer naar zijn eigen trainingsdata neigt, zelfs zonder prompting, terwijl fijn-afstemming – naast duur – een belangrijk model onherroepelijk kan afleiden van de mainstream en een reeks aanpassingsgereedschappen kan veroorzaken die nooit zullen werken met een ander stam van het model, inclusief het oorspronkelijke.

Over het algemeen vereist het verbeteren van diffusiemodellen dat de trainingsdata meer aandacht besteden aan de fysica van reflectie. Echter, zijn er veel andere gebieden die ook soortgelijke speciale aandacht nodig hebben. In de context van hyperschaal datasets, waar aangepaste curatie duur en moeilijk is, is het aanpakken van elke enkele zwakte op deze manier onpraktisch.

Nonetheless, oplossingen voor het LDM-reflectieprobleem duiken af en toe op. Een recente inspanning, uit India, is het MirrorVerse project, dat een verbeterde dataset en trainingsmethode biedt die in staat is om de stand van de techniek in deze specifieke uitdaging in diffusieonderzoek te verbeteren.

Rechts, de resultaten van MirrorVerse in vergelijking met twee eerdere benaderingen (centrale twee kolommen). Bron: https://arxiv.org/pdf/2504.15397

Zoals we kunnen zien in het bovenstaande voorbeeld (de functieafbeelding in de PDF van de nieuwe studie), verbetert MirrorVerse recente aanbiedingen die hetzelfde probleem aanpakken, maar is verre van perfect.

In de bovenste rechterafbeelding zien we dat de keramische potten enigszins naar rechts zijn van waar ze zouden moeten zijn, en in de afbeelding hieronder, die technisch gezien geen reflectie van de beker zou moeten hebben, is een onnauwkeurige reflectie in de rechterhandige gebied ingevoegd, tegen de logica van natuurlijke reflectiehoeken.

Daarom zullen we naar de nieuwe methode kijken, niet zozeer omdat deze de huidige stand van de techniek in diffusie-gebaseerde reflectie kan vertegenwoordigen, maar evenzeer om de mate waarin dit een onoplosbaar probleem voor latente diffusiemodellen, zowel statisch als video, kan zijn, aangezien de vereiste gegevensvoorbeelden van reflectiviteit waarschijnlijk verweven zijn met specifieke acties en scenario’s.

Daarom kan deze specifieke functie van LDM’s blijven tekortschieten ten opzichte van structurele benaderingen zoals NeRF, GSplat en traditionele CGI.

Het nieuwe artikel heet MirrorVerse: Pushing Diffusion Models to Realistically Reflect the World en komt van drie onderzoekers uit Vision and AI Lab, IISc Bangalore, en het Samsung R&D Institute in Bangalore. Het artikel heeft een geassocieerde projectpagina, evenals een dataset op Hugging Face, met broncode uitgegeven op GitHub.

Methode

De onderzoekers merken vanaf het begin op dat modellen zoals Stable Diffusion en Flux moeite hebben om reflectie-gebaseerde prompts te respecteren, en illustreren het probleem behendig:

Uit het artikel: De huidige stand van de techniek in tekst-naar-afbeelding-modellen, SD3.5 en Flux, vertoonden aanzienlijke uitdagingen bij het produceren van consistente en geometrisch nauwkeurige reflecties wanneer ze werden gevraagd om reflecties in de scène te genereren.

De onderzoekers hebben MirrorFusion 2.0 ontwikkeld, een diffusie-gebaseerd generatief model dat is gericht op het verbeteren van de fotorealisme en geometrische nauwkeurigheid van spiegelreflecties in synthetische beelden. De training voor het model was gebaseerd op de door de onderzoekers zelf nieuw gecreëerde dataset, getiteld MirrorGen2, die is ontworpen om de generalisatieswakheden te aanpakken die in eerdere benaderingen werden waargenomen.

MirrorGen2 breidt eerdere methodologieën uit door willekeurige objectpositie, willekeurige rotaties en explcit objectgronding in te voeren, met als doel ervoor te zorgen dat reflecties plausibel blijven over een bredere range van objectposes en -plaatsingen ten opzichte van het spiegeloppervlak.

Schema voor de generatie van synthetische gegevens in MirrorVerse: de datasetgeneratiepijplijn paste belangrijke augmentaties toe door objecten willekeurig te positioneren, te roteren en te gronden binnen de scène met behulp van de 3D-Positioner. Objecten werden ook in semantisch consistente combinaties gepaard om complexe ruimtelijke relaties en occlusies te simuleren, waardoor de dataset meer realistische interacties in multi-objectscènes kon vastleggen.

Om de capaciteit van het model om complexe ruimtelijke arrangementen te verwerken verder te versterken, omvatte de MirrorGen2-pijplijn gepaarde objectscènes, waardoor het systeem beter in staat was om occlusies en interacties tussen meerdere elementen in reflecterende instellingen te representeren.

Het artikel vermeldt:

‘Categorieën worden handmatig gepaard om semantische coherentie te waarborgen – bijvoorbeeld, het paren van een stoel met een tafel. Tijdens rendering, na het positioneren en roteren van het primaire [object], wordt een extra [object] uit de gepaarde categorie bemonsterd en gerangschikt om overlap te voorkomen, waardoor afzonderlijke ruimtelijke gebieden binnen de scène ontstaan.’

In verband met expliciete objectgronding, hebben de auteurs ervoor gezorgd dat de gegenereerde objecten ‘verankerd’ waren aan de grond in de synthetische gegevens, in plaats van ‘ zwevend’ op een ongepaste manier, wat kan gebeuren wanneer synthetische gegevens op grote schaal worden gegenereerd of met hoge geautomatiseerde methoden.

Daar datasetinnovatie centraal staat in de noviteit van het artikel, zullen we eerder dan gebruikelijk naar deze sectie van de dekking gaan.

Gegevens en tests

SynMirrorV2

De SynMirrorV2-dataset van de onderzoekers is ontworpen om de diversiteit en realisme van spiegelreflectietrainingsgegevens te verbeteren, met 3D-objecten afkomstig uit de Objaverse en Amazon Berkeley Objects (ABO) datasets, met deze selecties vervolgens verfijnd door OBJECT 3DIT, evenals het filterproces van de V1 MirrorFusion-project, om lagekwaliteitsassets te elimineren. Dit resulteerde in een verfijnd reservoir van 66.062 objecten.

Voorbeelden uit de Objaverse-dataset, gebruikt bij de creatie van de gecurateerde dataset voor het nieuwe systeem. Bron: https://arxiv.org/pdf/2212.08051

Scèneconstructie omvatte het plaatsen van deze objecten op getextureerde vloeren van CC-Textures en HDRI-achtergronden van de PolyHaven CGI-repository, met behulp van volledige muur- of hoge rechthoekige spiegels. Verlichting werd gestandaardiseerd met een area-light boven en achter de objecten, op een hoek van 45 graden. Objecten werden geschaald om binnen een eenheidscube te passen en gepositioneerd met behulp van een vooraf berekende intersectie van de spiegel en camera viewing frustums, waardoor zichtbaarheid werd gewaarborgd.

Willekeurige rotaties werden toegepast rond de y-as, en een grondtechniek werd gebruikt om ‘zwevende artifacts’ te voorkomen.

Om complexere scènes te simuleren, omvatte de dataset ook meerdere objecten die waren gerangschikt volgens semantisch consistente paren op basis van ABO-categorieën. Secundaire objecten werden geplaatst om overlap te voorkomen, waardoor 3.140 multi-objectscènes ontstonden die waren ontworpen om variabele occlusies en diepte-relaties te vastleggen.

Voorbeelden van gegenereerde beelden uit de dataset van de auteurs met meerdere (meer dan twee) objecten, met illustraties van objectsegmentatie en dieptekaartvisualisaties hieronder.

Trainingsproces

De onderzoekers erkennen dat synthetische realisme alleen onvoldoende was voor robuuste generalisatie naar reële gegevens, en ontwikkelden een driedelige curriculumleerproces voor het trainen van MirrorFusion 2.0.

In Fase 1 initialiseren de auteurs de gewichten van zowel de conditionele als generatievertakkingen met de Stable Diffusion v1.5 checkpoint, en fijn-afstemden het model op de enkelvoudige objecttrainings split van de SynMirrorV2-dataset. In tegenstelling tot het eerder genoemde Reflecting Reality project, vroren de onderzoekers de generatievertakking niet in. Ze trainden het model vervolgens voor 40.000 iteraties.

In Fase 2 werd het model fijn-afgestemd voor een aanvullende 10.000 iteraties op de multi-objecttrainings split van SynMirrorV2, om het systeem te leren omgaan met occlusies en de complexere ruimtelijke arrangementen die in realistische scènes voorkomen.

Tenslotte, in Fase 3, werden er aanvullende 10.000 iteraties van fijn-afstemming uitgevoerd met behulp van reële gegevens uit de MSD-dataset, met dieptekaarten gegenereerd door de Matterport3D monocular diepteschatting.

Voorbeelden uit de MSD-dataset, met reële scènes geanalyseerd in dieptekaarten en segmentatiekaarten. Bron: https://arxiv.org/pdf/1908.09101

Tijdens de training werden tekstprompts voor 20 procent van de trainingsduur weggelaten om het model aan te moedigen om optimaal gebruik te maken van de beschikbare diepte-informatie (d.w.z. een ‘gemaskeerde’ aanpak).

De training vond plaats op vier NVIDIA A100 GPU’s voor alle fasen (de VRAM-specificatie wordt niet verstrekt, maar deze zou 40GB of 80GB per kaart zijn geweest). Een leerrente van 1e^-5 werd gebruikt op een batchgrootte van 4 per GPU, onder de AdamW optimizer.

Deze trainingsregeling verhoogde progressief de moeilijkheidsgraad van de taken die aan het model werden gepresenteerd, beginnend met eenvoudigere synthetische scènes en voortgaand naar complexere composities, met als doel om robuuste reële overdraagbaarheid te ontwikkelen.

Testen

De auteurs hebben MirrorFusion 2.0 geëvalueerd tegen de eerdere stand van de techniek, MirrorFusion, die als baseline diende, en hebben experimenten uitgevoerd op de MirrorBenchV2-dataset, die zowel enkelvoudige als multi-objectscènes omvat.

Extra kwalitatieve tests werden uitgevoerd op voorbeelden uit de MSD-dataset en de Google Scanned Objects (GSO) dataset.

De evaluatie gebruikte 2.991 enkelvoudige objectafbeeldingen uit gezien en ongezien categorieën, en 300 twee-objectscènes uit ABO. De prestaties werden gemeten met behulp van Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); en Learned Perceptual Image Patch Similarity (LPIPS) scores, om de reflectiekwaliteit in de gemaskeerde spiegelregio te beoordelen. CLIP-similariteit werd gebruikt om de tekstuele overeenstemming met de invoerprompts te evalueren.

In kwantitatieve tests genereerden de auteurs afbeeldingen met behulp van vier zaden voor een specifieke prompt, en selecteerden de resulterende afbeelding met de beste SSIM-score. De twee gerapporteerde tabellen met resultaten voor de kwantitatieve tests worden hieronder weergegeven.

Links, Kwantitatieve resultaten voor enkelvoudige objectreflectiegeneratiekwaliteit op de MirrorBenchV2 enkelvoudige objectsplit. MirrorFusion 2.0 overtrof de baseline, met de beste resultaten in het vetgedrukte lettertype. Rechts, kwantitatieve resultaten voor meerdere objectreflectiegeneratiekwaliteit op de MirrorBenchV2 meerdere objectsplit. MirrorFusion 2.0 getraind met meerdere objecten overtrof de versie getraind zonder hen, met de beste resultaten in het vetgedrukte lettertype.

De auteurs merken op:

‘[De resultaten] laten zien dat onze methode de baseline-methode overtreft en dat fijn-afstemming op meerdere objecten de resultaten op complexe scènes verbetert.’

Het grootste deel van de resultaten, en die welke door de auteurs worden benadrukt, hebben betrekking op kwalitatief testen. Vanwege de afmetingen van deze illustraties, kunnen we deze slechts gedeeltelijk reproduceren.

Vergelijking op MirrorBenchV2: de baseline faalde om nauwkeurige reflecties en ruimtelijke consistentie te behouden, met onjuiste stoeloriëntatie en vertekende reflecties van meerdere objecten, terwijl (de auteurs beweren) MirrorFusion 2.0 de stoel en de banken correct weergeeft, met nauwkeurige positie, oriëntatie en structuur.

Van deze subjectieve resultaten merken de onderzoekers op dat de baseline-model onjuiste objectoriëntatie en ruimtelijke relaties in reflecties produceerde, vaak met artifacts zoals onjuiste rotatie en zwevende objecten. MirrorFusion 2.0, getraind op SynMirrorV2, behoudt (volgens de auteurs) de juiste objectoriëntatie en -positie in zowel enkelvoudige als multi-objectscènes, resulterend in meer realistische en coherente reflecties.

Onderaan zien we kwalitatieve resultaten op de eerder genoemde GSO-dataset:

Vergelijking op de GSO-dataset. De baseline verkeerd weergegeven objectstructuur en produceerde onvolledige, vertekende reflecties, terwijl MirrorFusion 2.0 (de auteurs beweren) ruimtelijke integriteit behoudt en nauwkeurige geometrie, kleur en detail genereert, zelfs voor objecten buiten de distributie.

Hier merken de auteurs op:

‘MirrorFusion 2.0 genereert aanzienlijk meer nauwkeurige en realistische reflecties. Bijvoorbeeld, in Fig. 5 (a – boven), weergeeft MirrorFusion 2.0 de ladehandvatten correct (gemarkeerd in groen), terwijl de baseline-model een onwaarschijnlijke reflectie produceert (gemarkeerd in rood).

‘Evenzo, voor de “Wit-Gele mok” in Fig. 5 (b), levert MirrorFusion 2.0 een overtuigende geometrie met minimale artifacts, in tegenstelling tot de baseline, die er niet in slaagt om de geometrie en het uiterlijk van het object nauwkeurig te vangen.’

De laatste kwalitatieve test was tegen de eerder genoemde reële MSD-dataset (gedeeltelijke resultaten hieronder):

Reële scèneresultaten die MirrorFusion, MirrorFusion 2.0 en MirrorFusion 2.0 vergelijken, fijn-afgestemd op de MSD-dataset. MirrorFusion 2.0 (de auteurs beweren) vat complexe scènedetails meer nauwkeurig samen, waaronder rommelige objecten op een tafel en de aanwezigheid van meerdere spiegels binnen een driedimensionale omgeving. Alleen gedeeltelijke resultaten worden hier weergegeven, vanwege de afmetingen van de resultaten in het oorspronkelijke artikel, waarvoor we de lezer verwijzen voor volledige resultaten en betere resolutie.

Hier merken de auteurs op dat MirrorFusion 2.0 goed presteerde op MirrorBenchV2 en GSO-gegevens, maar aanvankelijk worstelde met complexe reële scènes in de MSD-dataset. Fijn-afstemming van het model op een deel van de MSD verbeterde zijn vermogen om rommelige omgevingen en meerdere spiegels te verwerken, waardoor meer coherente en gedetailleerde reflecties op de gehouden testsplit ontstonden.

Bovendien werd een gebruikersstudie uitgevoerd, waarbij 84% van de gebruikers de generaties van MirrorFusion 2.0 boven de baseline-methode verkozen.

Resultaten van de gebruikersstudie.

Aangezien details van de gebruikersstudie zijn verplaatst naar de bijlage van het artikel, verwijzen we de lezer naar die voor de specificaties van de studie.

Conclusie

Hoewel enkele van de resultaten die in het artikel worden getoond, indrukwekkende verbeteringen zijn ten opzichte van de stand van de techniek, is de stand van de techniek voor deze specifieke onderneming zo slecht dat zelfs een onovertuigende totaaloplossing kan winnen met een minimum aan inspanning. De fundamentele architectuur van een diffusiemodel is ongunstig voor het betrouwbaar leren en demonstreren van consistente fysica, zodat het probleem slecht geformuleerd is en ogenschijnlijk niet geneigd is tot een elegante oplossing.

Verder, het toevoegen van gegevens aan bestaande modellen is al de standaardmethode om tekortkomingen in de prestaties van LDM’s te verhelpen, met alle nadelen die eerder zijn vermeld. Het is redelijk om aan te nemen dat als toekomstige grote schaal datasets meer aandacht zouden besteden aan de distributie (en annotatie) van reflectie-gerelateerde gegevenspunten, we zouden kunnen verwachten dat de resulterende modellen deze scène beter zouden verwerken.

Yet is hetzelfde waar van meerdere andere problemen in LDM-uitvoer – wie kan zeggen welke van hen het meest de inspanning en het geld verdient dat is gemoeid met het soort oplossing dat de auteurs van het nieuwe artikel hier voorstellen?

Eerst gepubliceerd op maandag 28 april 2025. Dinsdag 29 april: grammaticale correctie in de laatste alinea’s.