Die Korrektur der begrenzten Verständlichkeit von Diffusionsmodellen für Spiegelungen und Reflexionen

Seit generative KI das öffentliche Interesse auf sich gezogen hat, hat das Forschungsfeld der Computer-Vision seine Bemühungen verstärkt, KI-Modelle zu entwickeln, die physikalische Gesetze verstehen und replizieren können. Die Herausforderung, maschinelle Lernsysteme dazu zu bringen, Phänomene wie Schwerkraft und Flüssigkeitsdynamik zu simulieren, ist ein wichtiger Schwerpunkt der Forschungsbemühungen seit mindestens fünf Jahren.

Seit latente Diffusionsmodelle (LDMs) im Jahr 2022 die generative KI-Szene dominierten, haben Forscher immer mehr auf die begrenzte Fähigkeit von LDM-Architekturen konzentriert, physikalische Phänomene zu verstehen und zu replizieren. Jetzt hat diese Frage zusätzliche Bedeutung durch die bahnbrechende Entwicklung von OpenAIs generativem Video-Modell Sora und der (arguably) bedeutenderen jüngsten Veröffentlichung der Open-Source-Video-Modelle Hunyuan-Video und Wan 2.1 gewonnen.

Schlechte Reflexionen

Die meisten Forschungen, die darauf abzielen, das Verständnis von LDMs für Physik zu verbessern, haben sich auf Bereiche wie Gangsimulation, Teilchenphysik und andere Aspekte der newtonschen Bewegung konzentriert. Diese Bereiche haben Aufmerksamkeit erregt, weil Ungenauigkeiten in grundlegenden physikalischen Verhaltensweisen sofort die Authentizität von KI-generierten Videos untergraben würden.

Es gibt jedoch einen kleinen, aber wachsenden Forschungszweig, der sich auf eine der größten Schwächen von LDMs konzentriert – ihre relative Unfähigkeit, genaue Reflexionen zu erzeugen.

Aus dem Januar 2025-Papier ‘Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections’, Beispiele für ‘Reflexionsfehler’ im Vergleich zu den eigenen Ansätzen der Forscher. Quelle: https://arxiv.org/pdf/2409.14677

Dieses Problem war auch während der CGI-Ära eine Herausforderung und bleibt es in der Videospielbranche, wo Ray-Tracing-Algorithmen den Pfad von Licht simulieren, wenn es mit Oberflächen interagiert. Ray-Tracing berechnet, wie virtuelle Lichtstrahlen von Objekten abprallen oder durch sie hindurchgehen, um realistische Reflexionen, Brechungen und Schatten zu erzeugen.

Da jedoch jeder zusätzliche Abprall den Rechenaufwand stark erhöht, müssen Echtzeitanwendungen zwischen Latenz und Genauigkeit abwägen, indem sie die Anzahl der erlaubten Lichtstrahlen-Abpralle begrenzen.

Eine Darstellung eines virtuell berechneten Lichtstrahls in einer herkömmlichen 3D-basierten (d. h. CGI) Szene, die Technologien und Prinzipien verwendet, die erstmals in den 1960er Jahren entwickelt und zwischen 1982-93 (der Spanne zwischen ‘Tron’ [1982] und ‘Jurassic Park’ [1993]) zum Abschluss kamen. Quelle: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing

Zum Beispiel könnte die Darstellung eines Chromteekessels vor einem Spiegel einen Ray-Tracing-Prozess beinhalten, bei dem Lichtstrahlen wiederholt zwischen reflektierenden Oberflächen abprallen, einen fast unendlichen Schleifenprozess mit wenig praktischem Nutzen für das Endbild erzeugen. In den meisten Fällen reicht eine Reflexionstiefe von zwei bis drei Abprallen bereits aus, um das zu übersteigen, was der Betrachter wahrnehmen kann. Ein einzelner Abprall würde zu einem schwarzen Spiegel führen, da das Licht mindestens zwei Reisen zurücklegen muss, um eine sichtbare Reflexion zu bilden.

Jeder zusätzliche Abprall erhöht den Rechenaufwand stark, oft die Renderzeiten verdoppelt, und macht die schnellere Handhabung von Reflexionen eine der größten Chancen für die Verbesserung der Qualität von Ray-Tracing-Renderings.

Natürlich treten Reflexionen auf und sind für die Photorealität in weit weniger offensichtlichen Szenarien wie einer reflektierenden Straßenoberfläche oder einem Schlachtfeld nach dem Regen, der Reflexion der gegenüberliegenden Straße in einem Ladenfenster oder einer Glas Tür oder in den Brillen der dargestellten Charaktere, wo Objekte und Umgebungen erscheinen müssen, unerlässlich.

Ein simulierter Zwillingsreflex, der durch traditionelle Compositing für eine ikonische Szene in ‘The Matrix’ (1999) erreicht wurde.

Bildprobleme

Aus diesem Grund haben Frameworks, die vor der Einführung von Diffusionsmodellen populär waren, wie Neuronale Radiance-Felder (NeRF), und einige neuere Herausforderer wie Gaussian Splatting ihre eigenen Schwierigkeiten, Reflexionen auf natürliche Weise zu simulieren.

Das REF²-NeRF-Projekt (siehe unten) schlug eine NeRF-basierte Modellierungsmethode für Szenen mit einem Glaskasten vor. Bei dieser Methode wurden Reflexion und Brechung mit Elementen modelliert, die von der Perspektive des Betrachters abhängig und unabhängig waren. Dieser Ansatz ermöglichte es den Forschern, die Oberflächen zu schätzen, an denen Brechung auftrat, insbesondere Glasoberflächen, und ermöglichte die Trennung und Modellierung von direktem und reflektiertem Licht.

Beispiele aus dem Ref2Nerf-Papier. Quelle: https://arxiv.org/pdf/2311.17116

Andere NeRF-Reflexionslösungen der letzten 4-5 Jahre haben NeRFReN, Reflecting Reality und Meta’s 2024 Planar Reflection-Aware Neural Radiance Fields Projekt umfasst.

Für GSplat haben Papiere wie Mirror-3DGS, Reflective Gaussian Splatting und RefGaussian Lösungen für das Reflexionsproblem angeboten, während das 2023 Nero-Projekt einen maßgeschneiderten Ansatz zur Einbeziehung von Reflexionseigenschaften in neuronale Darstellungen vorschlug.

Spiegelwelt

Es ist schwieriger, ein Diffusionsmodell dazu zu bringen, Reflexionslogik zu respektieren, als bei explizit strukturierten, nicht-semantischen Ansätzen wie Gaussian Splatting und NeRF. In Diffusionsmodellen wird eine Regel dieser Art nur dann zuverlässig eingebettet, wenn die Trainingsdaten viele verschiedene Beispiele aus einer Vielzahl von Szenarien enthalten, was es stark von der Verteilung und Qualität des ursprünglichen Datensatzes abhängig macht.

Traditionell ist das Hinzufügen bestimmter Verhaltensweisen dieser Art die Aufgabe eines LoRA oder der Feinabstimmung des Basismodells; aber diese sind keine idealen Lösungen, da ein LoRA tendenziell die Ausgabe in Richtung seiner eigenen Trainingsdaten neigt, auch ohne Prompting, während Feinabstimmungen – abgesehen von den hohen Kosten – einen großen Modell unwiderruflich von der Hauptlinie ablenken und eine Vielzahl von benutzerdefinierten Tools hervorrufen können, die nie mit einem anderen anderen Stamm des Modells, einschließlich des ursprünglichen, funktionieren werden.

Im Allgemeinen erfordert die Verbesserung von Diffusionsmodellen, dass die Trainingsdaten mehr Aufmerksamkeit auf die Physik der Reflexion legen. Es gibt jedoch viele andere Bereiche, die ähnliche besondere Aufmerksamkeit benötigen. Im Kontext von Hyperscale-Datensätzen, bei denen benutzerdefinierte Kuratierung teuer und schwierig ist, ist es praktisch unmöglich, jede einzelne Schwäche auf diese Weise anzugehen.

Trotzdem gibt es gelegentlich Lösungen für das LDM-Reflexionsproblem. Ein jüngstes Beispiel ist das Spiegelwelt-Projekt aus Indien, das einen verbesserten Datensatz und ein Trainingsverfahren anbietet, das in der Lage ist, den aktuellen Stand der Technik in dieser speziellen Herausforderung in der Diffusionsforschung zu verbessern.

Rechts, die Ergebnisse von Spiegelwelt im Vergleich zu zwei vorherigen Ansätzen (mittlere beiden Spalten). Quelle: https://arxiv.org/pdf/2504.15397

Wie wir im obigen Beispiel (dem Titelbild im PDF der neuen Studie) sehen können, verbessert Spiegelwelt die jüngsten Angebote, die dasselbe Problem angehen, aber ist weit davon entfernt, perfekt zu sein.

Im oberen rechten Bild sehen wir, dass die Keramikgefäße etwas rechts von ihrer richtigen Position sind, und im Bild darunter, das technisch gesehen keine Reflexion des Bechers enthalten sollte, eine ungenaue Reflexion in den rechten Bereich hineingezwängt wurde, gegen die Logik natürlicher Reflexionswinkel.

Daher werden wir uns die neue Methode nicht so sehr ansehen, weil sie den aktuellen Stand der Technik in der Diffusions-Reflexion darstellt, sondern auch, um den Umfang zu verdeutlichen, in dem dies ein unüberwindbares Problem für latente Diffusionsmodelle, statische und Video-Modelle gleichermaßen, sein kann, da die erforderlichen Beispiele von Reflexivität wahrscheinlich mit bestimmten Aktionen und Szenarien verknüpft sind.

Daher kann diese bestimmte Funktion von LDMs weiterhin hinter struktur-spezifischen Ansätzen wie NeRF, GSplat und traditioneller CGI zurückbleiben.

Die neue Studie trägt den Titel Spiegelwelt: Diffusionsmodelle realistisch reflektieren und stammt von drei Forschern aus dem Vision and AI Lab, IISc Bangalore, und dem Samsung R&D Institute in Bangalore. Die Studie hat eine zugehörige Projektseite sowie ein Datensatz auf Hugging Face mit Quellcode auf GitHub.

Methode

Die Forscher betonen von Anfang an die Schwierigkeit, die Modelle wie Stable Diffusion und Flux haben, Reflexions-basierte Prompts zu respektieren, und veranschaulichen das Problem geschickt:

Aus dem Papier: Aktuelle State-of-the-Art-Text-Bild-Modelle, SD3.5 und Flux, zeigten erhebliche Herausforderungen bei der Erzeugung konsistenter und geometrisch genauer Reflexionen, wenn sie aufgefordert wurden, Reflexionen in der Szene zu generieren.

Die Forscher haben SpiegelFusion 2.0 entwickelt, ein diffusionsbasiertes generatives Modell, das darauf abzielt, die Photorealität und geometrische Genauigkeit von Spiegelreflexionen in synthetischen Bildern zu verbessern. Die Trainingsdaten für das Modell basierten auf dem eigenen neu kuratierten Datensatz der Forscher, der SpiegelGen2 heißt und darauf abzielt, die Generalisierungsschwächen zu adressieren, die in vorherigen Ansätzen beobachtet wurden.

SpiegelGen2 erweitert frühere Methoden, indem es zufällige Objektpositionierung, zufällige Rotationen und explizite Objektverankerung einführt, mit dem Ziel, sicherzustellen, dass Reflexionen über eine breitere Palette von Objektposen und -platzierungen im Verhältnis zur Spiegelfläche plausibel bleiben.

Schema für die Generierung von synthetischen Daten in Spiegelwelt: Die Datengenerierungspipeline wendete wichtige Augmentierungen an, indem sie Objekte zufällig positionierte, rotierte und in der Szene verankerte, wobei der 3D-Positionierer verwendet wurde.

Um die Fähigkeit des Modells zu stärken, komplexe räumliche Anordnungen zu handhaben, integrierte die SpiegelGen2-Pipeline gepaarte Objektszenen, was es dem System ermöglichte, Okklusionen und Interaktionen zwischen mehreren Elementen in reflektierenden Umgebungen besser darzustellen.

Das Papier besagt:

‘Kategorien werden manuell gepaart, um semantische Kohärenz zu gewährleisten – zum Beispiel, ein Stuhl mit einem Tisch zu paaren. Während der Rendering, nach der Positionierung und Rotation des primären [Objekts], wird ein zusätzliches [Objekt] aus der gepaarten Kategorie ausgewählt und so angeordnet, dass es nicht überlappt, was unterschiedliche räumliche Bereiche in der Szene schafft.’

In Bezug auf die explizite Objektverankerung stellten die Autoren sicher, dass die generierten Objekte “verankert” auf dem Boden in den synthetischen Daten waren, anstatt “schwebend” unangemessen, was bei der Generierung von synthetischen Daten im großen Maßstab oder mit hochautomatisierten Methoden auftreten kann.

Da die Datensatzinnovation zentral für die Neuheit des Papiers ist, werden wir früher als üblich zu diesem Abschnitt des Artikels übergehen.

Daten und Tests

SynMirrorV2

Der SynMirrorV2-Datensatz der Forscher wurde konzipiert, um die Vielfalt und Realität von Spiegelreflexions-Trainingsdaten zu verbessern, mit 3D-Objekten aus dem Objaverse und Amazon Berkeley Objects (ABO) -Datensätzen, die anschließend durch OBJECT 3DIT sowie den Filterprozess aus dem V1 SpiegelFusion-Projekt verfeinert wurden, um niedrigwertige Assets zu eliminieren. Dies führte zu einem verfeinerten Pool von 66.062 Objekten.

Beispiele aus dem Objaverse-Datensatz, der für die Erstellung des kuratierten Datensatzes für das neue System verwendet wurde. Quelle: https://arxiv.org/pdf/2212.08051

Szenenkonstruktion umfasste das Platzieren dieser Objekte auf texturierten Böden aus CC-Textures und HDRI-Hintergründen aus dem PolyHaven -CGI-Repository, wobei entweder vollständige Wände oder hohe rechteckige Spiegel verwendet wurden. Die Beleuchtung wurde standardisiert mit einer Flächenbeleuchtung, die über und hinter den Objekten bei einem 45-Grad-Winkel positioniert war. Objekte wurden skaliert, um in einem Einheitswürfel zu passen, und positioniert, indem eine vorkomputierte Schnittmenge des Spiegels und der Kamera-Sichtfrustums verwendet wurde, um Sichtbarkeit zu gewährleisten.

Zufällige Rotationen wurden um die y-Achse angewendet und eine Verankerungstechnik verwendet, um “schwebende Artefakte” zu vermeiden.

Um komplexere Szenen zu simulieren, wurden auch mehrere Objekte in semantisch kohärenten Paarungen basierend auf ABO-Kategorien angeordnet. Sekundäre Objekte wurden so platziert, dass sie nicht überlappten, was 3.140 Multi-Objekt-Szenen ergab, die darauf ausgelegt waren, unterschiedliche Okklusionen und Tiefenbeziehungen zu erfassen.

Beispiele für gerenderte Ansichten aus dem Datensatz der Autoren, der mehrere (mehr als zwei) Objekte enthält, mit Illustrationen von Objektsegmentierung und Tiefenkartendarstellungen unten.

Trainingsprozess

Die Forscher haben anerkannt, dass reine synthetische Realität allein nicht ausreicht, um robuste Generalisierung auf reale Daten zu gewährleisten, und haben daher einen dreistufigen Lernprozess für die Trainierung von SpiegelFusion 2.0 entwickelt.

In Phase 1 initialisierten die Autoren die Gewichte beider Zweige, des Konditionierungs- und des Generierungs-Zweigs, mit dem Stable-Diffusion-v1.5-Checkpoint und feinabstimmten das Modell auf dem Single-Object-Trainings-Split des SynMirrorV2-Datensatzes. Im Gegensatz zum oben erwähnten Reflecting Reality-Projekt gefroren die Forscher den Generierungs-Zweig nicht ein. Sie trainierten das Modell dann für 40.000 Iterationen.

In Phase 2 feinabstimmten die Forscher das Modell für weitere 10.000 Iterationen auf dem Multi-Object-Trainings-Split des SynMirrorV2-Datensatzes, um das System zu lehren, Okklusionen und komplexere räumliche Anordnungen in realistischen Szenen zu handhaben.

Schließlich führten die Forscher in Phase 3 eine weitere Feinabstimmung von 10.000 Iterationen mit realen Daten aus dem MSD-Datensatz durch, wobei sie Tiefenkartendaten verwendeten, die mit dem Matterport3D-Monokular-Tiefenschätzer generiert wurden.

Beispiele aus dem MSD-Datensatz, mit realen Szenen, die in Tiefen- und Segmentierungskarten analysiert wurden. Quelle: https://arxiv.org/pdf/1908.09101

Während der Trainierung wurden Text-Prompts für 20 Prozent der Trainingszeit weggelassen, um das Modell zu ermutigen, die verfügbaren Tiefeninformationen optimal zu nutzen (d. h. ein “maskierter” Ansatz).

Die Trainierung fand auf vier NVIDIA-A100-GPUs für alle Phasen statt (die VRAM-Spezifikation wird nicht angegeben, aber es wäre 40 GB oder 80 GB pro Karte gewesen). Ein Lernrate von 1e^-5 wurde mit einem Batch-Größe von 4 pro GPU unter dem AdamW-Optimizer verwendet.

Dieses Trainingsverfahren erhöhte schrittweise die Schwierigkeit der Aufgaben, die dem Modell präsentiert wurden, beginnend mit einfacheren synthetischen Szenen und fortschreitend zu komplexeren Kompositionen, mit dem Ziel, robuste Realwelt-Übertragbarkeit zu entwickeln.

Testen

Die Autoren bewerteten SpiegelFusion 2.0 gegen den vorherigen Stand der Technik, SpiegelFusion, der als Basis diente, und führten Experimente auf dem MirrorBenchV2-Datensatz durch, der sowohl Single- als auch Multi-Objekt-Szenen abdeckte.

Zusätzliche qualitative Tests wurden auf Proben aus dem MSD-Datensatz und dem Google Scanned Objects (GSO) -Datensatz durchgeführt.

Die Bewertung verwendete 2.991 Single-Object-Bilder aus gesehenen und nicht gesehenen Kategorien und 300 Zwei-Objekt-Szenen aus ABO. Die Leistung wurde mit Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); und Learned Perceptual Image Patch Similarity (LPIPS) -Werten bewertet, um die Reflexionsqualität auf dem maskierten Spiegelbereich zu bewerten. CLIP-Ähnlichkeit wurde verwendet, um die textuelle Ausrichtung mit den Eingabe-Prompts zu bewerten.

Bei quantitativen Tests generierten die Autoren Bilder mit vier Seeds für einen bestimmten Prompt und wählten das resultierende Bild mit dem besten SSIM-Score aus. Die beiden in den Ergebnistabellen aufgeführten Tabellen für die quantitativen Tests sind unten dargestellt.

Links, quantitative Ergebnisse für die Qualität der Single-Object-Reflexionserzeugung auf dem MirrorBenchV2-Single-Object-Split. SpiegelFusion 2.0 übertraf die Basis, mit den besten Ergebnissen in Fettdruck. Rechts, quantitative Ergebnisse für die Qualität der Multi-Object-Reflexionserzeugung auf dem MirrorBenchV2-Multi-Object-Split.

Die Autoren kommentieren:

‘Die Ergebnisse zeigen, dass unsere Methode die Basis-Methode übertrifft und die Feinabstimmung auf mehrere Objekte die Ergebnisse in komplexen Szenen verbessert.’

Die meisten Ergebnisse und die von den Autoren hervorgehobenen Ergebnisse beziehen sich auf qualitative Tests. Aufgrund der Dimensionen dieser Abbildungen können wir nur teilweise die Beispiele aus dem Papier reproduzieren.

Vergleich auf MirrorBenchV2: Die Basis-Methode konnte keine genauen Reflexionen und räumliche Konsistenz aufrechterhalten und zeigte eine falsche Stuhl-Orientierung und verzerrte Reflexionen mehrerer Objekte, während (die Autoren behaupten) SpiegelFusion 2.0 den Stuhl und die Sofas korrekt wiedergibt, mit genauer Position, Orientierung und Struktur.

Von diesen subjektiven Ergebnissen sind die Forscher der Meinung, dass das Basis-Modell nicht in der Lage war, die Objekt-Orientierung und räumlichen Beziehungen in Reflexionen genau wiederzugeben und oft Artefakte wie falsche Rotation und schwebende Objekte produzierte. SpiegelFusion 2.0, trainiert auf SynMirrorV2, bewahrt (die Autoren behaupten) die korrekte Objekt-Orientierung und -Positionierung in Single-Object- und Multi-Object-Szenen, was zu realistischeren und kohärenteren Reflexionen führt.

Unten sehen wir qualitative Ergebnisse auf dem oben erwähnten GSO-Datensatz:

Vergleich auf dem GSO-Datensatz. Die Basis-Methode verfälschte die Objektstruktur und produzierte unvollständige, verzerrte Reflexionen, während SpiegelFusion 2.0, (die Autoren behaupten), räumliche Integrität bewahrt und genaue Geometrie, Farbe und Details erzeugt, sogar bei Objekten, die nicht im Trainingsdatensatz enthalten sind.

Hier kommentieren die Autoren:

‘SpiegelFusion 2.0 erzeugt wesentlich genauere und realistischere Reflexionen. Zum Beispiel spiegelt SpiegelFusion 2.0 in Abbildung 5 (a – oben) die Schubladen-Griffe (grün hervorgehoben) korrekt wider, während das Basis-Modell eine unplausible Reflexion (rot hervorgehoben) produziert.

‘Ebenso liefert SpiegelFusion 2.0 für den “Weiß-Gelb-Becher” in Abbildung 5 (b) eine überzeugende Geometrie mit minimalen Artefakten, im Gegensatz zur Basis-Methode, die nicht in der Lage ist, die Geometrie und Erscheinung des Objekts genau zu erfassen.’

Der letzte qualitative Test wurde gegen den oben erwähnten realen MSD-Datensatz (teilweise Ergebnisse unten) durchgeführt:

Ergebnisse in realen Szenen, die SpiegelFusion, SpiegelFusion 2.0 und SpiegelFusion 2.0 vergleichen, die auf dem MSD-Datensatz feinabgestimmt wurden.

Die Autoren bemerken, dass SpiegelFusion 2.0 auf dem MSD-Datensatz anfangs mit komplexen realen Szenen zu kämpfen hatte. Die Feinabstimmung des Modells auf einem Teil des MSD-Datensatzes verbesserte jedoch seine Fähigkeit, verstreute Umgebungen und mehrere Spiegel zu handhaben, was zu kohärenteren und detaillierteren Reflexionen auf dem Test-Teil führte.

Zusätzlich wurde eine Benutzerstudie durchgeführt, bei der 84 Prozent der Benutzer die Generierungen von SpiegelFusion 2.0 der Basis-Methode vorzogen.

Ergebnisse der Benutzerstudie.

Da die Details der Benutzerstudie dem Anhang des Papiers zugeordnet wurden, verweisen wir den Leser darauf, um die spezifischen Details der Studie zu erfahren.

Fazit

Obwohl einige der im Papier gezeigten Ergebnisse bemerkenswerte Verbesserungen gegenüber dem aktuellen Stand der Technik sind, ist der aktuelle Stand der Technik in diesem speziellen Bereich so schlecht, dass sogar eine unüberzeugende Gesamtlösung mit minimalem Aufwand siegen kann. Die grundlegende Architektur eines Diffusionsmodells ist der zuverlässigen Erlernung und Demonstration konsistenter Physik nicht zugänglich, so dass das Problem schlecht gestellt ist und offensichtlich nicht auf eine elegante Lösung ausgerichtet ist.

Weiterhin ist das Hinzufügen von Daten zu bestehenden Modellen bereits die Standardmethode, um Mängel in der LDM-Leistung auszugleichen, mit allen oben genannten Nachteilen. Es ist vernünftig anzunehmen, dass wenn zukünftige Hochskalendatensätze mehr Aufmerksamkeit auf die Verteilung (und Annotation) von reflexionsbezogenen Datenpunkten legen, wir erwarten können, dass die resultierenden Modelle diese Situation besser handhaben werden.

Dennoch ist das Gleiche wahr für mehrere andere Schwächen in der LDM-Ausgabe – wer kann sagen, welche davon am meisten die Anstrengung und den Aufwand verdient, die in die Art von Lösung investiert werden, die die Autoren des neuen Papiers hier vorschlagen?

Erstveröffentlicht am Montag, den 28. April 2025. Dienstag, 29. April: Grammatikkorrektur in den letzten Absätzen vorgenommen.