Opravování omezeného chápání difuzních modelů pro zrcadla a odrazy

Od doby, kdy začal generativní umělý inteligence poutat veřejnou pozornost, se výzkum v oblasti počítačového vidění soustředil na vývoj modelů umělých inteligencí, které jsou schopné pochopit a replikovat fyzikální zákony; nicméně, výzvou pro výzkum je učení se strojovým systémům simulovat jevy, jako je gravitace a dynamika kapalin, což je významným zaměřením výzkumných úsilí minimálně za posledních pět let.

Od doby, kdy latentní difuzní modely (LDM) začaly dominovat scéně generativního umělého inteligence v roce 2022, výzkumníci se zaměřili na omezenou kapacitu architektury LDM pro pochopení a reprodukci fyzikálních jevů. Nyní získala tato otázka další význam s rozvojem generativního video modelu Sora a (sporně) ještě významnějším nedávným vydáním otevřeného zdrojového video modelu Hunyuan Video a Wan 2.1.

Odrážející se špatně

Většina výzkumu zaměřeného na zlepšení chápání fyziky LDM se soustředila na oblasti, jako je simulace chůze, částicová fyzika a další aspekty newtonovského pohybu. Tyto oblasti získaly pozornost, protože nepřesnosti v základních fyzikálních chováních by okamžitě podkopaly autenticitu umělým inteligencí generovaných videí.

Jedna malá, ale rostoucí větev výzkumu se soustředí na jednu z největších slabin LDM – jejich relativní neschopnost produkovat přesné odrazy.

Z lednového článku 2025 ‘Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections’, příklady ‘selhání odrazu’ versus přístup výzkumníků. Zdroj: https://arxiv.org/pdf/2409.14677

Tato otázka byla také výzvou během éry CGI a zůstává jím v oblasti videoher, kde ray-tracing algoritmy simulují cestu světla, jak interaguje se povrchy. Ray-tracing počítá, jak virtuální světelné paprsky se odrážejí nebo procházejí objekty, aby vytvořily realistické odrazy, lomy a stíny.

Jednak protože každý další odraz výrazně zvyšuje výpočetní náklady, aplikace v reálném čase musí obchodovat mezi latencí a přesností omezením počtu povolených odrazů světelných paprsků.

Reprezentace virtuálně vypočítaného světelného paprsku v tradiční 3D scéně, pomocí technologií a principů poprvé vyvinutých v 60. letech a které dosáhly svého vrcholu mezi lety 1982-1993 (mezi filmy Tron [1982] a Jurským parkem [1993]). Zdroj: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing

Problémy s obrazem

Pro tuto причину, rámce, které byly populární před vznikem difuzních modelů, jako je Neuronová radiance pole (NeRF), a některé novější výzvy, jako je Gaussovský splat, měly své vlastní potíže s enactováním odrazů přirozeným způsobem.

REF²-NeRF projekt (zobrazený níže) navrhl NeRF-založený modelovací metodu pro scény obsahující skleněnou vitrínu. V této metodě byly lom a odraz modelovány pomocí prvků, které byly závislé a nezávislé na perspektivě diváka. Tento přístup umožnil výzkumníkům odhadnout povrchy, kde došlo k lomu, konkrétně skleněné povrchy, a umožnil separaci a modelování přímého a odraženého světla.

Příklady z článku Ref2Nerf. Zdroj: https://arxiv.org/pdf/2311.17116

Jiné NeRF-obličné řešení odrazů za posledních 4-5 let zahrnovaly NeRFReN, Reflecting Reality, a Meta’s 2024 Planar Reflection-Aware Neural Radiance Fields projekt.

Pro GSplat, články jako Mirror-3DGS, Reflective Gaussian Splatting, a RefGaussian nabízely řešení týkající se problému odrazu, zatímco 2023 Nero projekt navrhl speciální metodu pro začlenění reflexivních vlastností do neuronových reprezentací.

Zrcadlový svět

Získání difuzního modelu, aby respektoval logiku odrazu, je zřejmě obtížnější než u explicitně strukturálních, ne-semantických přístupů, jako je Gaussovský splat a NeRF. V difuzních modelech je pravidlo tohoto typu pravděpodobně pouze spolehlivě zakotveno, pokud jsou v trénovací datové sadě obsaženy mnoha různými příklady napříč širokým spektrem scénářů, což je silně závislé na distribuci a kvalitě původní datové sady.

Tradičně, přidání konkrétních chování tohoto druhu je doménou LoRA nebo fajn-tunování základního modelu; ale tyto nejsou ideálními řešeními, protože LoRA tenduje ke zkreslení výstupu směrem ke svým vlastním trénovacím datům, i bez podnětu, zatímco fajn-tunování – kromě toho, že je nákladné – může odvětvit hlavní model nezvratně od mainstreamu a vyvolat řadu souvisejících vlastních nástrojů, které nikdy nebudou fungovat s žádnou jinou linií modelu, včetně původní.

Obecně, zlepšování difuzních modelů vyžaduje, aby trénovací data věnovala větší pozornost fyzice odrazu. Nicméně, mnoho dalších oblastí také potřebuje podobnou zvláštní pozornost. V kontextu hyperscale datových sad, kde je vlastní kurace nákladná a obtížná, řešení každé jednotlivé slabiny tímto způsobem je nerealistické.

Přesto, řešení problému odrazu LDM se občas objevují. Jedna nedávná taková snaha, z Indie, je Zrcadlový svět projekt, který nabízí vylepšenou datovou sadu a trénovací metodu schopnou zlepšit stav současného umění v této konkrétní výzvě v difuzním výzkumu.

Pravý, výsledky z MirrorVerse proti dvěma předchozím přístupům (střední dvě sloupce). Zdroj: https://arxiv.org/pdf/2504.15397

Jako můžeme vidět v příkladu výše (titulní obrázek v PDF nového studie), MirrorVerse zlepšuje nedávné nabídky, které řeší stejný problém, ale je daleko od dokonalosti.

V horním pravém obrázku vidíme, že keramické nádoby jsou somewhat vpravo od místa, kde by měly být, a v obrázku níže, který by technicky neměl obsahovat odraz šálku, je nesprávný odraz vpravo, proti logice přirozených úhlů odrazu.

Proto se budeme zabývat novou metodou ne tak, že by mohla reprezentovat současný stav současného umění v difuzním odrazu, ale také, aby ilustrovala rozsah, v jakém se tato otázka může ukázat jako neřešitelná pro latentní difuzní modely, statické i video, protože požadované datové příklady odrazivosti jsou pravděpodobně propojeny s konkrétními akcemi a scénáři.

Proto tato konkrétní funkce LDM může pokračovat v selhávání ve srovnání se strukturálně-specifickými přístupy, jako je NeRF, GSplat a tradiční CGI.

Nový článek se nazývá MirrorVerse: Tlačení difuzních modelů k realistickému odrazu světa a pochází od tří výzkumníků z Vision and AI Lab, IISc Bangalore, a Samsung R&D Institute v Bangalore. Článek má související projektovou stránku, stejně jako datovou sadu na Hugging Face, se zdrojovým kódem vydaným na GitHubu.

Metoda

Výzkumníci si uvědomují od začátku obtíže, se kterými se modely, jako je Stable Diffusion a Flux, setkávají při respektování odrazů založených na podnětech, ilustrují tuto otázku obratně:

Z článku: Současný stav současného umění text-to-image modelů, SD3.5 a Flux, vykazoval významné problémy při generování konzistentních a geometricky přesných odrazů, když byli požádáni o generování odrazů ve scéně.

Výzkumníci vyvinuli MirrorFusion 2.0, difuzní generativní model zaměřený na zlepšení fotorealistického a geometricky přesného odrazu zrcadel v syntetických obrazech. Trénování modelu bylo založeno na vlastním nově-kurátorované datové sadě, nazvané MirrorGen2, navrženém tak, aby řešil slabiny obecnosti pozorované v předchozích přístupech.

MirrorGen2 rozšiřuje předchozí metodologie o náhodné umístění objektů, náhodné rotace, a explicitní zakotvení objektů, s cílem zajistit, aby odrazy zůstaly věrohodné napříč širším spektrem objektových pozic a umístění relativně ke zrcadlové ploše.

Schéma pro generování syntetických dat v MirrorVerse: dataset generovací pipeline aplikovala klíčová rozšíření náhodným umístěním, rotací a zakotvením objektů ve scéně pomocí 3D-Positioner. Objekty jsou také párovány v sémanticky konzistentních kombinacích, aby simulovaly komplexní prostorové vztahy a překrytí, umožňující datové sadě zachytit více realistických interakcí v multiobjektových scénách.

Pro další posílení schopnosti modelu zpracovat komplexní prostorová uspořádání, MirrorGen2 pipeline zahrnuje párové scény objektů, umožňující systému lépe reprezentovat překrytí a interakce mezi více prvky v odrazivých scénách.

Článek uvádí:

‘Kategorie jsou ručně párovány, aby zajistily sémantickou koherenci – například, párování židle se stolkem. Během renderování, po umístění a rotaci primárního [objektu], je vybrán a umístěn další [objekt] z párované kategorie, aby se zabránilo překrytí, zajišťující odlišné prostorové regiony ve scéně.’

Co se týče explicitního zakotvení objektů, zde autoři zajistili, aby generované objekty byly “zakotveny” na zemi ve syntetických datech, místo aby “plavaly” nevhodně, což může nastat, když jsou syntetická data generována ve velkém měřítku nebo s vysoce automatizovanými metodami.

Pokud je inovace datové sady centrálním novým prvkem článku, budeme postupovat dříve, než obvykle, do této části pokrytí.

Data a testy

SynMirrorV2

Výzkumníci vytvořili SynMirrorV2 datovou sadu, aby zlepšili rozmanitost a realističnost trénovacích dat zrcadlových odrazů, obsahující 3D objekty z Objaverse a Amazon Berkeley Objects (ABO) datových sad, s těmito výběry následně rafinovanými prostřednictvím OBJECT 3DIT, stejně jako filtrovací proces z V1 MirrorFusion projektu, aby eliminovaly nízkokvalitní assety. To vedlo k rafinované sadě 66 062 objektů.

Příklady z Objaverse datové sady, použité při vytváření kurátorované datové sady pro nový systém. Zdroj: https://arxiv.org/pdf/2212.08051

Stavba scény zahrnovala umístění těchto objektů na texturované podlahy z CC-Textures a HDRI pozadí z PolyHaven CGI repozitáře, pomocí buď plné zdi nebo vysoké obdélníkové zrcadlo. Osvětlení bylo standardizováno s area-light umístěným nad a za objekty, v úhlu 45 stupňů. Objekty byly měřítkovány, aby se vešly do jednotkové kostky a umístěny pomocí předem vypočítaného průniku zrcadla a kamery frustum, zajišťující viditelnost.

Náhodné rotace byly aplikovány kolem y-osy, a technika zakotvení byla použita, aby se zabránilo “plujícímu” artifactům.

Pro simulaci složitějších scén, datová sada také zahrnovala více objektů uspořádaných podle sémanticky konzistentních párování založených na ABO kategoriích. Sekundární objekty byly umístěny, aby se zabránilo překrytí, vytvářející 3 140 multiobjektových scén, navržených tak, aby zachytili různé překrytí a hloubkové vztahy.

Příklady renderovaných pohledů z autorů datové sady obsahující více než dva objekty, s ilustracemi objektové segmentace a hloubkových map vizualizací níže.

Trénovací proces

Přiznávajíce, že syntetická realističnost sama o sobě byla nedostatečná pro robustní generalizaci na reálná data, výzkumníci vyvinuli tří-etapový kurikulární trénovací proces pro MirrorFusion 2.0.

V Etapě 1, autoři inicializovali váhy obou kondicionálních a generativních větví se Stable Diffusion v1.5 checkpointem, a fine-tunovali model na single-object trénovací split SynMirrorV2 datové sady. Na rozdíl od výše zmíněného Reflecting Reality projektu, výzkumníci nezamrzli generativní větev. Poté trénovali model po 40 000 iteracích.

V Etapě 2, model byl fine-tunován po dalších 10 000 iteracích, na multiple-object trénovací split SynMirrorV2, aby učil systém zpracovat překrytí a složitější prostorová uspořádání nalezená v realistických scénách.

Nakonec, v Etapě 3, byly provedeny další 10 000 iterací fine-tunování, pomocí reálných dat z MSD datové sady, pomocí hloubkových map generovaných Matterport3D monokulárním hloubkovým odhadem.

Příklady z MSD datové sady, s reálnými scénami analyzovanými do hloubkových a segmentačních map. Zdroj: https://arxiv.org/pdf/1908.09101

Během trénování, textové podněty byly vynechány pro 20 procent trénovací doby, aby se modelu umožnilo optimálně využít dostupné hloubkové informace (tj. “maskovaný” přístup).

Trénování probíhalo na čtyřech NVIDIA A100 GPU pro všechny etapy (specifikace VRAM nebyla uvedena, ale byla by 40GB nebo 80GB na kartu). Bylo použito učení s rychlostí 1e^-5 na batch size 4 na GPU, pod AdamW optimalizátor.

Tento trénovací schéma postupně zvyšovalo obtížnost úkolů prezentovaných modelu, začínající s jednoduššími syntetickými scénami a postupující směrem k složitějším kompozicím, s cílem rozvíjet robustní přenositelnost do reálného světa.

Testování

Autoři vyhodnotili MirrorFusion 2.0 proti předchozímu stavu současného umění, MirrorFusion, který sloužil jako baseline, a provedli experimenty na MirrorBenchV2 datové sadě, pokrývající jak single-object, tak multi-object scény.

Další kvalitativní testy byly provedeny na vzorcích z MSD datové sady a Google Scanned Objects (GSO) datové sady.

Hodnocení použilo 2 991 single-object obrázků z viděných a neviditelných kategorií a 300 dvouobjektových scén z ABO. Výkon byl měřen pomocí Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); a Learned Perceptual Image Patch Similarity (LPIPS) skóre, aby zhodnotil kvalitu odrazu na maskovaném zrcadlovém regionu. CLIP podobnost byla použita pro hodnocení textové shody s vstupními podněty.

Při kvantitativních testech, autoři generovali obrázky pomocí čtyř semen pro konkrétní podnět, a vybrali výsledný obrázek s nejlepší SSIM skóre. Dvě tabulky výsledků pro kvantitativní testy jsou zobrazeny níže.

Vlevo, kvantitativní výsledky pro single-object odraz generování kvality na MirrorBenchV2 single object split. MirrorFusion 2.0 překonal baseline, s nejlepšími výsledky zvýrazněnými tučně. Vpravo, kvantitativní výsledky pro multiple object odraz generování kvality na MirrorBenchV2 multiple object split. MirrorFusion 2.0 trénovaný s více objekty překonal verzi trénovanou bez nich, s nejlepšími výsledky zvýrazněnými tučně.

Autoři komentují:

‘[Výsledky] ukazují, že naše metoda překonala baseline metodu a fine-tunování na více objektech zlepšilo výsledky na složitých scénách.’

‘MirrorFusion 2.0 generuje významně přesnější a realističtější odrazy. Například, v Obr. 5 (a – výše), MirrorFusion 2.0 správně odráží držáky zásuvek (zvýrazněno zeleně), zatímco baseline model produkuje nereálný odraz (zvýrazněno červeně). ‘

‘Podobně, pro “Bílo-žlutou konvici” v Obr. 5 (b), MirrorFusion 2.0 dodává přesvědčivou geometrii s minimálními artefakty, na rozdíl od baseline, který selhává při zachycení objektové geometrie a vzhledu.’

Konečný kvalitativní test byl proti výše zmíněné reálné MSD datové sadě (částečné výsledky jsou zobrazeny níže):

Reálné scénové výsledky srovnávající MirrorFusion, MirrorFusion 2.0 a MirrorFusion 2.0, fine-tunovaný na MSD datové sadě. MirrorFusion 2.0, autoři tvrdí, zachycuje komplexní scénové detaily přesněji, včetně zahuštěných objektů na stole a přítomnosti více zrcadel v trojrozměrném prostředí. Pouze částečné výsledky jsou zde zobrazeny, kvůli rozměrům výsledků v původním článku, na který se odkazujeme pro úplné výsledky a lepší rozlišení.

Zde autoři pozorují, že zatímco MirrorFusion 2.0 fungoval dobře na MirrorBenchV2 a GSO datech, počátečně bojoval s komplexními reálnými scénami v MSD datové sadě. Fine-tunování modelu na podmnožině MSD zlepšilo jeho schopnost zpracovat zahuštěná prostředí a více zrcadel, vedoucí k více koherentním a detailním odrazům na testovacím splitu.

Dále, byla provedena uživatelská studie, ve které 84 % uživatelů mělo přednost generací z MirrorFusion 2.0 oproti baseline metodě.

Výsledky uživatelské studie.

Jelikož detaily uživatelské studie byly relegovány do appendixu článku, odkazujeme čtenáře tam pro konkrétní detaily studie.

Závěr

Přestože beberapa výsledků prezentovaných v článku jsou působivá zlepšení oproti současnému stavu, současný stav tohoto konkrétního úsilí je tak špatný, že i ne příliš přesvědčivé agregované řešení může vyhrát s minimálním úsilím. Základní architektura difuzního modelu je nepříznivá pro spolehlivé učení a demonstraci konzistentní fyziky, takže problém je špatně formulován a zdá se, že není nakloněn k elegantnímu řešení.

Dále, přidání dat do existujících modelů je již standardní metodou pro řešení nedostatků v LDM výkonu, se všemi nevýhodami, které jsou uvedeny výše. Je rozumné předpokládat, že pokud budou budoucí high-scale datové sady věnovat více pozornosti distribuci (a anotaci) datových bodů souvisejících s odrazem, můžeme očekávat, že výsledné modely budou zpracovávat tuto scénu lépe.

Jednak totéž platí pro mnoho dalších problémů v LDM výstupu – kdo může říci, které z nich nejvíce засluhuje úsilí a peníze zapojené do druhu řešení, který autoři nového článku navrhují zde?

Poprvé publikováno v pondělí, 28. dubna 2025. Úterý, 29. dubna: provedena gramatická korekce v závěrečných odstavcích.