Tekoälyllä generoidut kuvat HDR-valossa

Tehtävä on haasteellinen, sillä tekoälykuvat ja -videot eivät ole ammattilaisten tasolla – ongelmaa yritetään ratkaista uudella tutkimushankkeella.

Amatöörikuvaajien ja ammattilaisten välillä on yksi merkittävä ero: ammattilaiset pyrkivät aina käyttämään laadukkaita kuvia ja videoita, jotka vastaavat ammattilaisten vaatimuksia. Tähän kuuluu myös kyky työskennellä korkean dynamiikan alueella (HDR) kuvien ja videoiden kanssa.

HDR-kuvat ovat nykyaikainen vastine 1800- ja 1900-luvun valokuvauksen menetelmälle, jossa sama kuva otetaan useita kertoja eri valaistusolosuhteissa:

Yllä, lyhyt bracketoitujen kuvien sarja. Alhaalla, korkean dynamiikan alue, joka voidaan johtaa näistä kuvista yhteen kuvaan. Lähde

Perinteisessä valokuvauksessa tämä johti useisiin eri kuviin, jotka voitiin yhdistää yhdeksi kuvaksi, joka hyötyi eri valaistusolosuhteiden tarjoamista yksityiskohdista. Tämä ei kuitenkaan ollut helppoa.

Nykyään “auto-bracketoidun” kuvien sarja voidaan joko yhdistää yhdeksi HDR-kuvaksi – käytännössä useita valotusarvoja yhdessä kuvassa, jonka HDR-kuvanmuokkausohjelmat kuten Photoshop voivat käsitellä ja jota valokuvaaja voi ohjata yhdeksi ihanteelliseksi lopputulokseksi.

Jos ihmettelet, miksi sinun pitäisi välittää tai miten tämä vaikuttaa omaan valokuvaukseesi, tämän artikkelin kuvitus on tarkoitettu osoittamaan tämä tuttu tapa:

Yllä vasemmalla on tyypillinen esimerkki sRGB-kuvasta (eli ei-HDR-kuvasta). Pelkästään kuvan kirkastaminen (oikealla) ei paljasta hirviötä kaapissa, koska yksityiskohta hukattiin, kun valokuvaaja ja kameran automaattiset prosessit päättivät, mitä kuvassa priorisoida:

Alempana on osoitus (vasemmalla) siitä, miten “valaistunut” etualan pitäisi olla valotusajankohtana rekisteröidäkseen hirviön, ja (oikealla) miten hirviö joutuu pimeään, kun valotus tehdään sopivaksi hyvin valaistuille etualan kohteille:

Alempana näemme, minkälaisia yksityiskohtia voidaan “pelastaa” HDR-kuvasarjasta tai -kuvasta. Tässä tapauksessa hirviö “piili” kuvan alimmassa näkyvissä olevassa rekisterissä, jossa muu sisältö olisi “palanut” lähes valkoiseksi (yllä vasemmalla). Määrittelemällä, että laaja valaistusalue esitetään valikoivasti samassa kuvassa, nämä ristiriitaiset elementit voidaan yhdistää yhdeksi järkevään kuvaan:

Ei-HDR-kuva tunnetaan nimellä “näyttöön viittaava kuva”, ja korkean dynamiikan HDR-kuva tunnetaan nimellä “kohtaukseen viittaava kuva”.

HDR-videot ovat myös olemassa, ja tämänkaltaisen sävyasteen joustavuus ja muokattavuus antavat elokuvantekijöille paljon luovuutta pelastaa, säätää ja tulkita kuvamateriaalia monin eri tavoilla; ei ole siis yllättävää, että luovien tekijöiden on vaikea työskennellä “tasatun” sRGB-lähtöisen tekoälygeneraattorin kanssa.

HDR tekoälyssä

Luonnollisesti tutkimusala on kiinnostunut siirtämään tekoälygeneraattorit HDR-aikakauteen. Tämä ei kuitenkaan ole triviaali tehtävä, sillä sekä diffuusiopohjaisten generatiivisten järjestelmien perusrakenteen että hyvän HDR-aineiston suuren tallennustilankäytön vuoksi; tästä syystä soveltuvia aineistoja on niukasti saatavilla.

Tämän ongelman ratkaisemiseksi Singaporen yliopiston ja Adoben tutkimusyhteistyö tarjoaa menetelmän HDR-kuvasarjojen tuottamiseksi, jota voidaan soveltaa myös videoihin:

Hankkeen sivustolta uuden työn esimerkkejä ‘bracketoiduista’ teksti-kuva-tuloksista. Lähde

Uusi järjestelmä luo useita saman kuvan versioita eri kirkkausarvoilla ja oppii, kuinka kirkas kohtaus todella on, ja yhdistää nämä yhdeksi tulokseksi, joka säilyttää yksityiskohdat sekä varjoissa että valaistuksessa, mahdollistaen myöhemmät valotus- tai väriosoitukset, jotka muistuttavat enemmän oikean kameran kuvaamista kuin lopullisen, prosessoidun kuvan hauraita säätöjä.

Järjestelmä hyödyntää useita eri malleja, mukaan lukien Qwen- ja Flux-variantit:

Uuden tutkimuksen esimerkkejä, jotka osoittavat, miten järjestelmä voi generoida useita valotusversioita samasta kohtauksesta pitäen saman rakenteen kiinni. Aloittaen yksinkertaisesta reunakartasta malli tuottaa johdonmukaisia kuvia erittäin tummista ja erittäin kirkkaisiin asetuksiin, riippumatta siitä, kuvaako teksti kuuta, auringonvaloa, auringonlaskua tai jopa pientä esinettä, kuten ilmapalloa, kohteen ja sommitelun pysyessä vakaana, kun ainoastaan valaistus muuttuu. Lähde

Tekijät toteavat:

‘Lineaarisia kuvia on haasteellista generoida, koska esikoulutetut VAE:t latenttisissa diffuusiomalleissa kamppailevat säilyttää äärimmäisiä korkeuksia ja varjoja dynamiikan ja bittisyvyyden vuoksi.

‘Tätä varten edustamme lineaarista kuvaa valotusbracketeiden sarjana, jokainen jolla on tietty osuus dynamiikasta, ja ehdotamme DiT-pohjaista flow-matching-arkkitehtuuria teksti-ohjatuille valotusbracketeiden generoimiseksi.

‘Lisäksi osoitamme sovelluksia, kuten teksti-ohjattua lineaarista kuvanmuokkausta ja rakenteen ohjaamaa generointia ControlNetin avulla.’

Uusi tutkimus on nimeltään Lineaarisen kuvan generointi valotusbracketeiden synteesin kautta, ja se on neljän tekijän yhteistyö S-Labin, Nanyangin teknillisen yliopiston, Adoben NextCam-tutkimuksen ja Adoben tutkimuksen välillä. Lisäksi tutkimuksen sivuston ja YouTube-videon ohella on myös (tällä hetkellä vähäinen) GitHub-arkisto, ja luvattu aineiston julkaisu.

Vaikka tekijät tarjoavat monia esimerkkejä järjestelmän tuloksista liittyvällä sivustolla, lukijoiden on tarpeen olla HDR-kelpoinen näyttö, jotta he voivat erottaa esitetyistä ominaisuuksista. Kuitenkin tutkijoiden YouTube-katsaus on liitetty tämän artikkelin loppuun – mutta huomaa, että esitetyt esimerkkien erot eivät välttämättä ole selviä ei-HDR-näytöllä.

Menetelmä ja aineisto

Tekijät korostavat aineiston keräämisen haasteellisuutta tällaisessa tutkimuksessa:

‘Lineaarisia kuvia on erittäin haasteellista hankkia käytännössä. Lisäksi useimmat julkiset HDR-aineistot ovat joko panoraamisia (jolloin ne keskittyvät lähes yksinomaan laajamittaiseen sisältöön) tai eivät tarjoa todellisia lineaarisia kuvia, mikä tekee niistä soveltumattomia tarkoituksiimme.

‘Sen vuoksi käytämme pääasiassa raakakuvadatasäteitä perustana harjoitteluumme.’

Tutkijat käyttivät luovasti käsiinsä saatuja vaihtoehtoja hyväkseen ja hyödynsivät RAISE-aineistoa todellisena harjoitteludatana ja MIT-Adoben FiveK-aineistoa arviointidataksi*.

Jotta voidaan luoda käyttökelpoista HDR-harjoitteludataa, tutkijat suorittivat raakakameratiedostot standardoidun putken läpi poistamaan kamerakohtaiset ominaisuudet ja muuntaa kuvat yhdenmukaiseen, kohtaukseen viittaavaan lineaariseen muotoon:

Tekijöiden työn kaavio: järjestelmä aloittaa melusta, joka edustaa neljää valotusarvoa samasta kohtauksesta, sekä tekstipromptista ja kirkkaustunnisteesta. Tämä prosessoidaan pinottujen transformer-lohkien kautta, jotka pitävät eri valotukset kohdistettuina, samalla säätäen valaistusta. Järjestelmä sitten ennustaa sekä valotuskuvaus, että yleisen kirkkausasteikon, ja dekoodaa ja yhdistää ne yhdeksi kohtaukseen viittaavaksi kuvaksi, joka säilyttää yksityiskohdat sekä varjoissa että korkeuksissa.

Tämä vaati täydellisen RGB:n jälleenrakentamista anturidatasta, värikorjausta, valkotason normalisointia ja lyhyen siirtymisen havainnolliseen väriavaruuteen kohinapoistamiseksi, ennen paluuta puhdaslineaariseen signaaliin. Kohtauksen todellinen valaistus palautettiin kameran valotusasetuksilla, jotta jokainen pikseli heijastaisi todellista kirkkautta eikä vain näyttövalmiin approksimaatiota.

Koska nämä arvot voivat vaihdella laajasti, data vakautettiin skaalaamalla jokainen kuva omien kirkkausjakaumansa mukaan, käyttäen keskivertotasoja ja korkeusstatistiikkaa välttääkseen sekä haalistuneita kuvia että ylivalottuneita korkeuksia, ja lopulta saavuttaen normalisoidun lineaarisen kuvan, joka säilytti kohtauksen todellisen valaistusalueen, samalla pysyen tarpeeksi vakaana harjoitteluun.

Kuvien tekstilabelit luotiin Qwen2.5-VL 7B-mallilla, ja tekstipromptit suunniteltiin vastaamaan Flux-mallin ominaisuuksia, joita käytettäisiin generointiaikana.

Jokainen kuva jaettiin valotus”viipaleisiin” ja lähetettiin jaettuun VAE-koodariin, joka muunsi kaikki valotukset yhteiseen latenttiavaruuteen, joka suunniteltiin säilyttämään koko kirkkausalue. Latentit parannettiin melusta, ja dekoodattiin takaisin kuvaiksi, mahdollistaen johdonmukaisen rekonstruktioita sekä tummissa että kirkkaisissa alueissa, ilman niiden romahtamista yhteen “tasattuun” valotukseen.

LoRA-hienosäätö käytettiin sovittamaan esikoulutettu Flux-runko lineaarisiin kuviin vähäisin lisäparametrein, auttaen Single-Diffusion Transformers (single-DiT) -mallia pysymään vakaana, vaikka kirkkaus vaihteli valotusbracketeiden välillä.

Valotusmuokkauksen itsehuomio (keskisarake kaaviossa yllä) otettiin käyttöön yhdessä prosessoidakseen kaikki bracketit, sallien valaistuksen säätämisen kullekin valotukselle, samalla pitäen rakenteen ja yksityiskohdat kohdistettuina.

3D Rotary Positional Embedding (3D-R[o]PE) käytettiin koodaamaan sekä spatiaalista sijaintia että valotusidentiteettiä, jotta malli voisi erottaa, mihin brackettiin kunkin token kuului, säilyttäen spatiaalisen johdonmukaisuuden ja mahdollistaen puhdaseron valaistusvaihtelun ja kohtauksen sisällön välillä.

Tutkimuksessa käytetyn aineiston yleiskatsaus, joka osoittaa, miten kuvat jakautuvat sisältötyypeittäin ja sisä- ja ulkotilojen välillä, sekä valaistusarvojen jakautumista prosessoidussa datassa.

3D-RoPE erotti, mihin ominaisuus kuului ja “mihin valotukseen se kuuluu” eri signaaleihin, jotta valaistusvaihtelua voitiin säätää itsenäisesti, ilman spatiaalisten yksityiskohtien vahingoittamista.

Testit

Tutkijat käyttivät Flux-deviä generatiivisena kehyksenä, ja koulutus tapahtui neljällä NVIDIA A100 -näytönohjaimella, joista jokaisella oli 80 GB VRAM:ia. Erän koko asetettiin 4:ään (GPU:han), 10 000 iteroinnin ajaksi.

LoRA-hienosäätössä käytettiin sijaa 64. AdamW-optimointi käytettiin oppienkoko 2×10² (valotusmuokkauksen osalta).

Tekijät toteavat, että vaikka on olemassa kaksi aiempaa tutkimusta, jotka ovat samanhenkisiä, kumpikaan ei ollut ilmeinen ehdokas testivaiheeseen. Max Planck -johtama 2022 tutkimus GlowGAN on rajoitettu tiettyihin kuvaluokkiin, kun taas 2025 Bracket Diffusion (jälleen Max Planck -instituutin johdolla) voi generoida vain 256x256px HDR-kuvan, ja se kestää useita minuutteja:

Alkuperäisestä GlowGAN-tutkimuksesta, tyypillisiä matalan dynamiikan kuvia, joissa yksityiskohdat häviävät varjoissa ja korkeuksissa, kun taas malli oppii tuottamaan korkean dynamiikan kuvia, jotka säilyttävät yksityiskohdat kirkkausalueiden yli ja mahdollistavat kyllästettyjen alueiden palauttamisen käänteisellä tonemappingilla. Lähde

Sen vuoksi tutkijat vertasivat menetelmäänsä sovellettuja versioita vahvoista olemassa olevista malleista, eikä erityisesti suunniteltuja vaihtoehtoja.

Toisessa kokeessa (‘T2I Fine-Tuning’) teksti-kuva-diffuusiomalli Flux säätökuulutettiin LoRA:lla, koulutettaen se generoimaan lineaarisia kuvia suoraan, ja arvioitiin, miten T2I-malli sopeutui tähän domeeniin.

Toisessa vertailussa (‘T2V fine-tuning’) käytettiin teksti-videomallia Wan 2.1, jonka VAE pakkaa useita kehyksiä yhteiseen latenttiin; tässä asetelmassa neljä valotusbrackettia koodattiin yhteen latenttirepresentaatioon, ja dekoodattiin takaisin, testaten, voiko video-tyyppinen putki mallintaa valotusvaihtelua.

Kolmannessa kokeessa (‘T2I Model Inflation’) verrattiin CameraCtrl ja Generative Photography -malleja, jotka molemmat laajentavat kuvadiffuusiomalleja ajallisin moduulein, joilla tuotetaan monikehyksisiä tuloksia. Nämä mallit myös säätökuulutettiin samalla datalla, jotta vertailu olisi yhdenmukainen.

Mittareina käytettiin Fréchet Inception Distance (FID); Estetiikka-arvosana (AS); Luonnollisuuden kuvanlaatu (NIQUE); CLIP Sim -arvosana; ja Luminanssin samankaltaisuus (LS):

Tekijöiden menetelmän vertailu useiden sovellettuina perusviitekehyksinä lineaaristen, kohtaukseen viittaavien kuvien generoimiseksi.

Tutkijat toteavat:

‘Suoraan T2I-mallin hienosäätö lineaarisilla aineistoilla tekee siitä haasteellisen tasapainottaa varjo- ja korkeusyksityiskohtia. T2I-mallin inflaatiomenetelmät kärsivät sekä dynamiikan rajoituksista että merkittävistä kuvanlaadun heikkennyksistä, jopa hienosäätöä seuraten.

‘T2V-hienosäätössä Wan 2.1:n 4-kertainen ajallinen alennus yhdistää neljä valotusbrackettia yhteen latenttirepresentaatioon, aiheuttaen vakavan jakautumisepäyhtenäisyyden, jota ei voida ratkaista pelkästään hienosäätöllä.

‘Mallimalla kohtaukseen viittaavia ominaisuuksia suoraan valotusbracketeiden avulla, menetelmämme saavuttaa ylivertaisen visuaalisen laadun ja dynamiikan kaikissa vertailumalleissa.’

<img class=" wp-image-414267" src="https://www.unite.ai/wp-content/uploads/2026/04/figure-6-2.jpg" alt="Vertailu LoRA-sovellettuun Fluxiin ja Wan 2.1:een, osoittaen, miten kunkin menetelmä käsittelee valotusmuutoksia samassa kohtauksessa. Vaihtoehtoiset lähestymistavat usein menettävät yksityiskohdat erittäin tummissa tai erittäin kirkkaisissa alueissa, kun taas ehdotettu menetelmä säilyttää johdonmukaisen rakenteen ja palauttaa käyttökelpoista yksityiskohtaa koko valotusalueen yli. Viittaus lähdetutkimuksen laajempiin kokeisiin ja liitteisiin osioon.

Lue lähdeartikkelin laajemmat kokeet ja liitteet osio lisätietoja varten.

Johtopäätös

Mediaprofessioonalaisten, kuten elokuva- ja TV-tuotannon parissa työskentelevien, kannalta sama ulostulo, joka on kiehtonut (ja yhä enenevissä määrin ärsyttnyt) maailmaa, on jättänyt heidät välinpitämättömiksi, koska heidän kaikki putkensa riippuvat jollain tavoin HDR-kuvista ja -videoista.

Tämä on ajankohtainen projekti, joka edustaa ominaisuutta, jota toivotaan tulevaisuudessa kaikkien uusien kehyksien valinnaisksi standardiksi – vaikka se todennäköisesti kaksinkertaistaa renderöintiajat; ilmeisesti myös viiveen on oltava vakavasti harkittuna, jotta HDR-ai-sisältöä ei jätetä “jälkikäsittelyyn” eikä “kameran” luokkaan.

* Normaalisti näyttäisimme esimerkkejä, mutta koska lukija saattaa ei-HDR-näytöllä, jätämme ne pois tässä tapauksessa.

Julkaistu ensimmäisen kerran sunnuntaina 26. huhtikuuta 2026