Parantaa tekoälykuvankäsittelyn tarkkuutta

Vaikka Adoben Firefly latentti-diffuusiomalli (LDM) on yksi parhaista nykyisin saatavilla olevista, Photoshop-käyttäjät, jotka ovat kokeilleet sen generatiivisia ominaisuuksia, ovat huomanneet, ettei se pysty helposti muokkaamaan olemassa olevia kuvia – sen sijaan se korvaa käyttäjän valitsemat alueet kuvalla, joka perustuu käyttäjän tekstiprompttiin (vaikka Firefly on taitava integroimaan tulokseksi saadun kuvan alkuperäisen kuvan yhteyteen).

Nykyisessä beetaversiossa Photoshop pystyy ainakin käyttämään viitekuvaa osittaisena kuvaprompttina, mikä saa Adoben lippulaivatuotteen samaan tasoon kuin Stable Diffusion -käyttäjien käytössä on ollut yli kaksi vuotta, kiitos kolmannen osapuolen kehykset kuten ControlNet:

Photoshopin nykyinen beetaversio sallii viitekuvan käytön uuden sisällön luomisessa valinnassa – vaikka se on osittain onnistunut tällä hetkellä.

Tämä havainnollistaa avoimen ongelman kuvasynteesitutkimuksessa – vaikeus, joka diffuusiomalleilla on muokkaamassa olemassa olevia kuvia ilman täydellisen “uudelleenkuvaamisen” toteuttamista käyttäjän osoittamassa valinnassa.

Vaikka tämä diffuusiopohjainen täyttö noudattaa käyttäjän prompttia, se keksii kokonaan uudelleen alkuperäisen aiheen ilman, että se ottaa alkuperäisen kuvan huomioon (paitsi sekoittamalla uuden sukupolven ympäristöön). Lähde: https://arxiv.org/pdf/2502.20376

Tämä ongelma johtuu siitä, että LDM:t luovat kuvia iteratiivisen denoisauksen kautta, jossa kunkin prosessin vaihe on ehdollistettu käyttäjän antamaan tekstiprompttiin. Tekstipromptin sisällön muuttamisen upotusmerkeiksi ja hyperskaalaisen mallin, kuten Stable Diffusion tai Flux, sisältävän satoja tuhansia (tai miljoonia) lähellä olevia upotuksia, jotka liittyvät prompttiin, prosessi on laskettu ehdollinen jakauma, jota kohti pyritään; ja jokainen tehty askel on askel kohti tätä “ehdollista jakaumakohteeseen”.

Niin, tämä on teksti-kuva -tilanne, jossa käyttäjä “toivoo parasta”, koska ei ole mitään keinoa tietää, minkälainen sukupolvi tulee olemaan.

Sen sijaan monet ovat pyrkineet käyttämään LDM:n voimakasta generatiivista kapasiteettia muokkaamalla olemassa olevia kuvia – mutta tämä edellyttää tasapainoa uskollisuuden ja joustavuuden välillä.

Kun kuva projisoidaan mallin latenttiavaruuteen menetelmillä kuten DDIM-inversio, tavoitteena on palauttaa alkuperäinen kuva mahdollisimman tarkasti samalla, kun sallitaan merkityksellisiä muokkauksia. Ongelma on, että mitä tarkemmin kuva rekonstruuoidaan, sitä enemmän malli noudattaa sen alkuperäistä rakennetta, mikä tekee suurten muutosten toteuttamisesta vaikeaa.

Yleisesti monien muiden diffuusiopohjaisen kuvamuokkaamisen kehyksistä, jotka on ehdotettu viime vuosina, Renoisen arkkitehtuuri kärsii vaikeuksista tehdä mitään oikeaa muutosta kuvan ulkonäköön, ja vain muodollinen osoitus kravatin näyttämisestä kissan kaulassa.

Toisaalta, jos prosessi priorisoi muokattavuutta, malli löystää otettaan alkuperäisestä, mikä tekee muutosten tekemisestä helpompaa – mutta uskollisuuden kustannuksella alkuperäiseen kuvaan:

Tehtävä suoritettu – mutta se on muodonmuutos eikä säätö, useimmissa tekoälypohjaisissa kuvamuokkaamisen kehyksissä.

Koska se on ongelma, jota jopa Adoben mittavat resurssit kamppailevat ratkaisemaan, voidaan olettaa, että haaste on merkittävä ja saattaa olla vaikea ratkaista, ellei sitä lähestytä toisin.

Tight Inversion

Sen vuoksi uuden viikon aikana julkaistujen esimerkkien havainnollistaminen herätti huomioni, koska työ tarjoaa arvokkaan ja merkittävän parannuksen nykyisessä tilassa tässä alueessa, osoittamalla kykynsä soveltaa hienostuneita ja tarkkoja muokkauksia kuvissa, jotka on projisoitu mallin latenttiavaruuteen – ilman, että muokkaukset ovat merkityksettömiä tai ylivaltaisia alkuperäisessä sisällössä alkuperäisessä kuvassa:

Kun Tight Inversion sovelletaan olemassa oleviin inversiomenetelmiin, alkuperäinen valinta huomioidaan paljon tarkemmin, ja muunnokset noudattavat alkuperäistä materiaalia sen sijaan, että ne korvaavat sen.

LDM-harrastajat ja ammattilaiset saattavat tunnistaa tämänkaltaisen tuloksen, koska suurin osa siitä voidaan luoda monimutkaisessa työvirrassa käyttäen ulkoisia järjestelmiä, kuten ControlNetiä ja IP-Adapteria.

Itse asiassa uusi menetelmä – jota kutsutaan Tight Inversioniksi – hyödyntää todella IP-Adapteria yhdessä omistetun kasvojen mallin kanssa ihmishahmojen osalta.

Alkuperäisestä IP-Adapter-vuoden 2023 paperista, esimerkkejä sovellettavien muokkausten luomisesta alkuperäisestä materiaalista. Lähde: https://arxiv.org/pdf/2308.06721

Tight Inversionin merkittävin saavutus on siis proceduralisoida monimutkaiset tekniikat yhteen drop-in-modulaariseen tilaan, jota voidaan soveltaa olemassa oleviin järjestelmiin, mukaan lukien useimmat suosituimmat LDM-jakelut.

Luonnollisesti tämä tarkoittaa, että Tight Inversion (TI) käyttää, kuten sen liitännäisjärjestelmät, alkuperäiskuvaa ehdollistamistekijänä omalle muokatulle versiolle, sen sijaan, että se riippuisi ainoastaan tarkasta tekstipromptista:

Lisäksi esimerkkejä Tight Inversionin kyvystä soveltaa todella sekoitettuja muokkauksia alkuperäiseen materiaaliin.

Vaikka tekijät myöntävät, että heidän lähestymistapansa ei ole vapaa perinteisestä ja jatkuvaista jännitteestä uskollisuuden ja muokattavuuden välillä diffuusiopohjaisissa kuvamuokkaustekniikoissa, he raportoivat huipputason tuloksia injektoimalla TI:ää olemassa oleviin järjestelmiin verrattuna perus-suorituskykyyn.

Uusi työ on nimeltään Tight Inversion: Kuvan ehdollistaminen kuvamuokkaukseen, ja se tulee viideltä tutkijalta Tel Avivin yliopistosta ja Snap Researchista.

Menetelmä

Aluksi suuri kielimalli (LLM) käytetään luomaan joukko vaihtelevia tekstipromptteja, joista kuva luodaan. Sitten mainittu DDIM-inversio sovelletaan kuhunkin kuvaan kolmella tekstiehdolla: tekstipromptti, jota käytetään kuvan luomiseen; lyhennetty versio siitä; ja tyhjä (tyhjä) promptti.

Kun inversioprosessi palauttaa melun, kuvat luodaan uudelleen samalla ehdolla, ja ilman luokitteluun perustuvaa ohjausta (CFG).

DDIM-inversiotulokset eri mittareilla vaihtelevilla prompt-asetuksilla.

Kuten voidaan nähdä yllä olevasta kaaviossa, tulokset eri mittareilla paranevat tekstipituuksien lisääntyessä. Käytetyt mittarit olivat huipputasoisen signaali-kohinamittari (PSNR); L2 -etäisyys; Rakenteellinen samankaltaisuusindeksi (SSIM); ja Opittu havainnollinen kuvapatchin samankaltaisuus (LPIPS).

Kuvatietoinen

Tight Inversion muuttaa tehokkaasti, miten isäntä-diffuusiomalli muokkaa oikeasti olemassa olevia kuvia ehdollistamalla inversioprosessia itse kuvalla, sen sijaan, että se riippuisi ainoastaan tekstipromptista.

Tavallisesti kuvan kääntäminen diffuusiomallin meluavaruuteen edellyttää aloitusmelun arvioimista, joka palautettaisiin puhdistettaessa alkuperäinen syöte. Standardimenetelmät käyttävät tekstiprompttia ohjaamaan tätä prosessia; mutta epätäydellinen promptti voi johtaa virheisiin, menettää yksityiskohtia tai muuttaa rakenteita.

Tight Inversion käyttää sen sijaan IP-Adapteria syöttämään visuaalista tietoa malliin, jotta se rekonstruoisi kuvan suuremmalla tarkkuudella, muuttaa alkuperäiset kuvat ehdollistamistokeneiksi ja projisoi ne inversioprosessiin.

Nämä parametri ovat muokattavissa: alkuperäiskuvan vaikutuksen lisääminen tekee rekonstruktioista lähes täydellisiä, kun taas sen vähentäminen sallii luovampia muutoksia. Tämä tekee Tight Inversionista hyödyllisen sekä hienoisille muutoksille, kuten paitojen värien muuttamiselle, että merkittävimpien muokkausten, kuten esineiden vaihtamisen, ilman yleisiä sivuvaikutuksia, kuten yksityiskohtien menetystä tai odottamattomia poikkeamia taustamateriaalissa.

Tekijät toteavat:

‘Huomautamme, että Tight Inversion voidaan helposti integroida aiempiin inversiomenetelmiin (esim. Edit Friendly DDPM, ReNoise) vaihtamalla alkuperäinen diffuusiopohjainen ydin IP-Adapter-muutetulla mallilla, ja Tight Inversion parantaa johdonmukaisesti näitä menetelmiä sekä rekonstruktio- että muokattavuuden suhteen.’

Data ja testit

Tutkijat arvioivat TI:n kykyä rekonstruoimaan ja muokatamaan oikeasti olemassa olevia kuvia. Kaikki kokeet käyttivät Stable Diffusion XL:ia DDIM-ajastimella, kuten alkuperäisessä Stable Diffusion -paperissa kuvattu; ja kaikki testit käyttivät 50 denoisauksen askelta oletusohjausasteella 7,5.

Kuvan ehdollistamiseksi käytettiin IP-Adapter-plus sdxl vit-h:ia. Vähän askelten testaamiseksi tutkijat käyttivät SDXL-Turbo:a Euler-ajastimella, ja he suorittivat myös kokeita FLUX.1-dev:in kanssa, ehdollistamalla mallia tässä tapauksessa PuLID-Flux:illa, käyttäen RF-Inversion:ia 28 askelta.

PulID:ia käytettiin ainoastaan tapauksissa, joissa esiintyi ihmisten kasvoja, koska tämä on alue, jolle PulID on koulutettu – ja vaikka on merkittävää, että erikoistunut alijärjestelmä käytetään tähän yhteen mahdolliseen prompt-tyyppiin, meidän poikkeuksellinen kiinnostus luoda ihmisten kasvoja antaa ymmärtää, että riippuminen ainoastaan perusmallin laajemmista painoista, kuten Stable Diffusion, saattaa olla riittämätöntä tämän tietyn tehtävän vaatimusten mukaiselle tasolle.

Rekonstruktio-testit tehtiin laadullisen ja määrällisen arvioinnin vuoksi. Alla olevassa kuvassa nähdään laadulliset esimerkit DDIM-inversiolle:

Laadulliset tulokset DDIM-inversiolle. Jokainen rivi näyttää yksityiskohtaisen kuvan rinnalla sen rekonstruoituja versioita, joissa jokainen askel käyttää edelleen tarkempia ehtoja inversiossa ja denoisauksessa. Kun ehdollistaminen tulee tarkemmaksi, rekonstruktio-laatu paranee. Oikeimman sarakkeen osoittama parhaimmat tulokset saavutetaan, kun alkuperäinen kuva itsessään käytetään ehdollistamisena, saavuttaen korkeimman uskollisuuden. CFG:ää ei käytetty missään vaiheessa. Lue lähdeasiakirjasta paremman resoluution ja yksityiskohtaisuuden vuoksi.

Paperi toteaa:

‘Nämä esimerkit korostavat, että ehdollistaminen inversioprosessia kuvalla parantaa merkittävästi rekonstruktioita yksityiskohtaisissa alueissa.

‘Huomattavaa on, että kolmannessa esimerkissä [edellä olevassa kuvassa], menetelmämme rekonstruoii onnistuneesti tatuoinnin oikean nyrkin selässä. Lisäksi nyrkin asento säilyy tarkemmin, ja tatuointi jaloissa tulee näkyviin.’

Lisäksi laadulliset tulokset DDIM-inversiolle. Kuvauskohtaiset ehdot parantavat DDIM-inversiota, ja kuvan ehdollistaminen ylittää tekstin, erityisesti monimutkaisissa kuvissa.

Tutkijat testasivat myös Tight Inversionin toimintaa olemassa olevien järjestelmien drop-in-modulaarina, asettamalla muunnetut versiot niiden perus-suorituskykyyn.

Kolme testattua järjestelmää olivat mainittu DDIM-inversio ja RF-Inversio; sekä ReNoise, joka jakaa joitakin tekijöitä tässä tutkimuksessa. Koska DDIM-tulokset eivät kohtaa vaikeuksia saavuttamassa 100%:n rekonstruktio, tutkijat keskittyivät ainoastaan muokattavuuteen.

(Laadulliset tulokset ovat muotoiltu tavalla, joka on vaikea toistaa täällä, joten viitataan lukijaa lähde-PDF:ään laajempaan kattavuuteen ja parempaan resoluutioon, huomioimatta, että joitakin valintoja esitetään alla)

Vasemmalla laadulliset rekonstruktio-tulokset Tight Inversionilla SDXL:llä. Oikealla rekonstruktio Fluxilla. Näiden tuloksien asettelu julkaisussa tekee niiden toistamisen haasteelliseksi, joten viitataan lähde-PDF:ään oikeaan vaikutelmaan saamiseksi.

Tässä tutkijat toteavat:

‘Kuten havainnollistetaan, Tight Inversionin integroiminen olemassa oleviin menetelmiin parantaa johdonmukaisesti rekonstruktioita. Esimerkiksi menetelmämme rekonstruoii tarkasti kaiteen vasemmalla puolella olevassa esimerkissä ja miehen sinisessä paitassa oikealla puolella olevassa esimerkissä [paperin kuvassa 5].’

Tutkijat testasivat myös järjestelmää määrällisesti. Linjassa aiempien tutkimusten kanssa he käyttivät validointijoukkoa MS-COCO:sta, ja huomauttavat, että tulokset (kuten alla) paransivat rekonstruktioita kaikilla mittareilla kaikissa menetelmissä.

Vertaileva taulukko järjestelmien suorituskyvystä ilman ja kanssa Tight Inversionia.

Seuraavaksi tutkijat testasivat järjestelmän kykyä muokata valokuvia, asettamalla sen vastakkain perusversioiden kanssa aiempien lähestymistapojen, kuten prompt2prompt; Edit Friendly DDPM; LED-ITS++; ja RF-Inversio.

Näytetään alla valikoima paperin laadullisia tuloksia SDXL:lle ja Fluxille (ja viitataan lähde-PDF:ään lisätietoihin ja selkeämmän resoluution vuoksi).

Valikoima laajasta laadullisesta tuloksesta (joka on hieman sekava) paperin ympärillä. Viitataan lähde-PDF:ään parannettuun resoluutioon ja selkeämmään ymmärtämiseen.

Tutkijat väittävät, että Tight Inversion ylittää johdonmukaisesti olemassa olevat inversiomenetelmät löytämällä paremman tasapainon rekonstruktio ja muokattavuuden välillä. Standardimenetelmät, kuten DDIM-inversio ja ReNoise, voivat palauttaa kuvan hyvin, mutta usein kärsivät yksityiskohtien säilyttämisestä, kun muokkauksia sovelletaan.

Toisaalta Tight Inversion hyödyntää kuvan ehdollistamista ankkuroimaan mallin tulosteen lähemmäs alkuperäistä, estäen ei-toivottuja vääristymiä. Tutkijat väittävät, että vaikka kilpailevat lähestymistavat tuottavat rekonstruktioita, jotka näyttävät tarkoilta, muokkausten käyttöönotto usein johtaa virheisiin tai rakenteellisiin epäjohdonmukaisuuksiin, ja Tight Inversion lievittää näitä ongelmia.

Lopulta määrälliset tulokset saavutettiin arvioimalla Tight Inversionia MagicBrush -benchmarkia vastaan, käyttäen DDIM-inversiota ja LEDITS++:aa, mitattuna CLIP Sim:llä.

Määrällinen vertailu Tight Inversionia MagicBrush-benchmarkia vastaan.

Tutkijat toteavat:

‘Molemmat kaaviot osoittavat selvästi tasapainon kuvan säilyttämisen ja sitoutumisen kohde-muokkaukseen.  Tight Inversion tarjoaa paremman hallinnan tässä tasapainossa ja säilyttää alkuperäisen kuvan paremmin samalla, kun se noudattaa muokkausta [prompttia]. ‘

‘Huomautus, että CLIP-samankaltaisuus yli 0,3 kuvan ja tekstipromptin välillä osoittaa uskottavan samankaltaisuuden kuvan ja promptin välillä.’

Johtopäätös

Vaikka se ei edusta “murrotulosta” yhdessä vaikeimmista haasteista LDM-pohjaisessa kuvasynteesissä, Tight Inversion konsolidoi useita raskaita apumenetelmiä yhteen yhtenäiseen menetelmään tekoälypohjaisesta kuvamuokkauksesta.

Vaikka jännite muokattavuuden ja uskollisuuden välillä ei ole poissa tämän menetelmän alla, se on merkittävästi vähentynyt tuloksissa, jotka on esitetty. Ottaen huomioon, että keskeinen haaste, jonka tämä työ osoittaa, saattaa osoittautua lopulta ratkaisemattomaksi, jos sitä käsitellään omilla ehdoillaan (sen sijaan, että katsoisi LDM-pohjaisia arkkitehtuureja tulevissa järjestelmissä), Tight Inversion edustaa tervetullutta askelittaista parannusta nykyisessä tilassa.

Julkaistu ensimmäisen kerran perjantaina, 28. helmikuuta 2025