Forbedring av nøyaktigheten i AI-bildebehandling

Selv om Adobe’s Firefly latent diffusjonsmodell (LDM) er ett av de beste som for tiden er tilgjengelig, vil Photoshop-brukere som har prøvd dens generative funksjoner ha lagt merke til at den ikke kan enkelt redigere eksisterende bilder – i stedet erstatter den helt brukerens valgte område med bildebasert på brukerens tekstprompt (selv om Firefly er dyktig til å integrere den resulterende genererte delen i bildets kontekst).

I den nåværende beta-versjonen kan Photoshop i det minste inkorporere et referansebilde som en delvis bildeprompt, som bringer Adobe’s flaggskipprodukt opp til funksjonaliteten som Stable Diffusion-brukere har nytt av i over to år, takket være tredjepartsrammeverk som ControlNet:

Den nåværende beta-versjonen av Adobe Photoshop tillater bruk av referansebilder når det genereres nytt innhold i et valgt område – selv om det for tiden er en hit-and-miss-sak.

Dette illustrerer et åpent problem i bilde-syntese-forskning – vanskeligheten diffusjonsmodellene har med å redigere eksisterende bilder uten å implementere en fullstendig ‘gjenskapelse’ av det valgte området som er indikert av brukeren.

Selv om denne diffusjonsbaserte inpainting adlyder brukerens prompt, gjenskaper den helt kildebildets emne uten å ta den opprinnelige bildet i betraktning (bortsett fra å blande den nye genereringen med omgivelsene). Kilde: https://arxiv.org/pdf/2502.20376

Dette problemet oppstår fordi LDM genererer bilder gjennom iterativ støyreduksjon, hvor hver fase i prosessen er betinget av tekstprompten som er gitt av brukeren. Med tekstprompt-innholdet konvertert til embedding-tokens, og med en hyperskala-modell som Stable Diffusion eller Flux som inneholder hundredtusener (eller millioner) av nær-matching embeddings relatert til prompten, har prosessen en beregnet betinget distribusjon å sikte mot; og hver fase som tas er et skritt mot denne ‘betingede distribusjonsmålet’.

Så det er tekst-til-bilde – en scenario hvor brukeren ‘håper på det beste’, siden det ikke finnes noen måte å vite nøyaktig hva genereringen vil være som.

I stedet har mange søkt å bruke en LDMs kraftige generative kapasitet til å redigere eksisterende bilder – men dette innebærer en balanseakt mellom trofasthet og fleksibilitet.

Når et bilde projiseres inn i modellens latente rom ved metoder som DDIM-inversjon, er målet å gjenskape originalen så nært som mulig samtidig som det tillates meningsfulle redigeringer. Problemet er at jo mer nøyaktig et bilde rekonstrueres, jo mer holder modellen fast ved sin opprinnelige struktur, og gjør større endringer vanskelige.

I fellesskap med mange andre diffusjonsbaserte bilde-redigeringsrammeverk som er foreslått de siste årene, har Renoise-arkitekturen vanskeligheter med å gjøre noen virkelige endringer i bildets utseende, med bare en perfunctorisk indikasjon av en sløyfe som dukker opp ved kattens hals.

På den andre siden, hvis prosessen prioriterer redigerbarhet, løsner modellen grepet sitt på originalen, og gjør det enklere å innføre endringer – men til en pris av total konsistens med kildebildet:

Oppdrag fullført – men det er en transformasjon snarere enn en justering, for de fleste AI-baserte bilde-redigeringsrammeverk.

Ettersom dette er et problem som selv Adobe’s betydelige ressurser sliter med å løse, kan vi rimeligvis betrakte utfordringen som betydelig, og kanskje ikke tillater enkle løsninger, hvis noen.

Tett Inversjon

Derfor fanget eksemplene i en ny artikkel som ble utgitt denne uken min oppmerksomhet, da arbeidet tilbyr en verdifull og merkeverdig forbedring av den nåværende tilstanden i dette området, ved å vise seg i stand til å anvende subtile og raffinerte redigeringer av bilder projisert inn i modellens latente rom – uten at redigeringene enten er ubetydelige eller overvelder det opprinnelige innholdet i kildebildet:

Med Tett Inversjon anvendt på eksisterende inversjonsmetoder, blir kildevalget betraktet på en langt mer granulert måte, og transformasjonene konformerer seg til det opprinnelige materialet i stedet for å overskrive det.

LDM-hobbyister og -praktikere kan kjenne igjen denne type resultater, da mye av det kan skapes i en kompleks arbeidsflyt med eksterne systemer som ControlNet og IP-Adapter.

I virkeligheten er den nye metoden – kalt Tett Inversjon – en metode som faktisk utnytter IP-Adapter, sammen med en dedikert ansiktsbasert modell, for menneskelige avbildninger.

Fra den opprinnelige 2023 IP-Adapter-artikkelen, eksempler på å lage passende redigeringer av kildematerialet. Kilde: https://arxiv.org/pdf/2308.06721

Det signifikante bidraget til Tett Inversjon er å ha prosedyrisert komplekse tekniker til en enkelt innføring-modus som kan anvendes på eksisterende systemer, inkludert mange av de mest populære LDM-distribusjonene.

Naturligvis betyr dette at Tett Inversjon (TI), likesom de tilstøtende systemene det utnytter, bruker kildebildet som en betingelsesfaktor for sin egen redigerte versjon, i stedet for å bare basere seg på nøyaktige tekstprompts:

Flere eksempler på Tett Inversjons evne til å anvende virkelig blandede redigeringer av kildematerialet.

Selv om forfatterne innrømmer at deres tilnærming ikke er fri fra den tradisjonelle og pågående spenningen mellom trofasthet og redigerbarhet i diffusjonsbasert bilde-redigering, rapporterer de om resultater på toppnivå når de injiserer TI i eksisterende systemer, sammenlignet med baseline-ytelsen.

Det nye arbeidet har tittelen Tett Inversjon: Bilde-betinget Inversjon for Virkelig Bilde-Redigering, og kommer fra fem forskere på Tel Aviv Universitet og Snap Research.

Metode

Initialt brukes en stor språkmodell (LLM) til å generere en rekke varierende tekstprompts fra hvilket et bilde genereres. Deretter anvendes den ovennevnte DDIM-inversjon på hvert bilde med tre tekstbetingelser: tekstprompten som ble brukt til å generere bildet; en forkortet versjon av samme; og en null (tom) prompt.

Med den inverse støyen returnert fra disse prosessene, genereres bildene på nytt med samme betingelse, og uten klassifikator-fri veiledning (CFG).

DDIM-inversjonskårer over forskjellige metrikker med varierende prompt-innstillinger.

Som vi kan se fra grafen ovenfor, er skårene over forskjellige metrikker forbedret med økt tekstlengde. Metrikker som ble brukt var Peak Signal-til-Støy-Forhold (PSNR); L2-avstand; Strukturell Likhetsindeks (SSIM); og Lært Perseptuell Bilde-Patch-Likhetsindeks (LPIPS).

Bilde-Bevisst

Effektivt endrer Tett Inversjon måten en vertsdiffusjonsmodell redigerer virkelige bilder ved å betingelse-inversjonsprosessen på bildet selv i stedet for å bare basere seg på tekst.

Vanligvis krever inversjon av et bilde inn i en diffusjonsmodells støyrom estimasjon av den opprinnelige støyen som, når den avstøyes, rekonstruerer inndata. Standardmetoder bruker en tekstprompt til å guide denne prosessen; men en uperfekt prompt kan føre til feil, tape detaljer eller endre strukturer.

Tett Inversjon bruker i stedet IP-Adapter til å mata visuell informasjon inn i modellen, så den rekonstruerer bildet med større nøyaktighet, konverterer kildebildene til betingelsestokens, og projiserer dem inn i inversjonsrøret.

Disse parameterne er redigerbare: å øke innflytelsen av kildebildet gjør rekonstruksjonen nesten perfekt, mens å redusere det tillater mer kreative endringer. Dette gjør Tett Inversjon nyttig for både subtile modifikasjoner, som å endre en skjortefarge, eller mer betydelige redigeringer, som å bytte ut objekter – uten de vanlige sideeffektene av andre inversjonsmetoder, som tap av fine detaljer eller uventede aberrasjoner i bakgrunnsinnholdet.

Forfatterne uttaler:

‘Vi bemerker at Tett Inversjon kan lett integreres med tidligere inversjonsmetoder (f.eks. Edit Friendly DDPM, ReNoise) ved [å bytte den native diffusjonkjernen med IP-Adapter-endret modell], [og] Tett Inversjon forbedrer konsistent slike metoder i både rekonstruksjon og redigerbarhet.’

Data og Tester

Forskerne evaluerte TI på dens evne til å rekonstruere og redigere virkelige kildebilder. Alle eksperimenter brukte Stable Diffusion XL med en DDIM-planlegger som beskrevet i den opprinnelige Stable Diffusion-artikkelen; og alle tester brukte 50 avstøyingssteg ved en standard veiledningsskala på 7,5.

For bilde-betingelse ble IP-Adapter-plus sdxl vit-h brukt. For få-steg-tester brukte forskerne SDXL-Turbo med en Euler-planlegger, og utførte også eksperimenter med FLUX.1-dev, hvor de betinget modellen i siste tilfelle på PuLID-Flux, ved å bruke RF-Inversjon på 28 steg.

PulID ble brukt utelukkende i tilfeller med menneskeansikter, da dette er domenet det ble trent til å håndtere – og selv om det er merkeverdig at et spesialisert undersystem brukes for denne ene mulige prompt-typen, indikerer vår uforholdsmessige interesse for å generere menneskeansikter at å bare basere seg på de bredere vektene til en grunnmodell som Stable Diffusion kanskje ikke er tilstrekkelig til standardene vi krever for denne bestemte oppgaven.

Rekonstruksjonstester ble utført for kvalitativ og kvantitativ evaluering. I bildet under ser vi kvalitative eksempler for DDIM-inversjon:

<img class="wp-image-213268" src="https://www.unite.ai/wp-content/uploads/2025/02/figure-2.jpg" alt="Kvalitative resultater for DDIM-inversjon. Hver rad viser et høyt detaljert bilde sammen med sine rekonstruerte versjoner, hvor hver fase bruker stadig mer presise betingelser under inversjon og avstøyning. Ettersom betingelsene blir mer nøyaktige, forbedres rekonstruksjonskvaliteten. Den høyre kolonnen demonstrerer de beste resultater, hvor det opprinnelige bildet selv brukes som betingelse, og oppnår den høyeste trofastheten. CFG ble ikke brukt på noen stadium. Vennligst se kilde-dokumentet for bedre oppløsning og detalj.

Artikkelen uttaler:

‘Disse eksemplene fremhever at å betingelse-inversjonsprosessen på et bilde betydelig forbedrer rekonstruksjon i høyt detaljerte regioner.

‘Merkeverdig, i det tredje eksemplet [i bildet under], rekonstruerer vår metode med hell tatoveringen på ryggen av den høyre bokseren. Videre er bokserens benstilling mer nøyaktig bevart, og tatoveringen på benet blir synlig.’

Flere kvalitative resultater for DDIM-inversjon. Beskrivende betingelser forbedrer DDIM-inversjon, med bilde-betingelse som overgår tekst, spesielt på komplekse bilder.

Forfatterne testet også Tett Inversjon som en innføring-modul for eksisterende systemer, og sammenlignet de modifiserte versjonene med deres baseline-ytelse.

De tre systemene som ble testet var den ovennevnte DDIM-inversjon og RF-inversjon; og også ReNoise, som deler noen forfattere med artikkelen som diskuteres her. Ettersom DDIM-resultater ikke har noen vanskeligheter med å oppnå 100% rekonstruksjon, fokuserte forskerne kun på redigerbarhet.

(De kvalitative resultat-bildene er formet på en måte som er vanskelig å gjengi her, så vi henviser leseren til kilde-PDF-en for bedre dekning og bedre oppløsning, til tross for at noen utvalg er vist under)

Venstre, kvalitative rekonstruksjonsresultater for Tett Inversjon med SDXL. Høyre, rekonstruksjon med Flux.

Her kommenterer forfatterne:

‘Som vist, integrerer Tett Inversjon konsistent med eksisterende metoder og forbedrer rekonstruksjon. For [eksempel], vår metode rekonstruerer med hell rælingen i det venstre eksemplet og mannen med den blå skjorten i det høyre eksemplet [i figur 5 i artikkelen].’

Forfatterne testet også systemet kvantitativt. I linje med tidligere arbeid, brukte de valideringssettet av MS-COCO, og bemerker at resultater (vist under) forbedrer rekonstruksjon over alle metrikker for alle metodene.

Sammenligner metrikker for systemenes ytelse med og uten Tett Inversjon.

Deretter testet forfatterne systemets evne til å redigere bilder, og sammenlignet det med baseline-versjoner av tidligere tilnærminger prompt2prompt; Edit Friendly DDPM; LED-ITS++; og RF-inversjon.

Vist under er en rekke av artikkelen kvalitative resultater for SDXL og Flux (og vi henviser leseren til den ganske komprimerte layouten i den opprinnelige artikkelen for flere eksempler).

Utvalg fra de spredte kvalitative resultater (ganske forvirrende) spredt over artikkelen.

Forfatterne hevder at Tett Inversjon konsistent overgår eksisterende inversjons-teknikker ved å finne en bedre balanse mellom rekonstruksjon og redigerbarhet. Standardmetoder som DDIM-inversjon og ReNoise kan gjenopprette et bilde godt, men artikkelen fastslår at de ofte sliter med å bevare fine detaljer når redigeringer anvendes.

I motsetning anvender Tett Inversjon bilde-betingelse til å feste modellens utgang mer tett til det opprinnelige, og forhindrer uønskede forvrengninger. Forfatterne hevder at selv når konkurranse-tilnærminger produserer rekonstruksjoner som ser ut til å være nøyaktige, fører innføringen av redigeringer ofte til artefakter eller strukturelle inkonsistenser, og at Tett Inversjon mildner disse problemene.

Til slutt ble kvantitative resultater oppnådd ved å evaluere Tett Inversjon mot MagicBrush-benchmarket, ved å bruke DDIM-inversjon og LEDITS++, målt med CLIP Sim.

Kvantitative sammenligninger av Tett Inversjon mot MagicBrush-benchmarket.

Forfatterne konkluderer:

‘I begge grafene er avveien mellom bilde-bevaring og overholdelse av mål-redigering tydelig [observert]. Tett Inversjon gir bedre kontroll over denne avveien, og bevarer bedre det opprinnelige bildet samtidig som det holder seg til redigeringen [prompt]. ‘

‘Merkeverdig, en CLIP-lignhet på over 0,3 mellom et bilde og en tekstprompt indikerer plausibel lignhet mellom bildet og prompten.’

Konklusjon

Selv om det ikke representerer et ‘gjennombrudd’ i en av de tornete utfordringene i LDM-basert bilde-syntese, konsoliderer Tett Inversjon en rekke besværlige hjelpe-tilnærminger til en samlet metode for AI-basert bilde-redigering.

Selv om spenningen mellom redigerbarhet og trofasthet ikke er borte under denne metoden, er den merkeverdig redusert, ifølge resultater presentert. Ettersom den sentrale utfordringen dette arbeidet håndterer kanskje vil vise seg å være ultimat umulig å håndtere på egne premisser (i stedet for å se bort fra LDM-baserte arkitekturer i fremtidige systemer), representerer Tett Inversjon en velkommen inkrementell forbedring av den nåværende tilstanden.

Først publisert fredag, 28. februar 2025