NVIDIAs eDiffi-diffusjonsmodell gjør det mulig å «male med ord» og mer

Å forsøke å lage nøyaktige komposisjoner med latente diffusjons-generative bilde-modeller som Stable Diffusion kan være som å drive katter; de samme imaginative og interpretive kreftene som gjør at systemet kan lage ekstraordinære detaljer og fremkalle ekstraordinære bilder fra relativt enkle tekst-forespørsler, er også vanskelig å slå av når du søker etter Photoshop-nivå kontroll over bilde-generering.

Nå, en ny tilnærming fra NVIDIA -forskning, tittel ensemble diffusjon for bilder (eDiffi), bruker en blanding av flere innlejring og interpretive metoder (i stedet for samme metode hele veien gjennom pipeline) for å tillate en langt høyere grad av kontroll over generert innhold. I eksemplet nedenfor ser vi en bruker som maler elementer hvor hver farge representerer ett enkelt ord fra en tekst-forespørsel:

‘Maling med ord’ er en av de to nye evnene i NVIDIAs eDiffi-diffusjonsmodell. Hver påmalt farge representerer et ord fra forespørselen (se dem dukke opp på venstre side under generering), og fargeområdet som brukes vil bestå kun av det elementet. Se kilde (offisiell) video for flere eksempler og bedre oppløsning på https://www.youtube.com/watch?v=k6cOx9YjHJc

Effektivt er dette «maling med masker», og reverser den inpainting-paradigmet i Stable Diffusion, som er basert på å fikse ødelagte eller utilfredsstillende bilder, eller utvide bilder som like gjerne kunne ha vært ønsket størrelse fra starten av.

Her, i stedet, representerer kantene av den malt farge tillatte omtrentlige grenser for bare ett enkelt element fra en enkelt konsept, og lar brukeren sette den endelige canvas-størrelse fra starten av, og deretter diskret legge til elementer.

Eksempler fra den nye artikkelen. Kilde: https://arxiv.org/pdf/2211.01324.pdf

De varierende metodene som brukes i eDiffi betyr også at systemet gjør en langt bedre jobb med å inkludere alle elementer i lange og detaljerte forespørsler, hvor Stable Diffusion og OpenAI’s DALL-E 2 tenderer til å prioritere visse deler av forespørselen, avhengig av hvordan tidlig ordene dukker opp i forespørselen, eller andre faktorer, som potensiell vanskelighet i å skille de forskjellige elementene nødvendige for en fullstendig, men omfattende (med hensyn til tekst-forespørselen) komposisjon:

Fra artikkelen: eDiffi er i stand til å iterere mer grundig gjennom forespørselen til maksimalt mulig antall elementer er rendret. Selv om de forbedrede resultater for eDiffi (høyre kolonne) er cherry-picked, er også sammenligningsbildene fra Stable Diffusion og DALL-E 2.

I tillegg betyr bruken av en dedikert T5 tekst-til-tekst-encoder at eDiffi er i stand til å rendre forståelige engelske tekster, enten abstrakt forespurt fra en forespørsel (dvs. bilde inneholder noen tekst av [x]) eller eksplisitt forespurt (dvs. t-skjorten sier ‘Nvidia Rocks’)

Dedikert tekst-til-tekst-behandling i eDiffi betyr at tekst kan rendres ord for ord i bilder, i stedet for å bli kjørt bare gjennom en tekst-til-bilde-interpretiv lag enn mangler utgangen.

En ytterligere fordel til det nye rammeverket er at det er mulig å også å levere et enkelt bilde som en stil-forespørsel, i stedet for å trenere en DreamBooth-modell eller en tekst-til-bilde-embedding på flere eksempler av en sjanger eller stil.

Stil-overføring kan brukes fra en referanse-bilde til en tekst-til-bilde-forespørsel, eller selv en bilde-til-bilde-forespørsel.

Den nye artikkelen er tittel eDiffi: Tekst-til-bilde-diffusjonsmodeller med en ensemble av ekspert-avstøtningsmodeller, og

T5-tekst-encoderen

Bruken av Googles Tekst-til-tekst-overførings-transformator (T5) er det avgjørende elementet i de forbedrede resultater demonstrert i eDiffi. Den gjennomsnittlige latente diffusjons-pipeline sentrerer på assosiasjonen mellom trenede bilder og tekstene som fulgte med dem da de ble skrapt av internettet (eller ellers manuelt justert senere, selv om dette er en kostbar og derfor sjelden intervensjon).

Fra juli 2020-artikkelen for T5 – tekst-basert transformasjoner, som kan hjelpe den generative bilde-arbeidsflyten i eDiffi (og potensielt andre latente diffusjons-modeller). Kilde: https://arxiv.org/pdf/1910.10683.pdf

Ved å omformulere kilde-teksten og kjøre T5-modulen, kan mer eksakte assosiasjoner og representasjoner bli oppnådd enn de som ble trenet inn i modellen opprinnelig, nesten lik post facto manuell labeling, med større spesifisitet og anvendelighet til forespørselens krav.

Forfatterne forklarer:

‘I de fleste eksisterende arbeidene om diffusjons-modeller, er avstøtnings-modellen delt over alle støy-nivåer, og den tids-dynamiske er representert ved en enkel tid-embedding som blir matet til avstøtnings-modellen via en MLP-nettverk. Vi argumenterer for at den komplekse tids-dynamikken i avstøtnings-diffusjonen kanskje ikke kan læres fra data effektivt ved å bruke en delt modell med begrenset kapasitet.

‘I stedet foreslår vi å øke kapasiteten til avstøtnings-modellen ved å introdusere en ensemble av ekspert-avstøtningsmodeller; hver ekspert-avstøtningsmodell er en avstøtnings-modell spesialisert for et bestemt område av støy-nivåer. På denne måten kan vi øke modell-kapasiteten uten å senke ned sampling-hastigheten, siden den beregnings-messige kompleksiteten ved å evaluere [det prosesserte elementet] på hvert støy-nivå forblir den samme.’

Konseptuell arbeidsflyt for eDiffi.

De eksisterende CLIP-koding-modulene inkludert i DALL-E 2 og Stable Diffusion er også i stand til å finne alternative bilde-interpretasjoner for tekst relatert til bruker-inndata. Men de er trenet på lignende informasjon som den opprinnelige modellen, og brukes ikke som en separat interpretiv lag i måten T5 brukes i eDiffi.

Forfatterne sier at eDiffi er den første gangen både en T5- og en CLIP-encoder har blitt inkorporert i en enkelt pipeline:

’Siden disse to encoderne er trenet med forskjellige mål, favoriserer deres innleggninger formasjoner av forskjellige bilder med samme inndata-tekst. Mens CLIP-tekst-innleggninger hjelper å bestemme det globale utseendet på de genererte bildene, mangler de ofte de fin-grainede detaljene i teksten.

‘I motsetning genererer bilder med T5-tekst-innleggninger alene bedre reflekterer de enkelte objekter beskrevet i teksten, men deres globale utseende er mindre nøyaktig. Å bruke dem sammen produserer de beste bilde-genererings-resultatene i vår modell.’

Avbrytelse og forbedring av diffusjons-prosessen

Artikkelen bemerker at en typisk latent diffusjons-modell vil begynne reisen fra ren støy til et bilde ved å stole kun på tekst i de tidlige stadiene av genereringen.

Når støyen løser seg inn i en slags grov layout som representerer beskrivelsen i tekst-forespørselen, faller tekst-guidede fasen av prosessen i stor grad bort, og resten av prosessen skifter mot å forbedre visuelle egenskaper.

Dette betyr at ethvert element som ikke ble løst i de tidlige stadiene av tekst-guidet støy-tolkning, er vanskelig å injisere inn i bildet senere, fordi de to prosessene (tekst-til-layout og layout-til-bilde) har relativt liten overlap, og den grunnleggende layouten er ganske sammenflettet når den ankommer bildet-forbedrings-prosessen.

Fra artikkelen: oppmerksomhets-kartene for forskjellige deler av pipeline når støy-til-bilde-prosessen modnes. Vi kan se den skarpe nedgangen i CLIP-påvirkning av bildet i nedre rad, mens T5 fortsetter å påvirke bildet langt inn i renderings-prosessen.

Profesjonell potensiale

Eksemplene på prosjekt-siden og YouTube-videoen sentrerer seg på PR-vennlige generering av morsomme bilder. Som vanlig, spiller NVIDIA-forskning ned potensialet for sin siste innovasjon til å forbedre fotorealistiske eller VFX-arbeidsflyter, samt dets potensiale for å forbedre deepfake-bilder og videoer.

I eksemplene tegner en nybegynner eller amatør-bruker grove konturer for plassering av bestemte elementer, mens i en mer systematisk VFX-arbeidsflyt, kunne det være mulig å bruke eDiffi til å tolke flere rammer av en video-element ved hjelp av tekst-til-bilde, hvor konturene er svært nøyaktige og basert på, for eksempel, figurer hvor bakgrunnen har blitt fjernet via grønn skjerm eller algoritmer.

Runway ML tilbyr allerede AI-basert rotoskoping. I dette eksemplet representerer den ‘grønne skjermen’ rundt subjektet alpha-laget, mens uttrekket har blitt utført via maskinlæring i stedet for algoritmerisk fjerning av en virkelig grønn skjerm-bakgrunn. Kilde: https://twitter.com/runwayml/status/1330978385028374529

Ved å bruke en trenet DreamBooth-karakter og en bilde-til-bilde-pipeline med eDiffi, er det potensielt mulig å begynne å løse en av de største utfordringene i enhver latent diffusjons-modell: tids-stabilitet. I en slik situasjon ville både marginene av det påførte bildet og innholdet av bildet bli ‘forhåndsgjort’ mot brukerens canvas, med tids-kontinuitet av det rendrede innholdet (dvs. å gjøre en virkelig Tai Chi-utøver til en robot) tilbudt ved å bruke en låst DreamBooth-modell som har ‘husket’ sin trenings-data – dårlig for tolkbarhet, men godt for reproduserbarhet, trofasthet og kontinuitet.

Metode, data og tester

Artikkelen sier at eDiffi-modellen ble trenet på ‘en samling av offentlige og proprietære datasett’, tungt filtrert av en forhåndstrenet CLIP-modell, for å fjerne bilder som sannsynligvis ville senke den generelle estetiske scoren på utgangen. Den endelige filtrerte bilde-samlingen består av ‘omtrent en milliard’ tekst-bilde-par. Størrelsen på de trenede bildene beskrives som med ‘den korteste siden større enn 64 piksler’.

Flere modeller ble trenet for prosessen, med både basis- og super-oppløsnings-modellene trenet på AdamW-optimerer med en læringshastighet på 0,0001, med en vekt-forfall på 0,01, og med en imponerende batch-størrelse på 2048.

Basis-modellen ble trenet på 256 NVIDIA A100-GPUer, og de to super-oppløsnings-modellene på 128 NVIDIA A100-GPUer for hver modell.

Systemet var basert på NVIDIAs egen Imaginaire-PyTorch-bibliotek. COCO– og Visual Genome-datasettene ble brukt til evaluering, selv om de ikke var inkludert i de endelige modellene, med MS-COCO som den spesifikke varianten brukt til testing. Rival-systemene testet var GLIDE, Make-A-Scene, DALL-E 2, Stable Diffusion, og Googles to bilde-syntese-systemer, Imagen og Parti.

I henhold til lignende tidligere arbeid, zero-shot FID-30K ble brukt som en evaluering-måling. Under FID-30K ble 30 000 kapitler trukket tilfeldig fra COCO-valideringssettet (dvs. ikke bildene eller teksten brukt i trening), som deretter ble brukt som tekst-forespørsler for å syntetisere bilder.

Frechet Inception-avstanden (FID) mellom de genererte og grunn-sannhets-bildene ble deretter beregnet, i tillegg til å registrere CLIP-scoren for de genererte bildene.

Resultater fra zero-shot FID-tester mot nåværende state-of-the-art-tilnærminger på COCO 2014-valideringsdatasettet, med lavere resultater bedre.

I resultater, var eDiffi i stand til å oppnå den laveste (beste) scoren på zero-shot FID, selv mot systemer med langt flere parametre, som de 20 milliarder parameterne i Parti, sammenlignet med de 9,1 milliarder parameterne i den høyest-spekkede eDiffi-modellen trenet for testene.

Konklusjon

NVIDIAs eDiffi representerer en velkommen alternativ til å bare legge til mer og mer data og kompleksitet til eksisterende systemer, i stedet for å bruke en mer intelligent og lagd tilnærming til noen av de største utfordringene relatert til sammenfletting og ikke-redigerbarhet i latente diffusjons-generative bilde-systemer.

Det er allerede diskusjon på Stable Diffusion-subreddits og Discords om å enten direkte inkorporere noen kode som kan bli gjort tilgjengelig for eDiffi, eller å gjenskape prinsippene bak det i en separat implementering. Den nye pipeline er imidlertid så radikalt forskjellig, at det ville utgjøre en hel versjons-endring for SD, og ville kaste noen bakover-kompatibilitet, selv om det tilbyr muligheten for langt bedre kontroll over de endelige syntetiske bildene, uten å ofre de fengende imaginative kreftene til latent diffusjon. Det ville utgjøre en hel versjons-endring for SD, jettisoning noen bakover-kompatibilitet, selv om det tilbyr muligheten for langt bedre kontroll over de endelige syntetiske bildene, uten å ofre de fengende imaginative kreftene til latent diffusjon. Først publisert 3. november 2022.