NVIDIA’s eDiffi Diffusion Model Maakt ‘Schilderen Met Woorden’ en Meer Mogelijk

Proberen om precieze composities te maken met latent diffusion generatieve beeldmodellen zoals Stable Diffusion kan zijn als het temmen van katten; de verbeeldingskracht en interpretatieve vermogens die het systeem in staat stellen om buitengewone details te creëren en buitengewone beelden te produceren uit relatief eenvoudige tekstprompts, zijn ook moeilijk uit te schakelen wanneer je op zoek bent naar Photoshop-niveau controle over een beeldgeneratie.

Nu, een nieuwe benadering van NVIDIA -onderzoek, getiteld ensemble diffusie voor beelden (eDiffi), gebruikt een mengsel van meerdere embedding- en interpretatieve methoden (in plaats van dezelfde methode door het hele pijplijnproces) om een veel grotere mate van controle over gegenereerde inhoud mogelijk te maken. In het onderstaande voorbeeld zien we een gebruiker die elementen schildert waarbij elke kleur een enkel woord uit een tekstprompt vertegenwoordigt:

‘Schilderen met woorden’ is een van de twee nieuwe mogelijkheden in NVIDIA’s eDiffi-diffusiemodel. Elke geschilderde kleur vertegenwoordigt een woord uit de prompt (zie ze verschijnen op de linkse zijde tijdens de generatie), en de kleur die op het gebied wordt aangebracht, bestaat alleen uit dat element. Zie bron (officiële) video voor meer voorbeelden en betere resolutie op https://www.youtube.com/watch?v=k6cOx9YjHJc

Effectief is dit ‘schilderen met masks’, en keert het npainting-paradigma in Stable Diffusion om, dat gebaseerd is op het repareren van beschadigde of onbevredigende beelden, of het uitbreiden van beelden die even goed de gewenste grootte hadden kunnen hebben in de eerste plaats.

Hier, in plaats daarvan, vertegenwoordigen de randen van de geschilderde verf de toegestane benaderingsgrenzen van slechts één uniek element uit een enkel concept, waardoor de gebruiker de definitieve canvasgrootte van tevoren kan instellen en vervolgens discreet elementen kan toevoegen.

Voorbeelden uit het nieuwe artikel. Bron: https://arxiv.org/pdf/2211.01324.pdf

De gevarieerde methoden die in eDiffi worden gebruikt, betekenen ook dat het systeem een veel betere job doet om elk element in lange en gedetailleerde prompts op te nemen, terwijl Stable Diffusion en OpenAI’s DALL-E 2 de neiging hebben om bepaalde delen van de prompt te prioriteren, afhankelijk van hoe vroeg de doelwoorden in de prompt verschijnen, of van andere factoren, zoals de potentiële moeilijkheid om de verschillende elementen noodzakelijk voor een complete maar omvattende compositie te ontrafelen:

Uit het artikel: eDiffi is in staat om meer grondig door de prompt te itereren totdat het maximale aantal elementen is weergegeven. Hoewel de verbeterde resultaten voor eDiffi (rechtsste kolom) zijn geselecteerd, zijn de vergelijkingsbeelden van Stable Diffusion en DALL-E 2 ook geselecteerd.

Bovendien betekent het gebruik van een speciale T5-tekst-naar-tekst-encoder dat eDiffi in staat is om verstaanbare Engelse tekst te produceren, hetzij abstract aanvraag van een prompt (d.w.z. beeld bevat enige tekst van [x]) of expliciet aanvraag (d.w.z. het t-shirt zegt ‘Nvidia Rocks’)

Speciale tekst-naar-tekst-verwerking in eDiffi betekent dat tekst letterlijk in beelden kan worden weergegeven, in plaats van alleen via een tekst-naar-afbeelding-interpreterende laag die de uitvoer verstoort.

Een verdere impuls aan het nieuwe kader is dat het ook mogelijk is om een enkel beeld als stijlprompt te bieden, in plaats van een DreamBooth-model te trainen of een tekstuele embedding op meerdere voorbeelden van een genre of stijl te gebruiken.

Stijltransfer kan worden toegepast van een referentiebeeld naar een tekst-naar-afbeelding-prompt, of zelfs een afbeelding-naar-afbeelding-prompt.

Het nieuwe artikel is getiteld eDiffi: Tekst-naar-afbeelding-diffusiemodellen met een ensemble van expert-denoisers, en

De T5-tekstencoder

Het gebruik van Google’s Tekst-naar-tekst-transfer-transformator (T5) is het cruciale element in de verbeterde resultaten die in eDiffi worden aangetoond. De gemiddelde latent diffusiepijplijn draait om de associatie tussen getrainde beelden en de bijschriften die hen vergezelden toen ze van internet werden gehaald (of anderszins handmatig aangepast, hoewel dit een dure en zeldzame interventie is).

Uit de juli 2020-paper voor T5 – tekstgebaseerde transformaties, die de generatieve beeldworkflow in eDiffi (en potentieel andere latent diffusiemodellen) kunnen ondersteunen. Bron: https://arxiv.org/pdf/1910.10683.pdf

Door de bronTekst te herschrijven en de T5-module uit te voeren, kunnen meer exacte associaties en representaties worden verkregen dan in het model zijn getraind, bijna als post facto handmatige labeling, met grotere specificiteit en toepasbaarheid op de vereisten van de aangevraagde tekstprompt.

De auteurs leggen uit:

‘In de meeste bestaande werken over diffusiemodellen wordt het denoiser-model gedeeld over alle ruisniveaus, en wordt de tijdsdynamica weergegeven met een eenvoudige tijdsembedding die via een MLP-netwerk aan het denoiser-model wordt gevoerd. We betogen dat de complexe tijdsdynamica van de denoiser-diffusie mogelijk niet effectief vanuit de data kan worden geleerd met een gedeeld model met een beperkte capaciteit.

‘In plaats daarvan stellen we voor om de capaciteit van het denoiser-model op te schalen door een ensemble van expert-denoisers in te voeren; elk expert-denoiser is een denoiser-model dat is gespecialiseerd voor een bepaald bereik van ruisniveaus. Op deze manier kunnen we de modelcapaciteit verhogen zonder de steekproefgrootte te verlagen, aangezien de berekeningscomplexiteit van het evalueren van [het verwerkte element] op elk ruisniveau hetzelfde blijft.’

Conceptuele workflow voor eDiffi.

De bestaande CLIP-encodermodules die in DALL-E 2 en Stable Diffusion zijn opgenomen, zijn ook in staat om alternatieve beeldinterpretaties voor tekst te vinden die verband houden met gebruikersinvoer. Echter, ze zijn getraind op vergelijkbare informatie als het oorspronkelijke model en worden niet gebruikt als een afzonderlijke interpreterende laag in de manier waarop T5 in eDiffi wordt gebruikt.

De auteurs stellen dat eDiffi de eerste keer is dat zowel een T5- als een CLIP-encoder in één pijplijn zijn opgenomen:

’Aangezien deze twee encoders zijn getraind met verschillende doelstellingen, geven hun embeddings de voorkeur aan formaties van verschillende beelden met dezelfde invoertekst. Terwijl CLIP-tekstembeddings helpen bij het bepalen van het globale uiterlijk van de gegenereerde beelden, ontbreken de fijne details in de tekst.

‘In tegenstelling tot beelden die met T5-tekstembeddings alleen zijn gegenereerd, weerspiegelen deze beter de individuele objecten die in de tekst worden beschreven, maar hun globale uiterlijk is minder nauwkeurig. Het gebruik van beide produceert de beste beeldgeneratie-resultaten in ons model.’

Interruptie en aanvulling van het diffusieproces

Het artikel merkt op dat een typisch latent diffusiemodel de reis van pure ruis naar een beeld begint door uitsluitend te vertrouwen op tekst in de vroege stadia van de generatie.

Wanneer de ruis zich ontwikkelt tot een soort ruwe lay-out die de beschrijving in de tekstprompt vertegenwoordigt, valt de tekstgeleide facet van het proces eigenlijk weg, en verschuift het overige deel van het proces naar het aanvullen van de visuele kenmerken.

Dit betekent dat elk element dat niet in de kiemstadia van tekstgeleide ruisinterpretatie is opgelost, moeilijk in het beeld kan worden geïnjecteerd, omdat de twee processen (tekst-naar-lay-out en lay-out-naar-beeld) relatief weinig overlap hebben, en de basislay-out al behoorlijk verstrengeld is wanneer deze bij het beeldaanvulproces aankomt.

Uit het artikel: de aandachtskaarten van verschillende delen van de pijplijn terwijl het ruis-naar-beeldproces volwassen wordt. We kunnen de scherpe daling van de CLIP-influencer van het beeld in de onderste rij zien, terwijl T5 het beeld nog steeds beïnvloedt verder in het renderproces.

Beroepspotentieel

De voorbeelden op de projectpagina en YouTube-video zijn gericht op PR-vriendelijke generatie van meme-tastische leuke beelden. Zoals gewoonlijk, speelt NVIDIA-onderzoek de potentie van zijn laatste innovatie om fotorealistische of VFX-workflows te verbeteren, evenals zijn potentieel voor verbetering van deepfake-beelden en video’s, naar beneden.

In de voorbeelden schetst een beginnende of amateurgebruiker ruwe schetsen van plaatsing voor het specifieke element, terwijl in een meer systematische VFX-workflow het mogelijk zou zijn om eDiffi te gebruiken om meerdere frames van een video-element te interpreteren met tekst-naar-afbeelding, waarbij de schetsen zeer precies zijn en gebaseerd op, bijvoorbeeld, figuren waarvan de achtergrond is verwijderd via groene scherm of algoritme-methoden.

Runway ML biedt al AI-gebaseerde rotoscoping. In dit voorbeeld vertegenwoordigt de ‘groene scherm’ rond het onderwerp de alfalaag, terwijl de extractie is uitgevoerd via machine learning in plaats van algoritme-remming van een echte groene schermachtergrond. Bron: https://twitter.com/runwayml/status/1330978385028374529

Het gebruik van een getraind DreamBooth-karakter en een beeld-naar-beeldpijplijn met eDiffi, kan het potentieel mogelijk maken om een van de grootste uitdagingen van elk latent diffusiemodel aan te pakken: tijdelijke stabiliteit. In zo’n geval zouden zowel de randen van het opgelegde beeld als de inhoud van het beeld ‘vooraf gegenereerd’ worden tegen de gebruikerscanvas, met tijdelijke continuïteit van de gegenereerde inhoud (d.w.z. een echte Tai Chi-beoefenaar in een robot veranderen) door het gebruik van een vast DreamBooth-model dat zijn trainingsdata heeft ‘onthouden’ – slecht voor interpretatie, maar geweldig voor reproductie, trouw en continuïteit.

Methode, data en tests

Het artikel vermeldt dat het eDiffi-model is getraind op ‘een verzameling van openbare en propriëtaire datasets’, zwaar gefilterd door een voorgetraind CLIP-model, om beelden te verwijderen die waarschijnlijk de algemene esthetische score van de uitvoer zullen verlagen. De definitieve gefilterde beeldverzameling bestaat uit ‘ongeveer één miljard’ tekst-beeldparen. De grootte van de getrainde beelden wordt beschreven als met ‘de kortste zijde groter dan 64 pixels’.

Er zijn meerdere modellen getraind voor het proces, met zowel de basis- als superresolutiemodellen getraind op AdamW-optimizer met een leersnelheid van 0,0001, met een gewichtsverval van 0,01, en bij een formidabele batchgrootte van 2048.

De basismodel is getraind op 256 NVIDIA A100-GPU’s, en de twee superresolutiemodellen op 128 NVIDIA A100-GPU’s voor elk model.

Het systeem was gebaseerd op NVIDIA’s eigen Imaginaire-PyTorch-bibliotheek. COCO– en Visual Genome-datasets werden gebruikt voor evaluatie, hoewel ze niet in de definitieve modellen werden opgenomen, met MS-COCO de specifieke variant die voor tests werd gebruikt. Rivaal-systemen die werden getest, waren GLIDE, Make-A-Scene, DALL-E 2, Stable Diffusion, en Google’s twee beeldsynthesesystemen, Imagen en Parti.

In overeenstemming met soortgelijk eerder werk, zero-shot FID-30K werd gebruikt als evaluatiemetric. Onder FID-30K werden 30.000 bijschriften willekeurig uit de COCO-validatieset geëxtraheerd (d.w.z. niet de beelden of tekst die voor training werden gebruikt), die vervolgens als tekstprompts voor het synthetiseren van beelden werden gebruikt.

De Frechet Inception Distance (FID) tussen de gegenereerde en grondwaarheidsbeelden werd vervolgens berekend, evenals de opname van de CLIP-score voor de gegenereerde beelden.

Resultaten van de zero-shot FID-tests tegen de huidige state-of-the-art-benaderingen op de COCO 2014-validatiedataset, met lagere resultaten beter.

In de resultaten was eDiffi in staat om de laagste (beste) score op zero-shot FID te behalen, zelfs tegen systemen met een veel groter aantal parameters, zoals de 20 miljard parameters van Parti, in vergelijking met de 9,1 miljard parameters in het hoogste specificatie-eDiffi-model dat voor de tests werd getraind.

Conclusie

NVIDIA’s eDiffi vertegenwoordigt een welkome alternatief voor het simpelweg toevoegen van steeds meer data en complexiteit aan bestaande systemen, door in plaats daarvan een intelligentere en meer gelaagde aanpak te gebruiken voor enkele van de meest penibele obstakels met betrekking tot verstrengeling en niet-bewerkbaarheid in latent diffusiebeeldgeneratiesystemen.

Er is al discussie op de Stable Diffusion-subreddits en Discords over het direct incorporeren van eventuele code die voor eDiffi beschikbaar kan worden gemaakt, of het opnieuw opstellen van de principes achter het in een aparte implementatie. Het nieuwe pijplijn is echter zo radicaal anders, dat het een complete versie-nummerwijziging voor SD zou betekenen, waarbij sommige achterwaartse compatibiliteit wordt opgegeven, maar wel de mogelijkheid biedt van sterk verbeterde niveaus van controle over de gegenereerde beelden, zonder de verleidelijke verbeeldingskrachten van latent diffusie op te offeren. Eerst gepubliceerd 3 november 2022.