In de afgelopen jaren hebben afstemmingsgebaseerde diffusiemodellen een opvallende vooruitgang geboekt in een breed scala aan beeldpersonalisatie- en aanpassingstaken. Echter, ondanks hun potentieel, blijven huidige afstemmingsgebaseerde diffusiemodellen geconfronteerd met een reeks complexe uitdagingen bij het produceren en genereren van stijlconsistente afbeeldingen, en er kunnen drie redenen zijn voor hetzelfde. Ten eerste blijft het concept van stijl nog steeds breed ongedefinieerd en onbepaald, en bestaat uit een combinatie van elementen, waaronder atmosfeer, structuur, ontwerp, materiaal, kleur en veel meer. Ten tweede zijn inversie-gebaseerde methoden gevoelig voor stijldegradatie, wat resulteert in frequent verlies van fijne details. Ten slotte vereisen adapter-gebaseerde benaderingen frequente gewichtsaanpassing voor elke referentieafbeelding om een balans te behouden tussen tekstcontrole en stijlintensiteit.

Bovendien is het primaire doel van de meeste stijltransferbenaderingen of stijlafbeeldingengeneratie om de specifieke stijl van een gegeven referentieafbeelding of een referentiesubset van afbeeldingen toe te passen op een doelinhoudafbeelding. Echter, het is de brede reeks attributen van stijl die het moeilijk maakt voor onderzoekers om gestileerde datasets te verzamelen, stijl correct weer te geven en het succes van de overdracht te evalueren. Voordien werden modellen en kaders die te maken hadden met fijne afstemming op basis van diffusie, de dataset van afbeeldingen die een gemeenschappelijke stijl delen, fijngestemd, een proces dat zowel tijdrovend als beperkt is in termen van generaliseerbaarheid in real-worldtaken, aangezien het moeilijk is om een subset van afbeeldingen te verzamelen die dezelfde of nagenoeg identieke stijl delen.

In dit artikel zullen we het hebben over InstantStyle, een kader dat is ontworpen om de problemen aan te pakken die worden geconfronteerd door de huidige afstemmingsgebaseerde diffusiemodellen voor afbeeldingengeneratie en aanpassing. We zullen het hebben over de twee belangrijke strategieën die zijn geïmplementeerd door het InstantStyle-kader:

1. Een eenvoudige maar effectieve benadering om stijl en inhoud van referentieafbeeldingen te ontkoppelen binnen de kenruimte, gebaseerd op de veronderstelling dat kenmerken binnen dezelfde kenruimte kunnen worden toegevoegd of afgetrokken van elkaar.
2. Het voorkomen van stijllekken door de kenmerken van de referentieafbeelding exclusief in de stijlspecifieke blokken te injecteren, en het vermijden van de noodzaak om gebruik te maken van omslachtige gewichten voor fijne afstemming, die vaak meer parameterzware ontwerpen karakteriseren.

Dit artikel heeft als doel het InstantStyle-kader in detail te behandelen, en we zullen de mechanisme, de methodologie, de architectuur van het kader en de vergelijking met state-of-the-art-kaders onderzoeken. We zullen ook bespreken hoe het InstantStyle-kader opvallende visuele stijlresultaten laat zien en een optimale balans tussen de controle van tekstuele elementen en de intensiteit van stijl behaalt. Laten we beginnen.

InstantStyle: Stijlbehoud in Tekst-naar-Afbeelding-Generatie

Diffusie-gebaseerde tekst-naar-afbeelding-genererende AI-kaders hebben opvallende successen behaald in een breed scala aan aanpassing- en personalisatietaken, met name in consistente afbeeldingengeneratietaken, waaronder objectaanpassing, afbeeldingsbehoud en stijltransfer. Echter, ondanks de recente successen en prestatieverbeteringen, blijft stijltransfer een uitdaging voor onderzoekers vanwege de ongedefinieerde en onbepaalde aard van stijl, die vaak een reeks elementen omvat, waaronder atmosfeer, structuur, ontwerp, materiaal, kleur en veel meer. Met dat gezegd hebbende, is het primaire doel van gestileerde afbeeldingengeneratie of stijltransfer om de specifieke stijl van een gegeven referentieafbeelding of een referentiesubset van afbeeldingen toe te passen op een doelinhoudafbeelding. Echter, de brede reeks attributen van stijl maakt het moeilijk voor onderzoekers om gestileerde datasets te verzamelen, stijl correct weer te geven en het succes van de overdracht te evalueren. Voordien werden modellen en kaders die te maken hadden met fijne afstemming op basis van diffusie, de dataset van afbeeldingen die een gemeenschappelijke stijl delen, fijngestemd, een proces dat zowel tijdrovend als beperkt is in termen van generaliseerbaarheid in real-worldtaken, aangezien het moeilijk is om een subset van afbeeldingen te verzamelen die dezelfde of nagenoeg identieke stijl delen.

Met de uitdagingen die worden geconfronteerd door de huidige benadering, hebben onderzoekers interesse getoond in het ontwikkelen van fijne afstemmingsbenaderingen voor stijltransfer of gestileerde afbeeldingengeneratie, en deze kaders kunnen worden onderverdeeld in twee verschillende groepen:

• Adapter-vrije benaderingen: Adapter-vrije benaderingen en kaders maken gebruik van de kracht van self-attention binnen het diffusieproces, en door het implementeren van een gedeelde attentiebewerking, zijn deze modellen in staat om essentiële kenmerken, waaronder sleutels en waarden, uit een gegeven referentiestijlafbeelding direct te extraheren.

• Adapter-gebaseerde benaderingen: Adapter-gebaseerde benaderingen en kaders incorporeren een lichtgewicht model dat is ontworpen om gedetailleerde beeldrepresentaties uit de referentiestijlafbeeldingen te extraheren. Het kader integreert deze representaties vervolgens vaardig in het diffusieproces met behulp van cross-attentie-mechanismen. Het primaire doel van het integratieproces is om het generatieproces te leiden en ervoor te zorgen dat het resulterende beeld is uitgelijnd met de gewenste stylistische nuances van de referentieafbeelding.

Echter, ondanks de beloften, komen tuning-vrije methoden vaak een aantal uitdagingen tegen. Ten eerste vereist de adapter-vrije benadering een uitwisseling van sleutels en waarden binnen de self-attention-lagen, en vangt de sleutel- en waarde-matrices afgeleid van de referentiestijlafbeeldingen vooraf. Wanneer geïmplementeerd op natuurlijke afbeeldingen, vereist de adapter-vrije benadering de inversie van de afbeelding terug naar het latentie-ruispatroon met behulp van technieken zoals DDIM of Denoising Diffusion Implicit Models-inversie. Echter, het gebruik van DDIM of andere inversiebenaderingen kan resulteren in het verlies van fijne details zoals kleur en textuur, waardoor de stijlinformatie in de gegenereerde afbeeldingen vermindert. Bovendien is de extra stap die door deze benaderingen wordt geïntroduceerd een tijdrovend proces en kan significante nadelen hebben in praktische toepassingen. Aan de andere kant ligt de primaire uitdaging voor adapter-gebaseerde methoden in het vinden van het juiste evenwicht tussen contextlekkage en stijlintensiteit. Contextlekkage treedt op wanneer een toename van de stijlintensiteit resulteert in het verschijnen van niet-stijlelementen uit de referentieafbeelding in de gegenereerde uitvoer, met als primaire moeilijkheid het effectief ontkoppelen van stijl en inhoud binnen de referentieafbeelding.

Om deze beperkingen aan te pakken, wordt het InstantStyle-kader geïntroduceerd, dat een nieuw tuning-vrij mechanisme is gebaseerd op bestaande adapter-gebaseerde methoden met de mogelijkheid om naadloos te integreren met andere attention-gebaseerde injectiemethoden, en effectief de ontkoppeling van inhoud en stijl bereikt. Bovendien introduceert het InstantStyle-kader niet één, maar twee effectieve manieren om de ontkoppeling van stijl en inhoud te voltooien, waardoor betere stijlmigratie wordt bereikt zonder de noodzaak om extra methoden te introduceren om ontkoppeling te bereiken of geconjugeerde datasets te bouwen.

Bovendien hebben voorgaande adapter-gebaseerde kaders breed worden gebruikt in de CLIP-gebaseerde methoden als een beeldkenmerkextractor, en sommige kaders hebben de mogelijkheid onderzocht om kenmerkonthouding binnen de kenruimte te implementeren, en wanneer vergeleken met de onbepaalde stijlattributen, is het gemakkelijker om de inhoud te beschrijven met tekst. Aangezien afbeeldingen en teksten een gedeelde kenruimte delen in CLIP-gebaseerde methoden, kan een eenvoudige subtractiebewerking van contexttekstkenmerken en beeldkenmerken de contextlekkage aanzienlijk verminderen. Bovendien is er in de meeste diffusiemodellen een specifiek laag in de architectuur dat stijlinformatie injecteert, en bereikt de ontkoppeling van inhoud en stijl door beeldkenmerken alleen in specifieke stijlblokken te injecteren. Door het implementeren van deze twee eenvoudige strategieën, is het InstantStyle-kader in staat om de contextlekkageproblemen die worden geconfronteerd door de meeste bestaande kaders op te lossen, terwijl het de kracht van de stijl behoudt.

Om samen te vatten, het InstantStyle-kader gebruikt twee eenvoudige, rechttoe rechtaan en effectieve mechanismen om een effectieve ontkoppeling van inhoud en stijl van referentieafbeeldingen te bereiken. Het InstantStyle-kader is een modelonafhankelijke en tuning-vrije benadering die opvallende prestaties laat zien in stijltransfer taken met een groot potentieel voor neerwaartse taken.

Instant-Style: Methodologie en Architectuur

Zoals aangetoond door voorgaande benaderingen, is er een evenwicht in de injectie van stijlcondities in tuning-vrije diffusiemodellen. Als de intensiteit van de afbeeldingsconditie te hoog is, kan dit resulteren in contextlekkage, terwijl als de intensiteit van de afbeeldingsconditie te laag is, de stijl mogelijk niet duidelijk genoeg lijkt. Een belangrijke reden achter deze observatie is dat in een afbeelding, de stijl en inhoud met elkaar verweven zijn, en vanwege de inherente onbepaalde stijlattributen, is het moeilijk om de stijl en intentie te ontkoppelen. Als gevolg daarvan worden zorgvuldige gewichten vaak aangepast voor elke referentieafbeelding in een poging om de tekstcontrole en de stijlkracht te balanceren. Bovendien, voor een gegeven invoerreferentieafbeelding en de corresponderende tekstbeschrijving in de inversie-gebaseerde methoden, worden inversiebenaderingen zoals DDIM over de afbeelding geadopteerd om de omgekeerde diffusietraject te krijgen, een proces dat de inversievergelijking benadert om een afbeelding om te zetten in een latentie-ruispatroon. Gebouwd op hetzelfde, en startend vanaf de omgekeerde diffusietraject langs met een nieuwe set prompts, genereren deze methoden nieuwe inhoud met de stijl die is uitgelijnd met de invoer. Echter, zoals getoond in de volgende figuur, is de DDIM-inversiebenadering voor echte afbeeldingen vaak onstabiel, omdat het afhankelijk is van lokale linearisatie-aannamen, wat resulteert in de voortplanting van fouten en leidt tot verlies van inhoud en onjuiste afbeeldingsreconstructie.

Komend tot de methodologie, in plaats van het gebruik van complexe strategieën om inhoud en stijl van afbeeldingen te ontkoppelen, neemt het Instant-Style-kader de eenvoudigste benadering om een soortgelijke prestatie te bereiken. Wanneer vergeleken met de onbepaalde stijlattributen, kan de inhoud worden weergegeven door natuurlijke tekst, waardoor het Instant-Style-kader de tekstencoder van CLIP kan gebruiken om de kenmerken van de inhoudstekst als contextrepresentaties te extraheren. Tegelijkertijd implementeert het Instant-Style-kader de CLIP-afbeeldingsencoder om de kenmerken van de referentieafbeelding te extraheren. Door het gebruik van de karakterisatie van CLIP-globale kenmerken, en na het aftrekken van de inhoudstekstkenmerken van de beeldkenmerken, is het Instant-Style-kader in staat om de stijl en inhoud expliciet te ontkoppelen. Hoewel het een eenvoudige strategie is, helpt het Instant-Style-kader om de contextlekkage tot een minimum te beperken.

Bovendien is elke laag binnen een diep netwerk verantwoordelijk voor het vastleggen van verschillende semantische informatie, en de sleutelobservatie van voorgaande modellen is dat er twee attentie-lagen zijn die verantwoordelijk zijn voor het behandelen van stijl. Specifiek zijn het de blokken.0.attenties.1 en down blokken.2.attenties.1 lagen die verantwoordelijk zijn voor het vastleggen van stijl zoals kleur, materiaal, atmosfeer, en de spatiale lay-outlaag die structuur en compositie vastlegt. Het Instant-Style-kader gebruikt deze lagen impliciet om stijlinformatie te extraheren, en voorkomt contextlekkage zonder het verlies van de stijlkracht. De strategie is eenvoudig maar effectief, aangezien het model de stijlblokken heeft gelokaliseerd die de beeldkenmerken in deze blokken kunnen injecteren om een naadloze stijltransfer te bereiken. Bovendien, aangezien het model het aantal parameters van de adapter aanzienlijk vermindert, wordt de tekstcontrole van het kader verbeterd, en is het mechanisme ook toepasbaar op andere attention-gebaseerde kenmerkinjectiemodellen voor bewerking en andere taken.

Instant-Style: Experimenten en Resultaten

Het Instant-Style-kader is geïmplementeerd op het Stable Diffusion XL-kader, en het gebruikt het algemeen geaccepteerde pre-getrainde IR-adapter als zijn exemplaar om zijn methodologie te valideren, en dempt alle blokken behalve de stijlblokken voor beeldkenmerken. Het Instant-Style-model traint ook de IR-adapter op 4 miljoen grote schaal tekst-afbeelding-paarde datasets van scratch, en in plaats van het trainen van alle blokken, worden alleen de stijlblokken bijgewerkt.

Om zijn generalisatiecapaciteiten en robuustheid te onderzoeken, voert het Instant-Style-kader een aantal stijltransfer-experimenten uit met verschillende stijlen over verschillende inhoud, en de resultaten kunnen worden waargenomen in de volgende afbeeldingen. Gegeven een enkele stijlreferentieafbeelding langs met variërende prompts, levert het Instant-Style-kader hoge kwaliteit, consistente stijlafbeeldingen.

Bovendien, aangezien het model beeldinformatie alleen in de stijlblokken injecteert, is het in staat om het probleem van contextlekkage aanzienlijk te mitigeren, en heeft het daarom geen noodzaak om gewichtsaanpassing uit te voeren.

Verder, het Instant-Style-kader neemt ook de ControlNet-architectuur over om afbeeldingsgebaseerde stijlisatie met spatiale controle te bereiken, en de resultaten worden gedemonstreerd in de volgende afbeelding.

Wanneer vergeleken met voorgaande state-of-the-art-methoden, waaronder StyleAlign, B-LoRA, Swapping Self Attention, en IP-Adapter, toont het Instant-Style-kader de beste visuele effecten.

Slotgedachten

In dit artikel hebben we het gehad over Instant-Style, een algemeen kader dat twee eenvoudige maar effectieve strategieën gebruikt om een effectieve ontkoppeling van inhoud en stijl van referentieafbeeldingen te bereiken. Het InstantStyle-kader is ontworpen om de problemen aan te pakken die worden geconfronteerd door de huidige afstemmingsgebaseerde diffusiemodellen voor afbeeldingengeneratie en aanpassing. Het Instant-Style-kader implementeert twee vitale strategieën: een eenvoudige maar effectieve benadering om stijl en inhoud van referentieafbeeldingen te ontkoppelen binnen de kenruimte, gebaseerd op de veronderstelling dat kenmerken binnen dezelfde kenruimte kunnen worden toegevoegd of afgetrokken van elkaar. Ten tweede, het voorkomen van stijllekken door de referentieafbeeldingkenmerken exclusief in de stijlspecifieke blokken te injecteren, en het vermijden van de noodzaak om gebruik te maken van omslachtige gewichten voor fijne afstemming, die vaak meer parameterzware ontwerpen karakteriseren.