Matul l-aħħar ftit snin, mudelli ta 'diffużjoni bbażati fuq l-irfinar urew progress notevoli fuq firxa wiesgħa ta' kompiti ta 'personalizzazzjoni u customization tal-immaġni. Madankollu, minkejja l-potenzjal tagħhom, il-mudelli attwali ta 'diffużjoni bbażati fuq l-irfinar għadhom jiffaċċjaw għadd ta' sfidi kumplessi fil-produzzjoni u l-ġenerazzjoni ta 'immaġini konsistenti fl-istil, u jista' jkun hemm tliet raġunijiet wara l-istess. L-ewwel, il-kunċett ta 'stil għadu mhux definit ħafna u mhux determinat, u jinkludi taħlita ta' elementi inklużi atmosfera, struttura, disinn, materjal, kulur, u ħafna aktar. It-tieni metodi bbażati fuq l-inverżjoni huma suxxettibbli għal degradazzjoni tal-istil, li jirriżultaw f'telf frekwenti ta 'dettalji ta' qamħa fin. Fl-aħħarnett, approċċi bbażati fuq l-adapter jeħtieġu sintonizzazzjoni frekwenti tal-piż għal kull immaġini ta 'referenza biex jinżamm bilanċ bejn il-kontrollabbiltà tat-test, u l-intensità tal-istil. 

Barra minn hekk, l-għan primarju ta 'maġġoranza ta' approċċi ta 'trasferiment ta' stil jew ġenerazzjoni ta 'immaġni ta' stil huwa li tuża l-immaġni ta 'referenza, u tapplika l-istil speċifiku tagħha minn subsett partikolari jew immaġni ta' referenza għal immaġni ta 'kontenut fil-mira. Madankollu, huwa n-numru wiesa 'ta' attributi ta 'stil li jagħmel ix-xogħol diffiċli għar-riċerkaturi biex jiġbru settijiet ta' dejta stilizzati, li jirrappreżentaw l-istil b'mod korrett, u jevalwaw is-suċċess tat-trasferiment. Preċedentement, mudelli u oqfsa li jittrattaw proċess ta’ diffużjoni bbażat fuq l-irfinar, jirfinaw is-sett tad-dejta ta’ immaġini li jaqsmu stil komuni, proċess li jieħu ħafna ħin, u b’ġeneralizzazzjoni limitata f’ħidmiet tad-dinja reali peress li huwa diffiċli. biex tiġbor subsett ta' immaġini li jaqsmu l-istess stil jew kważi identiku. 

F'dan l-artikolu, se nitkellmu dwar InstantStyle, qafas iddisinjat bil-għan li jindirizza l-kwistjonijiet li jiffaċċjaw il-mudelli attwali ta 'diffużjoni bbażati fuq l-irfinar għall-ġenerazzjoni u l-adattament tal-immaġni. Se nitkellmu dwar iż-żewġ strateġiji ewlenin implimentati mill-qafas InstantStyle: 

1. Approċċ sempliċi iżda effettiv biex jiġi diżakkoppjat l-istil u l-kontenut minn immaġini ta’ referenza fi ħdan l-ispazju tal-karatteristiċi, imbassar fuq is-suppożizzjoni li l-karatteristiċi fl-istess spazju tal-karatteristiċi jistgħu jew jiġu miżjuda jew imnaqqsa minn xulxin. 
2. Prevenzjoni ta 'tnixxija ta' stil billi tinjetta l-karatteristiċi ta 'l-immaġni ta' referenza esklussivament fil-blokki speċifiċi għall-istil, u tevita deliberatament il-ħtieġa li jintużaw piżijiet ingombranti għall-irfinar, ħafna drabi jikkaratterizzaw disinji aktar tqal b'parametri. 

Dan l-artikolu għandu l-għan li jkopri l-qafas InstantStyle fil-fond, u nesploraw il-mekkaniżmu, il-metodoloġija, l-arkitettura tal-qafas flimkien mat-tqabbil tiegħu ma 'oqfsa avvanzati. Se nitkellmu wkoll dwar kif il-qafas InstantStyle juri riżultati ta 'stilizzazzjoni viżiva notevoli, u jilħaq bilanċ ottimali bejn il-kontrollabbiltà tal-elementi testwali u l-intensità tal-istil. Mela ejja nibdew. 

InstantStyle : Preservazzjoni tal-Istil fil-Ġenerazzjoni tat-Test għall-Immaġini

L-oqfsa AI ġenerattivi ta’ test għal immaġni bbażati fuq it-tixrid ġabru suċċess notevoli u notevoli f’firxa wiesgħa ta’ kompiti ta’ customization u personalizzazzjoni, partikolarment f’ħidmiet konsistenti ta’ ġenerazzjoni ta’ immaġini inklużi customization ta’ oġġetti, preservazzjoni ta’ immaġini u trasferiment ta’ stili. Madankollu, minkejja s-suċċess riċenti u l-ispinta fil-prestazzjoni, it-trasferiment tal-istil jibqa 'kompitu ta' sfida għar-riċerkaturi minħabba n-natura mhux determinata u mhux definita tal-istil, ħafna drabi tinkludi varjetà ta 'elementi inklużi atmosfera, struttura, disinn, materjal, kulur, u ħafna aktar. B'dan li jingħad, l-għan primarju tal-ġenerazzjoni tal-immaġni stilizzata jew it-trasferiment tal-istil huwa li jiġi applikat l-istil speċifiku minn immaġni ta' referenza partikolari jew sottosett ta' referenza ta' immaġini. għall-immaġni tal-kontenut fil-mira. Madankollu, in-numru wiesa 'ta' attributi ta 'stil jagħmel ix-xogħol diffiċli għar-riċerkaturi biex jiġbru settijiet ta' dejta stilizzati, li jirrappreżentaw l-istil b'mod korrett, u jevalwaw is-suċċess tat-trasferiment. Preċedentement, mudelli u oqfsa li jittrattaw proċess ta’ diffużjoni bbażat fuq l-irfinar, jirfinaw is-sett tad-dejta ta’ immaġini li jaqsmu stil komuni, proċess li jieħu ħafna ħin, u b’ġeneralizzazzjoni limitata f’ħidmiet tad-dinja reali peress li huwa diffiċli. biex tiġbor subsett ta' immaġini li jaqsmu l-istess stil jew kważi identiku. 

Bl-isfidi li jiltaqgħu magħhom l-approċċ attwali, ir-riċerkaturi ħadu interess fl-iżvilupp ta 'approċċi ta' rfinar għat-trasferiment tal-istil jew ġenerazzjoni ta 'immaġni stilizzata, u dawn l-oqfsa jistgħu jinqasmu f'żewġ gruppi differenti: 

• Approċċi mingħajr Adapter: Approċċi u oqfsa mingħajr adapter jisfruttaw il-qawwa ta 'awto-attenzjoni fi ħdan il-proċess ta' diffużjoni, u billi jimplimentaw operazzjoni ta 'attenzjoni kondiviża, dawn il-mudelli huma kapaċi li jiġbed karatteristiċi essenzjali inklużi ċwievet u valuri minn stampi ta' stil ta 'referenza partikolari direttament. 

• Approċċi bbażati fuq adapter: Approċċi u oqfsa bbażati fuq adapter min-naħa l-oħra jinkorporaw mudell ħafif iddisinjat biex jiġi estratt rappreżentazzjonijiet dettaljati tal-immaġni mill-immaġini tal-istil ta 'referenza. Il-qafas imbagħad jintegra dawn ir-rappreżentazzjonijiet fil-proċess ta 'diffużjoni b'sengħa billi juża mekkaniżmi ta' attenzjoni inkroċjata. L-għan primarju tal-proċess ta 'integrazzjoni huwa li jiggwida l-proċess ta' ġenerazzjoni, u li jiżgura li l-immaġni li tirriżulta hija allinjata mal-sfumaturi stilistiċi mixtieqa tal-immaġni ta 'referenza. 

Madankollu, minkejja l-wegħdiet, metodi mingħajr irfinar spiss jiltaqgħu ma 'ftit sfidi. L-ewwel, l-approċċ mingħajr adapter jeħtieġ skambju ta 'ċavetta u valuri fi ħdan is-saffi ta' awto-attenzjoni, u jaqbad minn qabel il-matriċi taċ-ċavetta u tal-valur derivati ​​mill-immaġini tal-istil ta 'referenza. Meta jiġi implimentat fuq immaġini naturali, l-approċċ mingħajr adapter jitlob l-inverżjoni tal-immaġni lura għall-istorbju moħbi bl-użu ta 'tekniki bħal DDIM jew Inverżjoni tal-Mudelli Impliċiti ta' Diffużjoni Denoising. Madankollu, l-użu ta' DDIM jew approċċi oħra ta' inverżjoni jista' jirriżulta fit-telf ta' dettalji ta' qamħa fin bħall-kulur u n-nisġa, u għalhekk inaqqas l-informazzjoni tal-istil fl-immaġini ġġenerati. Barra minn hekk, il-pass addizzjonali introdott minn dawn l-approċċi huwa proċess li jieħu ħafna ħin, u jista' joħloq żvantaġġi sinifikanti fl-applikazzjonijiet prattiċi. Min-naħa l-oħra, l-isfida primarja għall-metodi bbażati fuq l-adapter tinsab fl-ilħuq tal-bilanċ it-tajjeb bejn it-tnixxija tal-kuntest u l-intensità tal-istil. It-tnixxija tal-kontenut iseħħ meta żieda fl-intensità tal-istil tirriżulta fid-dehra ta 'elementi mhux stil mill-immaġni ta' referenza fl-output iġġenerat, bil-punt primarju ta 'diffikultà jkun jissepara stili mill-kontenut fi ħdan l-immaġni ta' referenza b'mod effettiv. Biex jindirizzaw din il-kwistjoni, xi oqfsa jibnu settijiet ta 'dejta mqabbda li jirrappreżentaw l-istess oġġett fi stili differenti, li jiffaċilitaw l-estrazzjoni tar-rappreżentazzjoni tal-kontenut, u stili disangled. Madankollu, grazzi għar-rappreżentazzjoni intrinsikament mhux determinata tal-istil, il-kompitu tal-ħolqien ta 'settijiet ta' data paired fuq skala kbira huwa limitat f'termini tad-diversità ta 'stili li jista' jaqbad, u huwa proċess li juża ħafna riżorsi wkoll. 

Biex jiġu indirizzati dawn il-limitazzjonijiet, jiġi introdott il-qafas InstantStyle li huwa mekkaniżmu ġdid mingħajr irfinar ibbażat fuq metodi eżistenti bbażati fuq adapter bil-kapaċità li jintegra bla xkiel ma 'metodi oħra ta' injezzjoni bbażati fuq l-attenzjoni, u jikseb id-diżakkoppjar tal-kontenut u l-istil b'mod effettiv. Barra minn hekk, il-qafas InstantStyle jintroduċi mhux wieħed, iżda żewġ modi effettivi biex jitlesta d-diżakkoppjar tal-istil u l-kontenut, u jikseb migrazzjoni aħjar tal-istil mingħajr ma jkollu l-ħtieġa li jintroduċi metodi addizzjonali biex jinkiseb id-diżakkoppjar jew il-bini ta 'settijiet ta' data paired. 

Barra minn hekk, oqfsa preċedenti bbażati fuq adapter intużaw b'mod wiesa 'fil-metodi bbażati fuq CLIP bħala estrattur tal-karatteristiċi tal-immaġni, xi oqfsa esploraw il-possibbiltà li jimplimentaw diżakkoppjar tal-karatteristiċi fi ħdan l-ispazju tal-karatteristiċi, u meta mqabbla ma' nuqqas ta 'determinazzjoni tal-istil, huwa aktar faċli li iddeskrivi l-kontenut bit-test. Peress li l-immaġini u t-testi jaqsmu spazju ta' karatteristiċi f'metodi bbażati fuq CLIP, operazzjoni sempliċi ta' tnaqqis tal-karatteristiċi tat-test tal-kuntest u l-karatteristiċi tal-immaġni tista' tnaqqas it-tnixxija tal-kontenut b'mod sinifikanti. Barra minn hekk, fil-maġġoranza ta’ mudelli tad-diffużjoni, hemm saff partikolari fl-arkitettura tiegħu li jinjetta l-informazzjoni tal-istil, u jwettaq id-diżakkoppjar tal-kontenut u l-istil billi jinjetta karatteristiċi tal-immaġni biss fi blokki tal-istil speċifiċi. Billi jimplimenta dawn iż-żewġ strateġiji sempliċi, il-qafas InstantStyle huwa kapaċi jsolvi problemi ta 'tnixxija tal-kontenut li jiltaqgħu magħhom il-maġġoranza ta' oqfsa eżistenti filwaqt li żżomm is-saħħa tal-istil. 

Fil-qosor, il-qafas InstantStyle jimpjega żewġ mekkaniżmi sempliċi, sempliċi iżda effettivi biex jikseb diżiglazzjoni effettiva tal-kontenut u l-istil minn immaġini ta 'referenza. Il-qafas Instant-Style huwa approċċ mudell indipendenti u mingħajr irfinar li juri prestazzjoni notevoli f'kompiti ta 'trasferiment ta' stil b'potenzjal kbir għal kompiti downstream. 

Instant-Style: Metodoloġija u Arkitettura

Kif muri minn approċċi preċedenti, hemm bilanċ fl-injezzjoni ta 'kundizzjonijiet ta' stil f'mudelli ta 'diffużjoni mingħajr irfinar. Jekk l-intensità tal-kundizzjoni tal-immaġni hija għolja wisq, tista 'tirriżulta fi tnixxija tal-kontenut, filwaqt li jekk l-intensità tal-kundizzjoni tal-immaġni tinżel baxx wisq, l-istil jista' ma jidhirx li jkun ovvju biżżejjed. Raġuni ewlenija wara din l-osservazzjoni hija li f'immaġni, l-istil u l-kontenut huma akkoppjati ma 'xulxin, u minħabba l-attributi inerenti tal-istil mhux determinati, huwa diffiċli li l-istil u l-intenzjoni jiġu diżakkoppjati. Bħala riżultat, piżijiet metikolużi ħafna drabi jiġu rranġati għal kull immaġini ta 'referenza f'tentattiv biex jibbilanċjaw il-kontrollabbiltà tat-test u s-saħħa tal-istil. Barra minn hekk, għal immaġni ta' referenza ta' input partikolari u d-deskrizzjoni tat-test korrispondenti tagħha fil-metodi bbażati fuq l-inverżjoni, approċċi ta 'inverżjoni bħal DDIM huma adottati fuq l-immaġni biex tinkiseb it-trajettorja ta' diffużjoni maqluba, proċess li jqarreb l-ekwazzjoni ta 'inverżjoni biex tittrasforma immaġni f'moħbi. rappreżentazzjoni tal-istorbju. Jibnu fuq l-istess, u li jibdew mit-trajettorja ta 'diffużjoni maqluba flimkien ma' sett ġdid ta 'prompts, dawn il-metodi jiġġeneraw kontenut ġdid bl-istil tiegħu allinjat mal-input. Madankollu, kif muri fil-figura li ġejja, l-approċċ ta 'inverżjoni DDIM għal stampi reali ħafna drabi huwa instabbli peress li jiddependi fuq suppożizzjonijiet ta' linearizzazzjoni lokali, li jirriżulta fi propagazzjoni ta 'żbalji, u jwassal għal telf ta' kontenut u rikostruzzjoni ta 'immaġni mhux korretta. 

Meta wieħed jasal għall-metodoloġija, minflok ma juża strateġiji kumplessi biex jinħall il-kontenut u l-istil mill-immaġini, il-qafas Instant-Style jieħu l-aktar approċċ sempliċi biex jikseb prestazzjoni simili. Meta mqabbel mal-attributi tal-istil sottodeterminati, il-kontenut jista 'jiġi rappreżentat b'test naturali, li jippermetti lill-qafas Instant-Style juża l-encoder tat-test minn CLIP biex jiġbed il-karatteristiċi tat-test tal-kontenut bħala rappreżentazzjonijiet tal-kuntest. Fl-istess ħin, il-qafas Instant-Style jimplimenta l-encoder tal-immaġni CLIP biex jiġi estratt il-karatteristiċi tal-immaġni ta 'referenza. Filwaqt li tieħu vantaġġ mill-karatterizzazzjoni tal-karatteristiċi globali tal-CLIP, u wara t-tnaqqis tal-karatteristiċi tat-test tal-kontenut mill-karatteristiċi tal-immaġni, il-qafas Instant-Style huwa kapaċi jiddiżakkoppja l-istil u l-kontenut b'mod espliċitu. Għalkemm hija strateġija sempliċi, tgħin li l-qafas Instant-Style huwa pjuttost effettiv biex iżżomm it-tnixxija tal-kontenut għall-minimu. 

Barra minn hekk, kull saff fi ħdan netwerk profond huwa responsabbli biex jinqabad informazzjoni semantika differenti, u l-osservazzjoni ewlenija minn mudelli preċedenti hija li jeżistu żewġ saffi ta 'attenzjoni li huma responsabbli għall-immaniġġjar tal-istil. up Speċifikament, huwa l-blokki.0.attentions.1 u down blocks.2.attentions.1 saffi responsabbli għall-qbid ta 'stil bħall-kulur, materjal, atmosfera, u s-saff ta' tqassim spazjali jaqbad l-istruttura u l-kompożizzjoni rispettivament. Il-qafas Instant-Style juża dawn is-saffi b'mod impliċitu biex jiġbed l-informazzjoni dwar l-istil, u jipprevjeni t-tnixxija tal-kontenut mingħajr ma jitlef is-saħħa tal-istil. L-istrateġija hija sempliċi iżda effettiva peress li l-mudell sab blokki ta 'stil li jistgħu jinjettaw il-karatteristiċi ta' l-immaġini f'dawn il-blokki biex jiksbu trasferiment ta 'stil bla xkiel. Barra minn hekk, peress li l-mudell inaqqas ħafna n-numru ta 'parametri tal-adapter, il-kapaċità ta' kontroll tat-test tal-qafas hija msaħħa, u l-mekkaniżmu huwa applikabbli wkoll għal mudelli oħra ta 'injezzjoni ta' karatteristiċi bbażati fuq l-attenzjoni għall-editjar u kompiti oħra. 

Instant-Style: Esperimenti u Riżultati

Il-qafas Instant-Style huwa implimentat fuq il-qafas Stabbli Diffusion XL, u juża l-adapter IR mħarreġ minn qabel adottat b'mod komuni bħala l-eżemplari tiegħu biex jivvalida l-metodoloġija tiegħu, u jmut il-blokki kollha ħlief il-blokki tal-istil għall-karatteristiċi tal-immaġni. Il-mudell Instant-Style iħarreġ ukoll l-IR-adapter fuq 4 miljun sett ta 'dejta mqabbda ta' test-immaġni fuq skala kbira mill-bidu, u minflok ma jħarreġ il-blokki kollha, jaġġorna biss il-blokki tal-istil. 

Biex twettaq il-kapaċitajiet ta 'ġeneralizzazzjoni u r-robustezza tiegħu, il-qafas Instant-Style iwettaq bosta esperimenti ta' trasferiment ta 'stil bi stili varji f'kontenut differenti, u r-riżultati jistgħu jiġu osservati fl-immaġini li ġejjin. Minħabba immaġni ta 'referenza ta' stil wieħed flimkien ma 'prompti differenti, il-qafas Instant-Style jagħti stil konsistenti ta' kwalità għolja. ġenerazzjoni ta 'immaġni. 

Barra minn hekk, peress li l-mudell jinjetta informazzjoni ta 'l-immaġni biss fil-blokki ta' l-istil, huwa kapaċi jtaffi l-kwistjoni tat-tnixxija tal-kontenut b'mod sinifikanti, u għalhekk, m'għandux għalfejn iwettaq irfinar tal-piż. 

Nimxu 'l quddiem, il-qafas Instant-Style jadotta wkoll l-arkitettura ControlNet biex tinkiseb stilizzazzjoni bbażata fuq l-immaġni b'kontroll spazjali, u r-riżultati jintwerew fl-immaġni li ġejja. 

Meta mqabbel ma 'metodi avvanzati preċedenti inklużi StyleAlign, B-LoRA, Swapping Self Attention, u IP-Adapter, il-qafas Instant-Style juri l-aħjar effetti viżwali. 

Ħsibijiet Finali

F'dan l-artikolu, tkellimna dwar Instant-Style, qafas ġenerali li jimpjega żewġ strateġiji sempliċi iżda effettivi biex jinkiseb tqassim effettiv tal-kontenut u l-istil minn stampi ta 'referenza. Il-qafas InstantStyle huwa ddisinjat bil-għan li jindirizza l-kwistjonijiet li jiffaċċjaw il-mudelli attwali ta 'diffużjoni bbażati fuq l-irfinar għall-ġenerazzjoni u l-adattament ta' l-immaġni. Il-qafas Instant-Style jimplimenta żewġ strateġiji vitali: Approċċ sempliċi iżda effettiv biex jiġi diżakkoppjat l-istil u l-kontenut minn immaġini ta 'referenza fl-ispazju tal-karatteristiċi, imbassar fuq is-suppożizzjoni li l-karatteristiċi fl-istess spazju tal-karatteristiċi jistgħu jew jiġu miżjuda jew imnaqqsa minn xulxin. It-tieni, il-prevenzjoni ta 'tnixxija ta' stil billi tinjetta l-karatteristiċi ta 'l-immaġni ta' referenza esklussivament fil-blokki speċifiċi għall-istil, u tevita deliberatament il-ħtieġa li jintużaw piżijiet ingombranti għall-irfinar, ħafna drabi jikkaratterizzaw disinji aktar tqal b'parametri.