Dhawrkii sano ee la soo dhaafay, moodooyinka fidinta ku salaysan habayntu waxay muujiyeen horumar la taaban karo oo laga sameeyay qaabab kala duwan oo sawir shakhsiyeed iyo hawlo habayn ah. Si kastaba ha ahaatee, in kasta oo ay awoodaan, moodooyinka fidinta ku salaysan hagaajinta hadda waxay sii wadaan inay wajahaan caqabado badan oo kakan xagga soo saarista iyo soo saarista muuqaalada qaab-joogta ah, waxaana laga yaabaa inay jiraan saddex sababood oo ka dambeeya isku mid. Marka hore, fikradda qaabka weli waa mid aan si ballaaran loo qeexin oo aan la go'aamin, waxayna ka kooban tahay waxyaabo isku dhafan oo ay ka mid yihiin jawiga, qaab-dhismeedka, naqshadeynta, walxaha, midabka, iyo wax ka badan. Hababka labaad ee ku salaysan rogroga waxay u nugul yihiin hoos u dhigista qaabka, taas oo keentay in ay lumiyaan si joogta ah faahfaahinta qumman. Ugu dambeyntii, hababka ku saleysan adabtarada waxay u baahan yihiin hagaajin miisaan joogto ah sawir kasta oo tixraac ah si loo ilaaliyo dheelitirka u dhexeeya xakamaynta qoraalka, iyo xoojinta qaabka. 

Intaa waxaa dheer, hadafka koowaad ee badi hababka wareejinta ama jiilka sawirka qaabku waa in la isticmaalo sawirka tixraaca, oo lagu dabaqo qaabkeeda gaarka ah ee qayb hoosaadka la bixiyay ama sawirka tixraaca sawirka nuxurka. Si kastaba ha ahaatee, waa tirada ballaaran ee sifooyinka qaabka taas oo shaqada ku adkeyneysa cilmi-baarayaasha si ay u ururiyaan xogta qaabaysan, oo matala qaabka saxda ah, iyo qiimeynta guusha wareejinta. Markii hore, moodooyinka iyo qaab-dhismeedyada la tacaalaya hab-habboon ee habka fidinta ku salaysan, hagaajinta xogta sawirada ee wadaaga qaab caadi ah, habraaca labadaba waqti badan qaata, iyo guud ahaan xaddidan ee hawlaha dhabta ah ee aduunka maadaama ay adagtahay. si loo ururiyo muuqaalo hoose oo wadaaga qaab isku mid ah ama ku dhawaad ​​isku mid ah. 

Maqaalkan, waxaan kaga hadli doonaa InstantStyle, qaab nashqad leh oo ujeedadu tahay wax ka qabashada arrimaha ay wajahayaan moodooyinka fidinta ku saleysan hagaajinta ee hadda jira ee abuuritaanka sawirka iyo habeynta. Waxaan ka hadli doonaa labada xeeladood ee muhiimka ah ee uu hirgeliyay qaabka InstantStyle: 

1. Hab fudud oo wax ku ool ah oo lagu kala saaro qaabka iyo nuxurka sawirada tixraaca ee ku dhex jira goobta muuqaalka, oo la saadaaliyay in sifooyin isku mid ah lagu dari karo ama laga jari karo midba midka kale. 
2. Ka hortagga qaabka daadanaya iyadoo la durayo muuqaalada sawirka tixraaca si gaar ah loogu dhejiyo qaab-dhismeedka gaarka ah, iyo si ula kac ah looga fogaado baahida loo isticmaalo miisaan culus si loo hagaajiyo, oo inta badan lagu garto naqshado badan oo cabbir-culus. 

Maqaalkani waxa uu ujeedkiisu yahay in uu si qoto dheer u daboolo qaabka InstantStyle, waxaanan sahamineynaa habka, habka, qaab dhismeedka qaabka oo ay la socoto isbarbardhigga qaabka farshaxanka. Waxaan sidoo kale ka hadli doonaa sida qaabka InstantStyle uu u muujiyo natiijooyinka qaabaynta muuqaalka ee cajiibka ah, oo uu ku dhufto dheelitirka ugu wanaagsan ee u dhexeeya xakamaynta walxaha qoraalka ah iyo xoojinta qaabka. Markaa aan bilowno. 

InstantStyle : Ilaalinta Qaabka Qoraal ilaa Jiilka Sawirka

Qoraalada ku salaysan faafinta sawirka qaab-dhismeedka AI waxay kasbadeen guul la taaban karo oo la taaban karo oo laga gaaray shaqooyin kala duwan oo habaynta iyo shaqsiyaynta, gaar ahaan hawlo abuurista sawir joogto ah oo ay ku jiraan habaynta shayga, ilaalinta sawirka, iyo qaab wareejinta. Si kastaba ha ahaatee, inkasta oo guusha dhowaan la gaadhay iyo kor u qaadista waxqabadka, qaabka wareejinta ayaa weli ah hawl adag oo loogu talagalay cilmi-baarayaasha iyada oo ay ugu wacan tahay dabeecadda aan la go'aamin iyo qaabka aan la qeexin, oo badanaa ay ku jiraan waxyaabo kala duwan oo ay ku jiraan jawiga, qaab-dhismeedka, naqshadeynta, walxaha, midabka, iyo wax ka badan. Iyadoo taas la sheegayo, yoolka koowaad ee jiilka sawirka qaabaysan ama qaab wareejinta qaabku waa in lagu dabaqo qaabka gaarka ah ee sawirka tixraaca ah ama qayb tixraaceed oo sawirro ah. ilaa sawirka nuxurka bartilmaameedka ah. Si kastaba ha ahaatee, tirada ballaaran ee sifooyinka qaabka ayaa shaqada ku adkeynaya cilmi-baarayaasha si ay u ururiyaan xogta qaabaysan, oo matala qaabka saxda ah, iyo qiimeynta guusha wareejinta. Markii hore, moodooyinka iyo qaab-dhismeedyada la tacaalaya hab-habboon ee habka fidinta ku salaysan, hagaajinta xogta sawirada ee wadaaga qaab caadi ah, habraaca labadaba waqti badan qaata, iyo guud ahaan xaddidan ee hawlaha dhabta ah ee aduunka maadaama ay adagtahay. si loo ururiyo muuqaalo hoose oo wadaaga qaab isku mid ah ama ku dhawaad ​​isku mid ah. 

Caqabadaha ay la kulmeen habka hadda jira, cilmi-baarayaashu waxay danaynayeen horumarinta habab- hagaajinta hab-beddelka qaabka ama jiilka sawirka stylizedQaab-dhismeedkan waxa loo qaybin karaa laba kooxood oo kala duwan: 

• Hababka la qabsiga bilaashka ah: Hababka iyo qaab-dhismeedka xorta ah ee la qabsiga waxay ka faa'iidaystaan ​​awoodda is-fiirsiga ee habka fidinta, iyo fulinta hawlgal fiiro gaar ah la wadaago, moodooyinkani waxay awood u leeyihiin inay soo saaraan sifooyinka muhiimka ah oo ay ku jiraan furayaasha iyo qiyamka sawirada qaabka tixraaca ah si toos ah. 

• Hababka ku saleysan adabtarada: Hababka ku salaysan la qabsiga iyo qaab-dhismeedka dhinaca kale waxay ku daraan moodal fudud oo loogu talagalay in laga soo saaro muuqaallo muuqaal ah oo faahfaahsan sawirada qaabka tixraaca. Qaab-dhismeedku wuxuu markaa isku daraa tusaalooyinkan habka fidinta si xirfad leh iyadoo la adeegsanayo hababka feejignaanta. Hadafka aasaasiga ah ee habka isdhexgalka waa in la hago habka jiilka, iyo in la hubiyo in sawirka ka soo baxa uu la socdo dabeecadaha qaabaysan ee la rabo ee sawirka tixraaca. 

Si kastaba ha ahaatee, inkastoo ballanqaadyada, hababka wax-ka-qabashada-la'aanta ah waxay inta badan la kulmaan caqabado yar. Marka hore, habka lacag la'aanta ah ee adapter-ku wuxuu u baahan yahay is-dhaafsiga furaha iyo qiyamka gudaha lakabyada is-fiirsashada, oo horay u qabsada furaha iyo qiimaha qiimaha ee laga soo qaatay sawirada qaabka tixraaca. Marka lagu hirgeliyo sawirada dabiiciga ah, habka-adapter-la'aanta wuxuu dalbanayaa u rogida sawirka dib loogu celiyo dhawaaqa daahsoon iyadoo la adeegsanayo farsamooyinka sida DDIM ama Diffusion Implicit Models rogins. Si kastaba ha ahaatee, isticmaalka DDIM ama habab kale oo rogan ah ayaa laga yaabaa inay keento luminta tafaasiisha wanaagsan sida midabka iyo midabka, sidaas darteed hoos u dhigista macluumaadka qaabka sawirada la sameeyay. Intaa waxaa dheer, tillaabada dheeraadka ah ee ay soo bandhigeen hababkani waa geedi socod waqti badan qaata, waxayna ku keeni kartaa dib u dhacyo la taaban karo. Dhanka kale, caqabada aasaasiga ah ee hababka ku salaysan adabtarada waxay ku jirtaa dheellitirnaanta saxda ah ee u dhexeeya daadinta macnaha guud iyo xoojinta qaabka. Diidmada nuxurku waxay dhacdaa marka korodhka qaabka xoojinta uu keeno muuqaalka walxaha aan qaabka ahayn ee ka soo jeeda sawirka tixraaca ee wax soo saarka la sameeyay, iyada oo qodobka ugu muhiimsan ee dhibka ah uu yahay kala soocida qaababka iyo nuxurka ku jira sawirka tixraaca si wax ku ool ah. Si arrintan wax looga qabto, qaab-dhismeedyada qaarkood waxay dhiseen xog-ururin lamaanan ah oo ka dhigan shay isku mid ah qaabab kala duwan, fududaynta soo saarista matalidda nuxurka, iyo qaababka kala-duwan. Si kastaba ha noqotee, iyada oo ay ugu wacan tahay qaab-dhismeedka asalka ah ee aan la go'aamin, hawsha abuurista xog-ururin ballaaran oo lammaane ah ayaa xaddidan marka loo eego noocyada kala duwan ee qaababka ay qabsan karto, waana hab-raac kheyraad sidoo kale leh. 

Si wax looga qabto xaddidaadyadan, qaabka InstantStyle ayaa la soo bandhigay kaas oo ah hab cusub oo habayn la'aan ah oo ku salaysan hababka jira ee adabtarada ku salaysan oo leh awoodda ay si aan kala go 'lahayn ula midoobi karaan hababka kale ee duritaanka ku salaysan feejignaanta, iyo gaaritaanka kala-jaridda nuxurka iyo qaabka si wax ku ool ah. Intaa waxaa dheer, qaabka InstantStyle ma soo bandhigo hal, laakiin laba siyaabood oo wax ku ool ah oo lagu dhammaystiro kala-soocidda qaabka iyo nuxurka, gaarista haajiridda qaab wanaagsan iyada oo aan loo baahnayn in la soo bandhigo habab dheeraad ah si loo gaaro kala-saarid ama dhisidda xog-ururin. 

Intaa waxaa dheer, qaab-dhismeedka hore ee ku-saleysan adabtarada ayaa si weyn loogu adeegsaday hababka ku saleysan CLIP sida muuqaal soosaar muuqaal ah, qaab-dhismeedyada qaarkood ayaa sahamiyay suurtagalnimada in la hirgeliyo qaab-dhismeed muuqaal ah oo ku dhex jira goobta muuqaalka, iyo marka la barbardhigo go'aan la'aanta qaabka, way fududahay in la sameeyo. ku qeex waxa ku jira qoraal. Maadaama sawirada iyo qoraaladu wadaagaan meel sifo ah hababka ku salaysan CLIP, hawlgal kala goyn fudud oo muuqaalada qoraalka ah iyo muuqaalada sawirku waxay si weyn u yareeyn kartaa dulucda qoraalka. Intaa waxaa dheer, in badan oo ka mid ah moodooyinka faafinta, waxaa jira lakab gaar ah oo ku jira qaab-dhismeedkeeda kaas oo duraya macluumaadka qaabka, oo ku guulaysta kala-soocidda nuxurka iyo qaabka iyada oo la isku duro muuqaalada muuqaalka kaliya ee qaabka gaarka ah. Iyadoo la fulinayo labadan xeeladood ee fudud, qaabka InstantStyle wuxuu awoodaa inuu xalliyo dhibaatooyinka daadinta nuxurka ee ay la kulmaan badi qaab-dhismeedka jira iyadoo la ilaalinayo xoogga qaabka. 

Si loo soo koobo, qaabka InstantStyle wuxuu shaqeeyaa laba hab oo fudud, toosan laakiin waxtar leh si loo gaaro kala fogaansho wax ku ool ah ee nuxurka iyo qaabka sawirada tixraaca. Qaab-dhismeedka degdega ah waa qaab madax-banaan oo habayn la'aan ah oo muujinaya waxqabad cajiib ah oo ku saabsan hawlaha wareejinta qaabka oo leh karti weyn oo hawlaha hoose. 

Qaab-Dhakhso ah: Habka iyo Dhismaha

Sida lagu muujiyay habab hore, waxaa jira isku dheelitirnaanta duritaanka xaaladaha qaabka ee moodooyinka fidinta ee aan xorta ahayn. Haddii xoogga xaaladda sawirku aad u sarreeyo, waxa laga yaabaa in ay keento daadinta nuxurka, halka haddii xoogga xaaladda sawirku aad hoos ugu dhacdo, qaabka ayaa laga yaabaa in aanu u muuqan mid cad oo ku filan. Sababta ugu weyn ee ka danbeysa u fiirsashadan ayaa ah in sawirka, qaabka iyo nuxurka ay isku xidhan yihiin, iyadoo ay ugu wacan tahay hab-dhaqanka ku duugan ee aan la go'aamin, way adagtahay in la kala saaro qaabka iyo ujeedada. Natiijo ahaan, miisaan culus ayaa badanaa lagu hagaajiyaa sawir kasta oo tixraac ah iyada oo la isku dayayo in la isku dheelitiro xakamaynta qoraalka iyo xoogga qaabka. Intaa waxaa dheer, sawirka tixraaca la geliyo ee la bixiyay iyo sharraxaadda qoraalka u dhiganta ee hababka rogan-ku-salaysan, habab rogaal-celin ah sida DDIM ayaa lagu dabaqay sawirka si loo helo hab-faafinta rogrogmida, habraaca qiyaasa isle'egta rogan si loogu beddelo sawirka mid qarsoon. matalaad buuq. Dhisida isku mid, oo laga bilaabo jihada fidsan ee leexday oo ay la socoto qayb cusub oo dardargelin ah, hababkani waxay abuuraan waxyaabo cusub oo qaabkoodu la jaanqaadayo gelinta. Si kastaba ha ahaatee, sida ku cad shaxanka soo socda, habka rogrogmada DDIM ee sawirada dhabta ah badanaa waa mid aan degganayn maadaama ay ku tiirsan tahay male-awaalayaasha khadka tooska ah ee maxaliga ah, taasoo keentay faafinta khaladaadka, oo keena luminta nuxurka iyo dib u dhiska sawirka khaldan. 

Markaan u imaado habka, halkii la adeegsan lahaa xeelado adag si loo kala saaro nuxurka iyo qaabka sawirada, qaabka degdega ah-qaabka ayaa qaata habka ugu fudud si loo gaaro waxqabad la mid ah. Marka la barbar dhigo sifada qaabka aan la go'aamin, waxa ku jira waxa lagu matali karaa qoraal dabiici ah, taas oo u ogolaanaysa qaabka Instant-Style in uu isticmaalo cod-bixiyaha qoraalka CLIP si uu u soo saaro sifooyinka qoraalka nuxurka sida macnaha guud. Isla mar ahaantaana, qaab-dhismeedka Instant-Style wuxuu fuliyaa koodiyaha sawirka CLIP si loo soo saaro astaamaha sawirka tixraaca. Ka faa'iidaysiga sifada sifooyinka caalamiga ah ee CLIP, oo dhajinta ka-goynta qoraalka nuxurka ee sifooyinka sawirka, qaabka-Instant-Style qaab-dhismeedka wuxuu awoodaa inuu kala saaro qaabka iyo nuxurka si cad. In kasta oo ay tahay istaraatijiyad fudud, waxa ay caawisaa qaab-dhismeedka Instant-Style in uu aad waxtar u leeyahay in la ilaaliyo daadinta nuxurka ugu yaraan. 

Intaa waxaa dheer, lakab kasta oo ku dhex jira shabakad qoto dheer ayaa mas'uul ka ah qabashada macluumaadka kala duwan ee semantic, iyo fiirsashada muhiimka ah ee moodooyinka hore waa in ay jiraan laba lakab oo feejignaan ah oo ka mas'uul ah maaraynta qaabka. kor Si gaar ah, waa blocks.0.fiiro.1 iyo hoos blocks.2.fiirsiyo.1 lakabka mas'uul ka ah qabashada style sida midabka, alaabta, jawi, iyo lakabka qaabaynta boosaska ay qabtaan qaab-dhismeedka iyo sida ay u kala horreeyaan. Qaabka Instant-Style wuxuu u isticmaalaa lakabyadan si aan toos ahayn si uu u soo saaro macluumaadka qaabka, wuxuuna ka hortagaa daadinta nuxurka iyada oo aan lumin awoodda qaabka. Istaraatiijiyadu waa mid sahlan welina waxtar leh maadaama moodeelku uu ku yaalo qaab-dhismeedka kaas oo ku duri kara astaamaha sawirka baloogyadan si loo gaaro qaab wareejin aan toos ahayn. Intaa waxaa dheer, maadaama moodelku uu si weyn u yareynayo tirada cabbirrada adabtarada, awoodda xakamaynta qoraalka ee qaab-dhismeedka ayaa la wanaajiyey, iyo habka ayaa sidoo kale lagu dabaqi karaa moodooyinka kale ee muuqaal-ku-saleysan ee ku-saleysan tafatirka iyo hawlaha kale. 

Qaabka degdega ah: Tijaabada iyo Natiijooyinka

Qaabka degdega ah-qaabka waxa lagu hirgeliyay qaabka Stable Diffusion XL, oo ​​waxa ay isticmaashaa IR-adapter-ka horay loo tababaray ee sida caadiga ah loo qaato tusaale ahaan si loo ansixiyo hab-raaceeda, oo ay xidho dhammaan baloogyada marka laga reebo qaabka qaab-dhismeedka muuqaalada sawirka. Qaabka Instant-Style waxa kale oo uu ku tababaraa IR-adapter-ka 4 milyan oo xog-sawir qoraal ah oo lamaanan ah oo laga soo bilaabo xoq, iyo halkii la tababari lahaa dhammaan baloogyada, waxa uu cusboonaysiiyaa oo keliya qaabka qaab-dhismeedka. 

Si loo sameeyo awoodeeda guud iyo adkeynteeda, qaabka Instant-Style wuxuu qabtaa tijaabooyin badan oo qaab wareejin ah oo leh qaabab kala duwan oo ka kooban waxyaabo kala duwan, natiijooyinkana waxaa lagu arki karaa sawirada soo socda. Marka la eego hal qaab oo tixraac ah oo ay weheliso dardargelino kala duwan, qaabka degdega ah-qaabku waxa uu keenaa qaab tayo sare leh oo joogto ah jiilka sawirka. 

Intaa waxaa dheer, maadaama moodalku uu ku duro macluumaadka sawirka kaliya ee qaabka qaab-dhismeedka, waxay awood u leedahay in ay yareyso arrinta daadinta nuxurka si weyn, sidaas darteed, uma baahna in la sameeyo hagaajinta miisaanka. 

Dhaqdhaqaaqa, qaabka Instant-Style sidoo kale wuxuu qaataa qaab dhismeedka ControlNet si loo gaaro qaabaynta ku salaysan sawirka oo leh kontorool meel bannaan, natiijadana waxaa lagu muujiyay sawirka soo socda. 

Marka la barbar dhigo xaaladdii hore ee hababka farshaxanka oo ay ku jiraan StyleAlign, B-LoRA, Feejignaanta Nafta, iyo IP-adapter-ka, qaab-dhismeedka Instant-Style wuxuu muujinayaa saamaynta muuqaalka ugu fiican. 

Afkaarta Final

Maqaalkan, waxaan uga hadalnay Instant-Style, qaab guud oo shaqeeya laba xeeladood oo fudud oo waxtar leh si loo gaaro kala fogaansho wax ku ool ah oo ku saabsan nuxurka iyo qaabka sawirada tixraaca. Qaab dhismeedka InstantStyle waxaa loo qaabeeyey iyadoo ujeedadu tahay in wax laga qabto arrimaha ay wajahayaan moodooyinka fidinta ku salaysan hagaajinta ee hadda jira ee abuuritaanka sawirka iyo habeynta. Qaab-dhismeedka isla markiiba waxa uu fuliyaa laba xeeladood oo muhiim ah: Hab fudud oo wax ku ool ah oo lagu kala saaro qaabka iyo nuxurka sawirada tixraaca ah ee ku dhex jira goobta muuqaalka, oo la saadaaliyay in sifooyin isku mid ah lagu dari karo ama laga jari karo midba midka kale. Marka labaad, ka hortagga qaabka daadanaya iyada oo la durayo sifooyinka sawirka tixraaca si gaar ah loogu dhejiyo qaab-dhismeedka gaarka ah, iyo si ula kac ah looga fogaado baahida loo isticmaalo miisaan culus si loo hagaajiyo, oo inta badan lagu garto naqshado cabbir-culus.