Le blianta beaga anuas, tá dul chun cinn suntasach léirithe ag samhlacha idirleata bunaithe ar thiúnta thar raon leathan tascanna pearsanaithe agus saincheaptha íomhá. In ainneoin a n-acmhainneachta, áfach, leanann samhlacha idirleata bunaithe ar thiúnta ag tabhairt aghaidh ar iliomad dúshlán casta maidir le híomhánna atá comhsheasmhach ó thaobh stíle a tháirgeadh agus a ghiniúint, agus d'fhéadfadh go mbeadh trí chúis leis an gcéanna. Ar an gcéad dul síos, tá coincheap na stíle fós neamhshainithe agus neamhchinntithe go forleathan, agus cuimsíonn sé meascán d’eilimintí lena n-áirítear atmaisféar, struchtúr, dearadh, ábhar, dath, agus go leor eile. Tá an dara modh atá bunaithe ar inbhéartú seans maith do dhíghrádú stíle, rud a fhágann go gcailltear sonraí míne go minic. Mar fhocal scoir, teastaíonn tiúnadh meáchain go minic le cineálacha cur chuige atá bunaithe ar oiriúntóirí le haghaidh gach íomhá tagartha chun cothromaíocht a choinneáil idir inrialaitheacht an téacs, agus déine na stíle. 

Ina theannta sin, is é príomhsprioc fhormhór na gcur chuige aistrithe stíle nó giniúint íomhá stíle ná an íomhá thagartha a úsáid, agus a stíl shainiúil a chur i bhfeidhm ó fho-thacar nó íomhá tagartha ar íomhá ábhar sprice. Mar sin féin, is é an líon leathan tréithe stíle a fhágann go bhfuil an post deacair do thaighdeoirí tacair sonraí stílithe a bhailiú, a léiríonn stíl i gceart, agus ag déanamh meastóireachta ar rath an aistrithe. Roimhe seo, déanann samhlacha agus creataí a dhéileálann le próiseas idirleata bunaithe ar mhionchoigeartú, mionchoigeartú a dhéanamh ar thacar sonraí na n-íomhánna a roinneann stíl choiteann, próiseas atá am-íditheach araon, agus a bhfuil ginearálú teoranta i dtascanna sa saol fíor toisc go bhfuil sé deacair. fothacar d'íomhánna a bhailiú a roinneann an stíl chéanna nó beagnach mar a chéile. 

San Airteagal seo, beimid ag caint faoi InstantStyle, creat atá deartha leis an aidhm dul i ngleic leis na saincheisteanna atá os comhair na samhlacha idirleathadh tiúnadh-bhunaithe atá ann faoi láthair le haghaidh giniúna íomhá agus saincheaptha. Labhróimid faoin dá phríomhstraitéis atá curtha i bhfeidhm ag creat InstantStyle: 

1. Cur chuige simplí ach éifeachtach maidir le stíl agus ábhar a dhíchúpláil ó íomhánna tagartha laistigh den spás gné, arna thuar ar an mbonn tuisceana gur féidir gnéithe laistigh den spás gné céanna a shuimiú nó a dhealú óna chéile. 
2. Cosc a chur ar sceitheadh ​​​​stíl trí na gnéithe íomhá tagartha a instealladh go heisiach isteach sna bloic stíl-shonracha, agus d'aon ghnó an gá atá le meáchain chasta a úsáid le haghaidh mionchoigeartaithe a sheachaint, agus is minic a bhíonn dearaí níos tromchúisí le paraiméadair. 

Tá sé mar aidhm ag an alt seo creat InstantStyle a chlúdach go domhain, agus déanaimid iniúchadh ar an meicníocht, ar an modheolaíocht, ar ailtireacht an chreata mar aon lena chomparáid leis na creataí úrscothacha. Labhróimid freisin faoin gcaoi a léiríonn creat InstantStyle torthaí suntasacha stílithe amhairc, agus conas a shroicheann sé an chothromaíocht is fearr idir inrialaitheacht na n-eilimintí téacsúla agus déine na stíle. Mar sin a ligean ar tús a chur leis. 

InstantStyle : Stíl a Chaomhnú i nGiniúint Téacs go Íomhá

D’éirigh thar barr le creataí idirleathadh bunaithe ar théacs le híomhánna AI a ghiniúint thar raon leathan tascanna saincheaptha agus pearsanaithe, go háirithe i dtascanna comhleanúnacha giniúna íomhá lena n-áirítear saincheaptha réad, caomhnú íomhá, agus aistriú stíle. Mar sin féin, in ainneoin an ratha agus an borradh feidhmíochta le déanaí, is tasc dúshlánach fós é aistriú stíle do thaighdeoirí mar gheall ar nádúr neamhchinnte agus neamhshainithe na stíle, go minic lena n-áirítear gnéithe éagsúla lena n-áirítear atmaisféar, struchtúr, dearadh, ábhar, dath, agus go leor eile. Agus é sin ráite, is é an príomhsprioc a bhaineann le giniúint íomhá stílithe nó le haistriú stíle ná an stíl shainiúil ó íomhá tagartha ar leith nó ó fhothacar tagartha d’íomhánna a chur i bhfeidhm. chuig an íomhá ábhar sprice. Mar sin féin, cuireann an líon leathan tréithe stíle an post deacair do thaighdeoirí tacair sonraí stílithe a bhailiú, a léiríonn stíl i gceart, agus ag déanamh meastóireachta ar rath an aistrithe. Roimhe seo, déanann samhlacha agus creataí a dhéileálann le próiseas idirleata bunaithe ar mhionchoigeartú, mionchoigeartú a dhéanamh ar thacar sonraí na n-íomhánna a roinneann stíl choiteann, próiseas atá am-íditheach araon, agus a bhfuil ginearálú teoranta i dtascanna sa saol fíor toisc go bhfuil sé deacair. fothacar d'íomhánna a bhailiú a roinneann an stíl chéanna nó beagnach mar a chéile. 

Leis na dúshláin atá le sárú ag an gcur chuige reatha, chuir taighdeoirí spéis i gcur chuige mionchoigeartaithe a fhorbairt le haghaidh aistriú stíle nó giniúint íomhá stílithe, agus is féidir na creataí seo a roinnt ina dhá ghrúpa éagsúla: 

• Cur Chuige Gan Cuibheoir: Déanann cur chuige agus creataí saor ó oiriúntóirí cumhacht an fhéinaird a ghiaráil laistigh den phróiseas idirleata, agus trí oibríocht aird chomhroinnte a chur i bhfeidhm, tá na samhlacha sin in ann gnéithe riachtanacha, lena n-áirítear eochracha agus luachanna, a bhaint as íomhánna stíl tagartha ar leith go díreach. 

• Cur Chuige Cuibheoir-bhunaithe: Ar an taobh eile de, ionchorpraítear i gcur chuige agus creataí atá bunaithe ar oiriúntóirí múnla éadrom atá deartha chun léirithe mionsonraithe íomhá a bhaint as na híomhánna sa stíl tagartha. Comhtháthaíonn an creat na huiríll sin isteach sa phróiseas idirleata go sciliúil trí leas a bhaint as meicníochtaí tras-aire. Is é príomhsprioc an phróisis chomhtháthaithe ná an próiseas giniúna a threorú, agus a chinntiú go bhfuil an íomhá mar thoradh air ailínithe le nuances stíle na híomhá tagartha. 

Mar sin féin, in ainneoin na ngealltanas, is minic a bhíonn cúpla dúshlán ag baint le modhanna saor ó thiúnadh. Gcéad dul síos, éilíonn an cur chuige gan adapter malartú eochair agus luachanna laistigh de na sraitheanna féin-aird, agus réamhghabháil na maitrísí eochair agus luach a dhíorthaítear ó na híomhánna stíl tagartha. Nuair a chuirtear i bhfeidhm é ar íomhánna nádúrtha, éilíonn an cur chuige saor ó oiriúntóir an íomhá a inbhéartú ar ais go dtí an torann folaigh ag baint úsáide as teicníochtaí ar nós speir nó inbhéartú Denoising Diffusion Inplicit Models. Mar sin féin, d’fhéadfadh go gcaillfí sonraí míne cosúil le dath agus uigeacht trí úsáid a bhaint as saor nó cuir chuige inbhéartaithe eile, rud a laghdódh an fhaisnéis stíle sna híomhánna ginte. Ina theannta sin, is próiseas a thógann am an chéim bhreise a thugtar isteach leis na cineálacha cur chuige seo, agus féadann sé míbhuntáistí suntasacha a chruthú in iarratais phraiticiúla. Ar an láimh eile, is é an príomhdhúshlán a bhaineann le modhanna atá bunaithe ar oiriúntóirí ná an chothromaíocht cheart a bhaint amach idir sceitheadh ​​comhthéacs agus déine na stíle. Tarlaíonn sceitheadh ​​ábhar nuair a bhíonn méadú ar an déine stíl mar thoradh ar chuma na n-eilimintí neamh-stíl ón íomhá tagartha san aschur a ghintear, agus is é an príomhphointe deacrachta ná stíleanna a scaradh ó ábhar laistigh den íomhá tagartha go héifeachtach. Chun aghaidh a thabhairt ar an tsaincheist seo, tógann creataí áirithe tacair shonraí péireáilte a léiríonn an t-ábhar céanna i stíleanna éagsúla, ag éascú asbhaint ionadaíochta ábhair, agus stíleanna dícheangailte. Mar sin féin, a bhuíochas leis an léiriú neamhchinntithe stíle ó dhúchas, tá an tasc a bhaineann le tacair shonraí péireáilte ar scála mór a chruthú teoranta ó thaobh éagsúlacht na stíleanna is féidir leis a ghabháil, agus is próiseas atá dian ar acmhainní é freisin. 

Chun dul i ngleic leis na teorainneacha seo, tugtar isteach an creat InstantStyle, meicníocht nua saor ó thiúnadh atá bunaithe ar mhodhanna oiriúnaitheora atá ann cheana féin agus atá in ann comhtháthú gan uaim le modhanna insteallta eile atá bunaithe ar aird, agus díchúpláil ábhar agus stíl a bhaint amach go héifeachtach. Ina theannta sin, tugtar isteach le creat InstantStyle ní bealach amháin, ach dhá bhealach éifeachtacha chun díchúpláil stíle agus ábhair a chríochnú, chun ascnamh stíle níos fearr a bhaint amach gan gá le modhanna breise a thabhairt isteach chun tacair shonraí péireáilte a dhíchúpláil nó a thógáil. 

Ina theannta sin, baineadh úsáid fhorleathan as creataí atá bunaithe ar oiriúntóirí roimhe seo sna modhanna CLIP-bhunaithe mar eastóscadh gné íomhá, tá iniúchadh déanta ag roinnt creataí ar an bhféidearthacht díchúpláil gné a chur chun feidhme laistigh den spás gné, agus nuair a chuirtear i gcomparáid le neamhchinntiú stíle, tá sé níos éasca é a úsáid. déan cur síos ar an ábhar le téacs. Ós rud é go roinneann íomhánna agus téacsanna spás gné i modhanna atá bunaithe ar CLIP, is féidir le hoibríocht dhealú simplí de ghnéithe téacs comhthéacs agus gnéithe íomhá sceitheadh ​​ábhar a laghdú go suntasach. Ina theannta sin, i dtromlach na samhlacha idirleathadh, tá ciseal áirithe ina ailtireacht a instealladh an t-eolas stíl, agus a chur i gcrích an díchúpláil ábhar agus stíl trí instealladh gnéithe íomhá ach amháin i bloic stíl ar leith. Tríd an dá straitéis shimplí seo a chur i bhfeidhm, tá creat InstantStyle in ann fadhbanna sceite inneachair a bhíonn ag tromlach na gcreataí atá ann cheana féin a réiteach agus neart na stíle á gcoimeád ag an am céanna. 

Mar achoimre, úsáideann creat InstantStyle dhá mheicníocht shimplí, shimplí ach éifeachtacha chun dícheangal éifeachtach idir ábhar agus stíl agus íomhánna tagartha a bhaint amach. Is cur chuige eiseamláireach neamhspleách agus saor ó thiúnadh é an creat Stíl Meandaracha a léiríonn feidhmíocht iontach i dtascanna aistrithe stíle a bhfuil poitéinseal ollmhór ann do thascanna iartheachtacha. 

Instant-Style: Modheolaíocht agus Ailtireacht

Mar a léiríodh le cur chuige roimhe seo, tá cothromaíocht ann maidir le coinníollacha stíle a instealladh i múnlaí idirleata saor ó thiúnadh. Má tá déine riocht an íomhá ró-ard, d’fhéadfadh sceitheadh ​​ábhar a bheith mar thoradh air, ach má thiteann déine riocht an íomhá ró-íseal, b’fhéidir nach cosúil go bhfuil an stíl soiléir go leor. Cúis mhór atá taobh thiar den bhreathnóireacht seo ná go bhfuil an stíl agus an t-ábhar idirchúpláilte in íomhá, agus mar gheall ar shaintréithe neamhchinnte na stíle, tá sé deacair an stíl agus an rún a dhíchúpláil. Mar thoradh air sin, is minic a dhéantar meáchain mhionsonraithe a thiúnadh le haghaidh gach íomhá tagartha in iarracht insriantacht téacs agus neart stíle a chothromú. Ina theannta sin, maidir le híomhá thagartha ionchuir tugtha agus a cur síos ar an téacs comhfhreagrach sna modhanna bunaithe ar inbhéartú, glactar le cur chuige inbhéartaithe cosúil le saortha thar an íomhá chun an trajectory idirleata inbhéartaithe a fháil, próiseas a chomhfhogasaíonn an chothromóid inbhéartaithe chun íomhá a athrú ina íomhá folaigh. léiriú torainn. Ag tógáil ar an gcéanna, agus ag tosú ón trajectory idirleata inbhéartaithe chomh maith le sraith nua leideanna, gineann na modhanna seo ábhar nua agus a stíl ag teacht leis an ionchur. Mar a léirítear san fhigiúr seo a leanas, áfach, is minic go mbíonn an cur chuige inbhéartaithe saor le haghaidh fíor-íomhánna éagobhsaí toisc go mbraitheann sé ar thoimhdí líneála áitiúla, rud a fhágann iomadú earráidí, agus go gcailltear ábhar agus atógáil íomhá mícheart mar thoradh air. 

Ag teacht leis an modheolaíocht, in ionad straitéisí casta a úsáid chun ábhar agus stíl a dhícheangal ó íomhánna, glacann an creat Stíl Meandaracha an cur chuige is simplí chun feidhmíocht chomhchosúil a bhaint amach. Nuair a chuirtear i gcomparáid leis na tréithe neamhchinntithe stíle, is féidir ábhar a léiriú le téacs nádúrtha, rud a ligeann don chreat Stíl Meandaracha an t-ionchódóir téacs ó CLIP a úsáid chun tréithe an téacs ábhair a bhaint amach mar léirithe comhthéacs. Ag an am céanna, cuireann an creat Instant-Style ionchódóir íomhá CLIP i bhfeidhm chun gnéithe na híomhá tagartha a bhaint as. Ag baint leasa as tréithriú gnéithe domhanda CLIP, agus ag postáil gnéithe téacs an ábhair ó na gnéithe íomhá, tá an creat Stíl Meandaracha in ann an stíl agus an t-ábhar a dhíchúpláil go sainráite. Cé gur straitéis shimplí é, cuidíonn sé go bhfuil an creat Instant-Style éifeachtach go leor chun sceitheadh ​​ábhar a choinneáil chomh híseal agus is féidir. 

Ina theannta sin, tá gach ciseal laistigh de líonra domhain freagrach as faisnéis shéimeantach dhifriúil a ghabháil, agus is é an príomh-bhreathnú ó mhúnlaí roimhe seo ná go bhfuil dhá shraith aird ann atá freagrach as an stíl a láimhseáil. suas Go sonrach, is é an bloic.0.attentions.1 agus síos bloic.2.attentions.1 sraitheanna atá freagrach as a ghabháil stíl cosúil le dath, ábhar, atmaisféar, agus gabhálacha an ciseal leagan amach spásúil struchtúr agus comhdhéanamh faoi seach. Úsáideann an creat Instant-Style na sraitheanna seo go hintuigthe chun faisnéis stíl a bhaint as, agus cuireann sé cosc ​​​​ar sceitheadh ​​ábhar gan an neart stíl a chailliúint. Tá an straitéis simplí fós éifeachtach ós rud é go bhfuil bloic stíle aimsithe ag an tsamhail ar féidir leo na gnéithe íomhá a instealladh isteach sna bloic seo chun aistriú stíl gan uaim a bhaint amach. Ina theannta sin, ós rud é go laghdaíonn an tsamhail go mór líon paraiméadair an oiriúnaitheora, feabhsaítear cumas rialaithe téacs an chreata, agus tá an mheicníocht infheidhme freisin maidir le samhlacha insteallta gné aird-bhunaithe eile le haghaidh eagarthóireachta agus tascanna eile. 

Instant-Style : Turgnaimh agus Torthaí

Cuirtear an creat Stíl Meandaracha i bhfeidhm ar an gcreat Cobhsaí Idirleata XL, agus úsáideann sé an t-oiriúntóir IR réamhoilte a ghlactar go coitianta mar eiseamláir chun a mhodheolaíocht a bhailíochtú, agus balbhaíonn sé gach bloc ach amháin na bloic stíle le haghaidh gnéithe íomhá. Cuireann an tsamhail Meandaracha-Stíl oiliúint ar an adapter IR freisin ar 4 mhilliún tacair sonraí péireáilte téacs-íomhá ar scála mór ón tús, agus in ionad gach bloc a oiliúint, ní nuashonraítear ach na bloic stíle. 

Chun a chumais agus a stóinseacht ginearálaithe a dhéanamh, déanann an creat Stíl Meandaracha go leor turgnaimh aistrithe stíle le stíleanna éagsúla thar ábhar éagsúil, agus is féidir na torthaí a fheiceáil sna híomhánna seo a leanas. Nuair a chuirtear íomhá thagartha aonstíl mar aon le leideanna éagsúla san áireamh, seachadann an creat Stíl Meandaracha stíl chomhsheasmhach ardchaighdeáin giniúint íomhá. 

Ina theannta sin, ós rud é go n-insíonn an tsamhail faisnéis íomhá ach amháin sna bloic stíl, tá sé in ann an tsaincheist maidir le sceitheadh ​​ábhar a mhaolú go suntasach, agus dá bhrí sin, ní gá tiúnadh meáchain a dhéanamh. 

Ag bogadh ar aghaidh, glacann an creat Instant-Style an ailtireacht ControlNet freisin chun stíliú íomhá-bhunaithe a bhaint amach le rialú spásúil, agus léirítear na torthaí san íomhá seo a leanas. 

Nuair a chuirtear i gcomparáid le modhanna úrscothacha roimhe seo lena n-áirítear StyleAlign, B-LoRA, Swapping Self Attention, agus IP-Adapter, léiríonn an creat Stíl Meandaracha na héifeachtaí amhairc is fearr. 

Smaointe Deiridh

San Airteagal seo, labhair muid faoi Instant-Style, creat ginearálta a úsáideann dhá straitéis shimplí ach éifeachtacha chun dícheangal éifeachtach ábhar agus stíl a bhaint amach ó íomhánna tagartha. Tá an creat InstantStyle deartha agus é mar aidhm aige dul i ngleic leis na saincheisteanna atá os comhair na samhlacha idirleata bunaithe ar thiúnta atá ann faoi láthair maidir le giniúint agus saincheapadh íomhá. Cuireann an creat Stíl Meandaracha dhá straitéis ríthábhachtacha i bhfeidhm: Cur chuige simplí fós éifeachtach maidir le stíl agus ábhar a dhíchúpláil ó íomhánna tagartha laistigh den spás gné, arna thuar ar an mbonn tuisceana gur féidir gnéithe laistigh den spás gné céanna a shuimiú nó a dhealú óna chéile. Sa dara háit, cosc ​​a chur ar sceitheadh ​​stíle trí na gnéithe íomhá tagartha a instealladh go heisiach isteach sna bloic stíl-shonracha, agus d'aon ghnó an gá atá le meáchain chasta a úsáid le haghaidh mionchoigeartaithe a sheachaint, agus is minic a bhíonn dearaí níos tromchúisí le paraiméadair.