HD-Ranjiye: Sawirka lagu Hagayo Qaraarka Sare ee Qaababka Faafinta

Noocyada faafinta waxay shaki la'aan isbedeleen warshadaha AI iyo ML, codsiyadooda wakhtiga dhabta ah waxay noqdeen qayb ka mid ah nolol maalmeedkeena. Ka dib moodooyinka qoraalka-ilaa-sawirku waxay soo bandhigeen awoodahooda cajiibka ah, farsamooyinka wax-is-daba-marinta sawirka ku salaysan faafinta, sida jiilka la xakameyn karo, sawir-samaynta gaarka ah iyo shakhsi ahaaneed, tafatirka sawirka heerka shayga, kala duwanaansho degdeg ah, iyo tafatir, ayaa u soo baxay mawduucyo cilmi baaris oo kulul codsiyadooda ku jira aragtida kombiyuutarka warshadaha.

Si kastaba ha ahaatee, in kasta oo ay awoodaan cajiib ah iyo natiijooyin gaar ah, qoraal-ka-sawir qaab-dhismeedka, gaar ahaan qoraal-ka-sawir qaab-dhismeedka, weli waxay leeyihiin meelo suurtagal ah oo horumarinta. Kuwaas waxaa ka mid ah awoodda lagu fahmo muuqaallada caalamiga ah, gaar ahaan marka la diido sawirka wakhtiyada fidinta sare. Wax ka qabashada arrintan, cilmi-baarayaashu waxay soo bandhigeen HD-Painter, oo ah qaab-dhismeed bilaash ah oo dhammaystiran oo tababar ah oo si sax ah u raacaya tilmaamaha degdega ah iyo miisaanka si sawir-qarar sare loogu dhejiyo si wadajir ah. Qaab dhismeedka HD-Rijiyeyaashu wuxuu shaqaaleeyaa lakabka feejignaanta degdega ah ee Aware (PAIntA), kaas oo awood u siinaya macluumaadka degdega ah si kor loogu qaado buundooyinka is-fiirsiga, taasoo keentay jiilka toosinta qoraalka wanaagsan.

Si loo sii wanaajiyo isku xidhnaanta isla markiiba, qaabka HD-Ranjiyeyaashu waxa uu soo bandhigayaa Habka Hagidda Dhibcaha Feejignaanta Dib-u-cusboonaynta (RASG). Habkani waxa uu ku darayaa istaraatijiyad muunad hoc-hoc ah qaabka guud ee qaybta DDIM si aan kala go 'lahayn, isaga oo ka hortagaya qaybinta ka-baxsan ee isbeddelada qarsoon. Intaa waxaa dheer, qaab-dhismeedka HD-Ranjiilaha wuxuu leeyahay farsamo-xalin gaar ah oo heer sare ah oo loo habeeyay rinjiyeynta, taas oo u oggolaanaysa inay ku fido miisaanka waaweyn oo ay dhammaystirto gobollada maqan ee sawirka leh xallinta ilaa 2K.

HD-Ranjiile: Rinjiyeynta Sawirka-Hagaha

Noocyada faafinta qoraalka-ka-sawirku waxay runtii mawduuc muhiim ah ka ahaayeen warshadaha AI iyo ML bilihii la soo dhaafay, oo leh moodooyin muujinaya awoodaha waqtiga-dhabta ah ee cajiibka ah ee codsiyada la taaban karo ee kala duwan. Moodooyinka jiilka hore ee qoraalka-ilaa-image ee horay loo tababaray sida DALL-E, Imagen, iyo Stable Diffusion waxay muujiyeen ku habboonaantooda dhammaystirka sawirka iyagoo ku daraya gobollo aan la aqoonsanayn (lagu soo saaray) oo leh gobollo la yaqaan oo faafin inta lagu jiro habka faafinta gadaal. In kasta oo ay soo saareen wax soo saar muuqaal ah oo soo jiidasho leh oo si wanaagsan la isu waafajiyay, moodooyinka jira ayaa ku dhibtooday inay fahmaan goobta caalamiga ah, gaar ahaan marka la hoos geeyo nidaamka diidmada wakhtiga fidinta sare. Iyadoo wax laga beddelayo moodooyinka faafinta qoraalka iyo sawirka hore loo tababaray si loogu daro macluumaadka macnaha guud, waxay si fiican u habayn karaan dhamaystirka sawirka qoraalka lagu hagayo.

Intaa waxaa dheer, moodooyinka faafinta dhexdooda, rinjiyeynta qoraalka lagu hagayo iyo dhammaystirka sawirka hagaha ayaa ah meelaha ugu waaweyn ee xiisaha cilmi-baarayaasha. Xiisahaan waxaa keenay xaqiiqda ah in moodooyinka rinjiyeynta ee hagaya qoraalka ay soo saari karaan waxyaabo ka kooban gobollo gaar ah oo sawir gelin ah oo ku saleysan dardargelinta qoraalka, taasoo horseedaysa codsiyo suurtagal ah sida dib-u-tabashada gobollada gaarka ah, wax ka beddelka sifooyinka mawduucyada sida midabada ama dharka, iyo ku darista ama bedelida walxaha. Marka la soo koobo, moodooyinka faafinta qoraalka-ka-sawirku waxa ay dhawaan gaadheen guul aan hore loo arag, taas oo ay ugu wacan tahay awooddooda jiilka ee waaqiciga ah iyo muuqaalka soo jiidashada leh.

Si kastaba ha ahaatee, badi qaab-dhismeedka jira waxay muujinayaan dayac degdeg ah oo ku saabsan laba xaaladood. Ka hore waa Xukunka asalka ah marka moodelku dhameeyo gobolka aan la garanayn iyadoo la iska indho tiray degdega ah ee gadaasha halka dhacdada labaad ay tahay awoodda sheyga dhow marka moodeelku uu ku faafiyo gobolka la yaqaan walxaha gobolka aan la garanayn iyadoo la adeegsanayo macnaha guud ee suurtogalka ah halkii la soo gelin lahaa. Waa suurtogal in labadan arrimoodba ay ka dhashaan awoodda faafinta fanka ee vaniljku u leeyahay inay si sax ah u tarjumto qoraalka ama ay ku dhex daraan macluumaadka guud ee laga helay gobolka la yaqaan. 

Si wax looga qabto jid-gooyadan, qaab-dhismeedka HD-Rijiyeyaashu waxa uu soo bandhigayaa Feejignaanta Soo-gaadhista Degdegga ah ama lakabka PAIntA, kaas oo adeegsada macluumaad degdeg ah si kor loogu qaado dhibcaha is-fiirsiga ee ugu dambayntii keena jiilka toosinta qoraalka wanaagsan. PAIntA waxay isticmaashaa qaboojinta qoraalka la bixiyay si ay u xoojiso dareenka naftiisa dhibco iyada oo ujeedadu tahay in la yareeyo saamaynta macluumaadka aan degdega ahayn ee ku habboon gobolka sawirka iyadoo isla markaa la kordhinayo wax ku biirinta pixels-yada la yaqaan ee la jaan qaadaya isla markiiba. Si loo sii wanaajiyo isku-dheelitirka qoraalka ee natiijooyinka la soo saaray, qaab-dhismeedka HD-Ranjiyeyaashu waxa uu fuliyaa hab hagitaan ka dib hoc kaas oo ka faa'iidaysanaya buundooyinka feejignaanta. Si kastaba ha ahaatee, hirgelinta habka hagida hoc-hoc ee vaniljka ayaa laga yaabaa in ay keento isbeddelada qaybinta taas oo ka dhalatay ereyga dheeraadka ah ee isle'egta fidinta. Isbedelka qaybinta ee ka baxsan ayaa ugu dambeyntii keeni doonta hoos u dhaca tayada wax soo saarka la soo saaray. Si wax looga qabto jid-gooyadan, qaab-dhismeedka HD-Ranjiyeyaashu waxa uu fuliyaa Hagidda Dhibcaha Feejignaanta Dib-u-cusboonaynta ama RASG, hab isku-dhafaya istaraatijiyad muunad-hoc-ka dambe ah oo ah qaabka guud ee qaybta DDIM si aan kala go 'lahayn. Waxay u ogolaataa qaab-dhismeedka inuu keeno natiijooyin rinji muuqaal ah oo macquul ah iyadoo u hagaya muunada dhanka daahsoonayaasha isla markiiba, oo ay ku jiraan goobtooda tababaran.

Iyadoo la geynayo labada qaybood ee RASH iyo PAIntA ee dhismaheeda, qaabka HD-Ranjiyeyaashu wuxuu hayaa faa'iido weyn marka loo eego hadda jira, oo ay ku jiraan xaaladda farshaxanka, rinjiyeynta, iyo qoraalka qaababka faafinta sawirka sababtoo ah waxay maamushaa inay xalliso arrinta jirta ee dayaca degdega ah. Intaa waxaa dheer, labada qaybood ee RASH iyo PAIntA waxay bixiyaan shaqeynta fur iyo ciyaar, taas oo u oggolaanaysa inay la jaanqaadaan moodooyinka rinjiyeynta saldhigga faafinta si ay wax uga qabtaan caqabadaha kor ku xusan. Intaa waxaa dheer, iyada oo la hirgelinayo tignoolajiyada isku-dhafka waqti-ku-cel-celinta iyo iyada oo la adeegsanayo awoodaha moodooyinka fidinta xallinta sare, dhuumaha HD-Ranjiye-ku waxay si wax ku ool ah u shaqayn karaan ilaa 2K xalinta rinjiyeynta. 

Si loo soo koobo, rinjiile-HD-ga waxa uu hiigsanayaa in uu wax ku darsado soo socda goobta:

1. Waxay ujeedadeedu tahay inay xalliso arrinta dayacaadda degdegga ah ee asalka iyo awoodda sheyga dhow ee ay la kulmeen qaab-dhismeedka rinji-qorista ee qoraalka lagu hagayo iyadoo la hirgelinayo Feejignaanta Soo-gaadhista ee Degdegga ah ama lakabka PAIntA ee dhismaheeda. 
2. Waxay ujeedadeedu tahay in la hagaajiyo isku-habaynta qoraalka ee wax-soo-saarka iyada oo la fulinayo Hagidda Dhibcaha Feejignaanta Dib-u-cusboonaynta ama lakabka RASG ee qaab-dhismeedkeeda kaas oo awood u siinaya qaab-dhismeedka HD-Ranjiyaha inuu sameeyo muunad la hagayo ka dib hoc iyadoo laga hortagayo qaybinta wareejinta. 
3. In la qaabeeyo qaab tabobar wax ku ool ah oo bilaash ah oo lagu hagayo sawir-qabashada tubo dhammays tiran oo awood u leh in ay ka sarreyso xaaladda hadda jirta ee qaab-dhismeedka farshaxanka, iyo iyadoo la adeegsanayo qaab-dhismeedka sare ee rinjiyeynta-khaaska ah ee fudud ee wax ku oolka ah si loo fuliyo sawir-qoraal lagu hagayo rinjiyeynta ilaa xallinta 2K. 

HD-Ranjiile: Habka iyo Dhismaha

Ka hor inta aynaan eegin dhismaha, waxaa muhiim ah in la fahmo saddexda fikradood ee aasaasiga ah ee aasaaska u ah qaab-dhismeedka HD-Rinjiilaha: Rinjiyeynta Sawirka, Hagidda Hoc-ka Dambe ee Qaab-dhismeedka Fiditaanka, iyo Rinjiyeynta blocksyada naqshadaha gaarka ah. 

Rinjiyeynta Sawirku waa hab ujeedadiisu tahay in lagu buuxiyo gobollada maqan ee sawirka iyadoo la hubinayo soo jiidashada muuqaalka sawirka la sameeyay. Qaab dhismeedka waxbarashada qoto dheer ee dhaqameed ayaa hirgaliyay habab loo adeegsaday gobolo la yaqaan si ay u faafiyaan astaamo qoto dheer. Si kastaba ha ahaatee, soo bandhigida moodooyinka faafinta waxay keentay horumarinta moodooyinka rinjiyeynta, gaar ahaan qaab-dhismeedka rinjiyeynta sawir-qoraalka ah. Dhaqan ahaan, qoraalka horay loo tababbaray ee qaabka fidinta sawirka waxa uu beddelaa gobolka aan qarsoonayn ee qarsoodiga isagoo isticmaalaya nooca dhawaaqa ee gobolka la yaqaan inta lagu jiro habka muunad. Inkasta oo habkani uu shaqeeyo ilaa xad, wuxuu hoos u dhigayaa tayada wax-soo-saarka la soo saaray si weyn maadaama shabakada been-abuurka ahi ay aragto kaliya nooca dhawaaqa ee gobolka la yaqaan. Si loola tacaalo caqabadan, dhowr habab ayaa loogu talagalay in si fiican loo habeeyo qoraalka horay loo tababbaray loona beddelo qaabka sawirka si loo gaaro rinjiyeynta qoraalka lagu hago. Dhaqangelinta habkan, qaabdhismeedku waxa uu awoodaa in uu soo saaro maaskaro random iyada oo la adeegsanayo isku xidhka maadaama moodeelku awood u leeyahay in uu hagaajiyo qaabka diidmada ee gobolka aan la daboolin. 

Dhaqdhaqaaqa, moodooyinka barashada qoto dheer ee dhaqanka waxay hirgeliyeen lakabyo naqshad gaar ah oo rinjiyeyn hufan leh iyadoo qaababka qaar awood u leh inay soo saaraan macluumaadka si wax ku ool ah oo ay u soo saaraan muuqaallo soo jiidasho leh iyagoo soo bandhigaya lakabyo convolution gaar ah si ay ula tacaalaan gobollada la yaqaan ee sawirka. Qaab-dhismeedka qaar ayaa xitaa ku daray lakabka dareenka macnaha guud ee qaabdhismeedkooda si ay u yareeyaan shuruudaha xisaabinta culus ee aan la rabin ee dhammaan dareenka is-daba-joogga ah ee rinjiyeynta tayada sare leh. 

Ugu dambayntii, hababka hagitaan-hoc ka dib waa habab muunad faafin dib-u-dhac ah kuwaaso hagaya tillaabada xigta saadaasha daahsoon ee ujeeddada yaraynta hawleed gaar ah. Hababka hagitaan-hoc ka dib ayaa ah caawimaad aad u weyn marka ay timaado abuurista nuxurka muuqaalka gaar ahaan marka ay jiraan caqabado dheeraad ah. Si kastaba ha ahaatee, hababka hagida hoc ka dib ayaa leh dib u dhac weyn: waxaa lagu yaqaanaa inay keenaan hoos u dhac tayada sawirka maadaama ay u janjeeraan inay u beddelaan habka jiilka dahsoon ee erey tartiib tartiib ah. 

Imaatinka qaab-dhismeedka HD-Rinjiilaha, qaabdhismeedku marka hore waxa uu dejiyaa dhibaatada dhammaystirka sawirka ee qoraalka lagu hagayo, ka dibna waxa uu soo bandhigayaa laba nooc oo faafin ah oo kala ah Inpainting Stable iyo Faafidda Deggan. Qaabka HD-Painter ka dib wuxuu soo bandhigayaa PAIntA iyo RASG blocks, ugu dambeyntiina waxaan gaadhnay farsamada xallinta sare ee u gaarka ah rinjiyeynta. 

Faafinta Deggan iyo Rinjiyeynta Deggan

Faafinta Xasilloonida ah waa nooc fidin ah oo ka dhex shaqeeya meesha qarsoon ee autoencoder. Qoraal ilaa sawir la isku dhejiyo, qaab-dhismeedka Fiditaanka Deggan wuxuu fuliyaa degdeg qoraal ah si uu u hago habka. Shaqada hagitaanku waxay leedahay qaab-dhismeed la mid ah qaab-dhismeedka UNet, iyo lakabyada feejignaanta waxay ku sharxaan qoraallada. Intaa waxaa dheer, qaabka Stable Diffusion wuxuu samayn karaa rinjiyeyn sawir leh oo leh qaar ka mid ah wax ka beddelka iyo hagaajinta. Si taas loo gaaro, muuqaalada sawirka madmadow ee uu soo saaray cod-bixiyaha ayaa lagu daray maaskarada binary-ga ee hoos loo dhigay ilaa kuwa qarsoon. Tensor-ka soo baxay ayaa markaa la geliyaa qaab dhismeedka UNet si loo helo dhawaaqa la qiyaasay. Qaab dhismeedka ayaa markaa bilaabaya filtarrada cusub ee lagu daray ee isbedbeddelka ah ee eber halka inta ka hartay UNet la bilaabay iyadoo la adeegsanayo isbaarooyin horay loo tababaray oo laga soo qaatay qaabka Faafinta Deggan. 

Jaantuska kore wuxuu muujinayaa dulmarka qaab dhismeedka HD-Rinjiyeyaashu oo ka kooban laba marxaladood. Marxaladda koowaad, qaab-dhismeedka HD-Ranjiyeyaashu waxa uu fuliyaa rinjiyeynta qoraalka lagu hagayo halka marxaladda labaad, qaabku uu rinjiyeeyo-xallinta sare ee wax-soo-saarka. Si loo buuxiyo gobollada howlgalka iyo in la sii wado la jaan-qaadka soo-gelinta, qaabku waxa uu qaadanayaa qaab-faafinta rinjiyeynta horay loo tababaray, waxa uu ku beddelaa lakabyada is-fiirsiga ee lakabyada PAIntA, oo uu hirgeliyo habka RASG si uu u sameeyo habka faafinta gadaal. Qaabku wuxuu markaa go'aamiyaa qiyaasta daahsoon ee kama dambaysta ah taasoo keentay sawir rinji ah. HD-Ranjiilaha ayaa markaa hirgeliya qaabka fidinta fidinta xasilloonida si uu rinji u rinjiyeeyo sawirka cabbirka asalka ah, oo uu hirgeliyo faafinta dib-u-faafinta qaab-dhismeedka Diffusion Stable oo ku xidhan sawirka gelinta xallinta hoose. Qaabku waxa uu isku daraa saadaasha la diiday iyo sawirka asalka ah ee codaynta ka dib tillaabo kasta oo ka jirta gobolka la yaqaan oo uu soo saaro sirta xiga. Ugu dambayntii, moodeelku waxa uu dejiyaa waxyaabaha qarsoon oo waxa uu hirgeliyaa isku-darka Poisson si looga fogaado farshaxannada geesaha ah. 

Feejignaan Hordhac ah oo Ogsoon ama PAIntA

Noocyada rinjiyeynta ee jira sida Stable Inpainting waxay u muuqdaan inay aad ugu tiirsan yihiin macnaha guud ee agagaarka aagga rinjiyeynta oo ay iska indhatiraan soo-jeedinta isticmaaleyaasha. Iyada oo ku saleysan khibradda isticmaale, arrintan waxaa loo kala saari karaa laba qaybood: awoodda sheyga dhow iyo xukunka asalka. Arrinka ku saabsan awoodda macnaha guud ee ku saabsan soo-jeedinta soo-gelinta ayaa laga yaabaa inay tahay natiijada ka timid dabeecadda kaliya ee bannaan iyo degdegga ah ee lakabyada is-fiirsashada. Si arrintan wax looga qabto, qaab-dhismeedka HD-Rijiyeyaashu waxa uu soo bandhigayaa Feejignaanta Soo-gaadhista Degdegga ah ama PAIntA oo adeegsata matrices-feejignaanta iyo maaskaro rinji si loo xakameeyo wax-soo-saarka lakabyada is-fiirsiga ee gobolka aan la garanayn. 

Qaybta Feejignaanta Hordhaca ah ee Ogaanshaha degdega ahi waxay marka hore khusaysaa lakabyada saadaalinta si loo helo furaha, qiyamka, iyo weydiimaha oo ay weheliso jaantuska isku midka ah. Qaabku wuxuu markaa hagaajinayaa dhibcaha dareenka ee pixels-yada la yaqaan si loo yareeyo saamaynta xooggan ee gobolka la yaqaan ee gobolka aan la garanayn, oo wuxuu qeexayaa jaantus cusub oo la mid ah isagoo ka faa'iideysanaya isla markiiba qoraalka. 

Tilmaamaha Dhibcaha Feejignaanta Dib-u-cusboonaynta ama RASG

Qaab dhismeedka HD-Ranjiyeyaashu waxa uu qaataa hab hagitaan muunad ka dambeeya hoc si kor loogu qaado la-qabsiga jiilka ee soo jeedinta qoraalka xitaa intaa ka sii badan. Iyada oo ay la socoto hawl ujeedo leh, habka hagida muunad-hoc ka dambeeya waxay ujeedadeedu tahay in laga faa'iidaysto sifooyinka qaybinta ereyada-furan ee lakabyada feejignaanta. Si kastaba ha ahaatee, habkan hanuuninta hoc-post-hoc ee vanilj ayaa awood u leh inuu beddelo qaybta daahsoon ee faafinta taasoo hoos u dhigi karta tayada sawirka la soo saaray. Si arrintan wax looga qabto, qaabka HD-Ranjiilaha waxa uu fuliyaa Hagidda Dhibcaha Feejignaanta Dib-u-cusboonaynta ama habka RASG kaas oo soo bandhigaya hannaan dib-u-cusbooneysii oo keenaya ilaalinta aagagga qarsoon. 

HD-Ranjiile : Tijaabada iyo Natiijooyinka

Si loo falanqeeyo waxqabadkeeda, qaab-dhismeedka HD-Ranjiyeyaashu waxa la barbar dhigayaa xaaladda hadda ee moodooyinka fanka oo ay ku jiraan Inpainting Stable, GLIDE, iyo BLD ama Faafinta Daahsoon ee Isku-dhafka ah ee ka badan 10000 muunado random halkaasoo degdegga loo doortay calaamadda maaskarada tusaalaha ee la doortay. 

Sida la arki karo, qaab-dhismeedka HD-Ranjiyeyaashu waxa uu ka sarreeyaa qaab-dhismeedka jira ee saddex mitir oo kala duwan marka loo eego xad weyn, gaar ahaan hagaajinta 1.5 dhibcood ee mitirka CLIP iyo farqiga u dhexeeya saxnaanta la soo saaray ee ku saabsan 10% ee hababka kale ee farshaxanka. . 

Dhaqdhaqaaqa, shaxanka soo socdaa wuxuu muujinayaa isbarbardhigga tayada ee qaabka HD-Rinjiyeynta iyo qaababka kale ee rinjiyeynta. Sida la arki karo, moodooyinka kale ee gundhigga u ah waxay dib u dhisaan gobollada maqan ee sawirka si ay u sii socdaan walxaha gobolka ee la yaqaan ee aan tixgelinaynin soo-jeedinta ama waxay abuuraan asal. Dhanka kale, qaabka HD-Ranjiilaha wuxuu awood u leeyahay inuu soo saaro shayada la beegsanayo si guul leh iyadoo ay ugu wacan tahay hirgelinta PAIntA iyo qaybaha RASG ee dhismaheeda. 

Afkaarta Final

Maqaalkan, waxaan ka hadalnay HD-Rinjiiste, qoraal tababbarka bilaashka ah oo haga habka rinjiyeynta ee xallinta sare leh kaas oo wax ka qabta caqabadaha ay la kulmeen qaab-dhismeedka rinjiyeynta ee jira oo ay ku jiraan dayacaad degdeg ah, iyo awoodda sheyga u dhow iyo asalka. Qaab dhismeedka HD-Rijiyeyaashu waxa uu fuliyaa Feejignaan Degdeg ah oo Aware ah ama lakabka PAIntA, kaas oo adeegsada macluumaad degdeg ah si kor loogu qaado buundooyinka is-fiirsiga ee ugu dambeyntii keena jiilka toosinta qoraalka wanaagsan. 

Si loo hagaajiyo isku xidhnaanta isla markiiba, qaabka HD-Ranjiilaha waxa uu soo bandhigayaa Hagitaanka Dhibcaha Feejignaanta Dib-u-cusboonaynta ama habka RASG kaas oo ku daraya istaraatijiyad muunad ka dib qaabka guud ee qaybta DDIM si aan kala go 'lahayn si looga hortago qaybinta isbeddellada qarsoon. Intaa waxaa dheer, qaab-dhismeedka HD-Rinter-ku wuxuu soo bandhigayaa farsamo-xalin gaar ah oo heer sare ah oo loo habeeyey rinjiyeynta taas oo keenta in la kordhiyo miisaanka weyn, oo u oggolaanaya qaabka HD-Ranjiyuhu inuu dhammaystiro gobollada maqan ee sawirka leh xallinta ilaa 2K.