Ku Tafatirka Meesha Dahsoon ee GAN oo leh 'Blobs'

Cilmi-baaris cusub oo ka timid UC Berkeley iyo Adobe waxay bixisaa hab si toos ah loogu tafatiro nuxurka dhabta ah ee ay abuuri karto Shabakadda Adversarial Network (GAN), laakiin aan inta badan lagu xakameyn karin, la dhaq-dhaqaaqin, ama aan si xor ah loo maareyn karin hab muddo dheer yaqaanay Photoshop. Isticmaalayaasha iyo xirfadlayaasha CGI.

Cinwaankeedu yahay BlobGAN, Habka waxa ku jira abuurista xariijimo 'blobs' - dhismooyin xisaabeed oo si toos ah u sawiraya nuxurka gudaha bannaanka qarsoon ee GAN.

Adiga oo dhaqaajinaya baloobyada, waxaad u dhaqaajin kartaa 'walxaha' muuqaal muuqaal ah, hab dareen leh oo u dhow hababka CGI iyo CAD marka loo eego qaar badan oo ka mid ah isku dayga hadda jira ee lagu khariideynayo laguna xakameynayo meesha qarsoon ee GAN:

Ku-dhaqanka muuqaalka ee BlobGAN: sida 'blobs-yada' uu dhaqaaqo isticmaaluhu, dabeecadda walxaha qarsoon iyo qaababka GAN si isku mid ah ayaa loo beddelay. Tusaalooyinka dheeraadka ah, fiiri fiidyowga la socda warqadda, ku guntan dhammaadka maqaalkan, ama https://www.youtube.com/watch?v=KpUv82VsU5k

Maadaama baloobyadu u dhigmaan 'walxaha' goobta lagu sameeyay GAN's meel qarsoon, dhammaan walxuhu waa kala fog yihiin mudnaanta, taasoo suurtogal ka dhigaysa in si gaar ah loo beddelo:

Walxaha waa la dhimi karaa, waa la dhimi karaa, waa la xiiri karaa, waana laga saari karaa, iyo hawlgallo kale.

Sida shay kasta oo ku jira software tafatirka sawirka (ama xitaa qoraalka-editing) software, blob waa la koobi karaa oo ka dibna la maamuli karaa:

Blobs waxaa lagu koobi karaa interface-ka, iyo matalaaddooda qarsoon ee u dhiganta sidoo kale waa la 'koobiyi doonaa oo la dhejin doonaa'. Xigasho: https://dave.ml/blobgan/#results

BlobGAN waxa kale oo ay u turjumi kartaa sheeko cusub, sawiro adeegsaduhu doortay booskeeda qarsoon:

BlobGAN, uma baahnid inaad ku darto sawirada aad rabto inaad si toos ah u maamusho xogta tababarka ka dibna aad ugaarsato koodhkooda qarsoon, laakiin waxaad geli kartaa sawirada xulashada markaad rabto oo aad maareyso. Sawirrada halkan lagu beddelayo waa gelinta isticmaale xaqiiqa kadib. Xigasho: https://dave.ml/blobgan/#results

Natiijooyin badan ayaa la arki karaa halkan, iyo kuwa la socda VIDEO YouTube (ku lifaaqan dhamaadka maqaalkan). Waxa kale oo jira Colab is dhexgal ah demo*, iyo GitHub dib u celin**.

Qalabka noocan oo kale ah iyo baaxadda ayaa laga yaabaa inay u muuqdaan kuwo caqli-gal ah da'da sawir-qaadista ka dib, iyo xirmooyinka software-ka ee sida Cinema4D iyo Blender ayaa u oggolaanaya dadka isticmaala inay abuuraan oo ay habeeyaan 3D adduunyada muddo tobanaan sano ah; laakiin waxa ay ka dhigan tahay hab rajo leh oo lagu xumeynayo meelaha qarsoon iyo dabeecadda aadka u weyn ee meelaha qarsoon ee Shabakadda Adversarial Generative, iyadoo la adeegsanayo hay'ado wakiil ah oo lagu sawiray koodh qarsoon.

Qorayaashu waxay yiraahdeen:

'Marka la eego xogta qaybaha badan ee muuqaallada gudaha, BlobGAN ayaa ka sarreeya Style-GAN2 tayada sawirka sida lagu qiyaasay FID.'

The warqad waxaa cinwaan looga dhigay BlobGAN: Maqaalka Muuqaalka Meelo kala Fog, waxaana qoray laba cilmi-baare oo ka socda UC Berkeley, oo ay weheliyaan saddex ka socda Adobe Research.

Nin dhexe

BlobGAN waxay u keentaa jaantus cusub isku dhafka sawirka GAN. Kahor hababka wax looga qabanayo hay'adaha gaarka ah ee meelaha qarsoon, xaashida cusubi waxay tilmaamaysaa, inay ahaayeen 'kor-hoos' ama 'hoos-sare'.

Habka kor-hoos ee GAN ama sawirka kala soocida waxay ula dhaqmaan sawirada muuqaallada sida fasallo, sida 'qol-jiif', 'kaniisad', 'weji', iwm. Noocan qoraalka/lammaanaynta sawirka waxay awood u siinaysaa jiil cusub oo qaab-dhismeed sawireedyo badan , sida DALL-E 2 ee dhawaan ka yimid OpenAI.

Hoos-u-socodyada, beddelkeeda, khariidad pixel kasta oo sawir ah fasal, calaamad, ama qayb. Hababka noocan oo kale ah waxay adeegsadaan farsamooyin kala duwan, in kasta oo kala qaybsanaanta semantic ay tahay a strand cilmi hadda caan ah.

Qorayaashu waxay faallo ka bixiyeen:

"Labada dariiqoodba waxay u muuqdaan kuwo aan fiicnayn sababtoo ah midkoodna ma bixin karo siyaabo sahlan oo lagu sababayn karo qaybo ka mid ah goobta sida qaybaha. Qaybaha goobta waxaa lagu dubay hal unug oo dahsoon (kor-hoos), ama waxay u baahan yihiin in laga soo wada ururiyo calaamadaha pixel-ka (hoose-kor).'

Halkii, BlobGAN wuxuu bixiyaa matalaadda heerka dhexe ee aan la kormeerin, ama qaab-dhismeedka wakiil ee moodooyinka curinta.

Shabakadda qaabaynta waxay khariidado maxalli ah (iyo la kontarooli karo) qaybaha 'blob' ee koodka qarsoon. Wareegyada midabka leh ee dhexda ku yaal waxay ka kooban yihiin khariidad blob ah. Xigasho: https://arxiv.org/pdf/2205.02837.pdf

Gaussian (ie, buuqa ku salaysan) boogaha ayaa si qoto dheer loo dalbay, waxayna u taagan yihiin ciribtirka dhismaha ee u xilsaaraya khariidad koox kasta, xalinta caqabada ugu weyn ee jirta ayaa ah khalkhalgelinta nuxurka GAN: kala fogaansho (sidoo kale) dhibaato loogu talagalay naqshadaha autoencoder-ku-saleysan). Khariidadda 'blob map' ee ka soo baxday waxa loo istcmaalay in lagu maamulo qalabka BlobGAN.

Qorayaashu waxay si la yaab leh u xuseen in nidaamku barto inuu u kala gooyo muuqaallada qaab-dhismeedka iyo hay'adaha iyada oo loo marayo takoore ka baxsan shelf-ka kaas oo aan isticmaalin calaamado cad.

Dhismaha iyo Xogta

Hay'adaha ku jira khariidadda blob-ka waxa loo rogaa sawirro iyada oo loo marayo qaab-dhismeed StyleGAN2 ah oo dib loo eegay network, hab ka qaadanaysa dhiirigelinta cilmi-baaristii hore ee NVIDIA.

StyleGAN 2 oo dib loo eegay oo ka soo jeeda NVIDIA Research. Qaar ka mid ah mabaadi'da shaqadan ayaa loo qaatay ama loo habeeyey BlobGAN. Xigasho: https://arxiv.org/pdf/1912.04958.pdf

StyleGAN 2 waxaa wax laga beddelay gudaha BlobGAN si ay u aqbasho gelinta khariidadda blob beddelka hal vector caalami ah, sida badanaa dhacda.

Waxqabadyo isdaba joog ah oo ay suurto galisay BlobGAN, oo ay ku jiraan 'dhamaystirka' goobta jiifka ee madhan, iyo dib u habeynta iyo dib u dejinta walxaha qolka ku jira. Safka hoose, waxaan aragnaa qalabka la heli karo ee isticmaalaha kaas oo awood u siinaya tan - khariidadda blob.

Marka la barbardhigo, halkii laga keeni lahaa dhisme ballaadhan oo adag (meel dahsoon) hal mar oo dhan, ka dibna ay tahay in ay sahamiso dariiqyadeeda aan dhammaadka lahayn, BlobGAN waxay soo dirtaa qaybaha qaybaha bilawga, had iyo jeerna waa yaqaan meesha ay joogaan. Kala fogaanshahan nuxurka iyo goobta ayaa ah hal-abuurka ugu weyn ee shaqada.

* Aan shaqaynayn wakhtiga qorista
** Xeer aan wali la daabicin wakhtiga la qorayo

Markii ugu horeysay ee la daabacay May 8, 2022.