Qaybta Synthesis Image waxay qaadatay cabbir khaldan, sheegashooyinka cilmi-baarista

2021 waxa uu ahaa sanad horumar aan hore loo arag iyo xawli-daabacaadda xawliga leh ee qaybta sawir-ku-gudbinta, oo bixisa qulqulka hal-abuurnimo cusub iyo horumarinta tignoolajiyada awood u leh in ay ku soo saaraan shakhsiyaadka aadanaha iyada oo loo marayo samaynta neerfaha, qoto dheer, iyo ciidan badan habab cusub.

Si kastaba ha ahaatee, cilmi-baarayaasha ka yimid Jarmalka ayaa hadda sheeganaya in heerka loo isticmaalo in si toos ah loo xukumo xaqiiqda sawirada synthetic uu si xun u khaldan yahay; iyo in boqollaal, xitaa kumanaan cilmi-baarayaal ah oo adduunka oo dhan ah oo ku tiirsan si ay u gooyaan qiimaha qaaliga ah ee qiimeynta natiijooyinka ku salaysan bini'aadamka ayaa laga yaabaa inay hoos ugu dhacaan indho-la'aan.

Si loo muujiyo sida heerka, Fogaanta Bilowga Fréchet (FID), ma qiyaaso heerarka aadanaha ee qiimaynta sawirada, cilmi-baarayaashu waxay geeyeen GAN-yadooda, oo loo habeeyay FID (hadda mitir caadi ah). Waxay ogaadeen in FID ay raacayso dareenkeeda, iyada oo ku saleysan koodka hoose oo aad uga duwan kan isku-dhafka sawirka, iyo in ay si joogto ah ugu guul dareysato in ay gaarto heerka garashada 'aadmiga':

Dhibcaha FID (hoos ayaa ka wanaagsan) sawirada ay soo saareen noocyo kala duwan oo isticmaalaya xog-ururin iyo qaab-dhismeedyo caadi ah. Cilmi-baarayaasha warqadda cusub ayaa soo bandhigaya su'aasha 'Ma ku raacsan tahay qiimeyntan?' Xigasho: https://openreview.net/pdf?id=mLG96UpmbYz

Marka laga soo tago sheegashadiisa in FID aysan ku habboonayn hawshii loogu talagalay, warqaddu waxay sii soo jeedinaysaa in daawaynta 'muuqda', sida beddelidda mishiinkeeda gudaha ee matoorada tartamaya, ay si fudud u beddeli doonaan hal nooc oo eex ah mid kale. Qorayaashu waxay soo jeedinayaan in ay hadda ku dhacayso dadaallo cilmi-baaris oo cusub si loo horumariyo cabbirro ka wanaagsan si loo qiimeeyo 'runnimada' sawirrada la sameeyay.

The warqad waxaa cinwaan looga dhigay Eexda gudaha ka jirta ee fogaanta bilowga Fréchet, waxayna ka timid Steffen Jung oo ka tirsan Machadka Max Planck ee Informatics ee Saarland, iyo Margret Keuper, borofisar ku takhasusay xisaabinta muuqaalka ee Jaamacadda Siegen.

Raadinta Nidaamka Dhibceynta ee Isku-dhafka Sawirka

Sida cilmi-baadhista cusubi xustay, horumarka qaab-dhismeedka sawirka, sida GAN-yada iyo qaab-dhismeedyada encoder/dekodeerayaasha, waxa ay dhaafeen habab natiijada nidaamyadan lagu qiimayn karo. Ka sokow inay qaali tahay oo sidaas darteed ay adag tahay in la cabbiro, qiimaynta bini'aadamka ee wax soo saarka nidaamyadani ma bixiso hab qiimayn ah oo la taaban karo oo la soo saari karo.

Sidaa darteed tiro qaab-dhismeedka mitirka ah ayaa soo baxay, oo ay ku jiraan Dhibcaha bilowga (IS), oo lagu soo bandhigay 2016 warqad Farsamooyinka La Hagaajiyay ee Tababarka GAN-yada, oo ay wada qoreen GAN hindisa, Ian Goodfellow.

Hoos u dhigista dhibcaha IS sida mitirka guud ee lagu dabaqi karo shabakadaha GAN ee badan in 2018 taasoo keentay in FID-da si baahsan loo qaato bulshada isku dhafka sawirka GAN. Si kastaba ha ahaatee, sida dhibcaha bilowga, FID waxay ku salaysan tahay Google Inception v3 shabakada kala soocida sawirka (IV3).

Qorayaasha warqadda cusub ayaa ku doodaya in Fogaanta Inception-ka ee Fréchet ay faafiso eexda waxyeelada leh ee IV3, taasoo horseedaysa kala soocida tayada sawirka aan la isku halayn karin.

Maadaama FID lagu dhex dari karo habka barashada mashiinka sida takoore ('xaakimka' ku dhex jira oo go'aaminaya haddii GAN uu si fiican u shaqeynayo, ama waa inuu 'isku dayo mar kale'), waxay u baahan tahay inay si sax ah u metesho heerarka uu bini'aadamku codsan doono marka la qiimeynayo. sawirada.

Fogaanta Bilowga Fréchet

FID waxay isbarbardhigaysaa sida sifada loogu qaybiyay dhamaan xogta tababarka ee loo isticmaalay in lagu abuuro qaabka GAN (ama la mid ah shaqada), iyo natiijooyinka nidaamkaas.

Sidaa darteed, haddii qaab-dhismeedka GAN lagu tababaro 10,000 oo muuqaal ah (tusaale ahaan) dadka caanka ah, FID waxay barbardhigtaa sawirada asalka ah (dhabta ah) iyo sawirada been abuurka ah ee ay soo saartay GAN. Marka ay hooseyso buundada FID-da, ayaa GAN-gu uu ku soo dhowaanayaa sawirro 'sawir ah', marka loo eego shuruudaha FID.

Laga soo bilaabo warqadda, natiijooyinka GAN lagu tababaray FFHQ64, qayb ka mid ah NVIDIA's aadka loo jecel yahay. Xogta FFHQ. Halkan, inkasta oo dhibcaha FID ay tahay mid aad u hooseeya 5.38, natiijadu maaha kuwo lagu farxo ama lagu qanci karo celceliska aadanaha.

Dhibaatadu, qorayaashu waxay ku doodayaan, waa in Inception v3, oo malo-awaalkiisa awoodda Fréchet Inception Distance, aanu eegayn meelaha saxda ah - ugu yaraan, maaha marka la tixgelinayo hawsha gacanta lagu hayo.

Inception V3 waxaa lagu tababbaray ku saabsan ImageNet caqabada aqoonsiga shayga, hawl lagu doodi karo in ay khilaafsan tahay habka ay ujeeddooyinka sawir-ku-gudbinta u kobceen sannadihii u dambeeyay. IV3 waxay caqabad ku noqotaa adkaynta moodeelka iyadoo fulinaysa xog kordhinta: waxay u rogisaa sawirada si aan kala sooc lahayn, waxay u beertaa qiyaas aan kala sooc lahayn oo u dhaxaysa 8-100%, waxay beddeshaa saamiga dhinaca (oo u dhexeeya 3/4 ilaa 4/3), oo si aan kala sooc lahayn ayay u durtaa qallooca midabka ee la xidhiidha dhalaalka, saturation, iyo isbarbardhigga.

Cilmi-baarayaasha Jarmalka ku salaysan waxay ogaadeen in IV3 ay u janjeerto soo saarista cidhifyada iyo textures, halkii ay ka heli lahaayeen macluumaadka midabka iyo xoojinta, taas oo noqon doonta tilmaamo macno leh oo dhab ah oo loogu talagalay sawirada synthetic; iyo in ujeeddadii asalka ahayd ee ogaanshaha shay sidaas darteed si aan habboonayn loogu taxaabay hawl aan ku habboonayn. Qorayaashu waxay yiraahdeen*:

'[Inception v3] waxay leedahay eex xagga soo saarista sifooyin ku salaysan geesaha iyo texture halkii ay ka ahaan lahayd midabka iyo xogta xoogga. Tani waxay la jaanqaadaysaa tubaheeda kordhinta ee soo bandhigta qallooca midabka, laakiin waxay ilaalinaysaa macluumaadka soo noqnoqda ee sarreeya (marka la barbardhigo, tusaale ahaan, kordhinta Gaussian blur).

Sidaas awgeed, FID waxay dhaxashay eexdan. Marka loo isticmaalo mitirka darajada, moodooyinka wax-soo-saarka ee si fiican u soo saaraya textures ayaa laga doorbidi karaa moodooyinka si fiican u soo saara qaybinta midabka..'

Xogta iyo Habka

Si loo tijaabiyo mala-awaalkooda, qorayaashu waxay tababareen laba qaab-dhismeedka GAN, DCGAN iyo SNGAN, ee NVIDIA FFHQ xogta wejiga aadanaha, hoos loo dhigay ilaa 64² xallinta sawirka, oo leh xogta la soo saaray ee loo yaqaan FFHQ64.

Saddex hab oo tababar GAN ah ayaa la raacay: GAN G+D, halbeeg takoor ku salaysan shabakad; GAN FID|G+D, halkaasoo FID ay u qabato takoorid dheeraad ah; iyo GAN FID|G. Halka GAN uu si buuxda ugu shaqeeyo buundada FID-da ee rogan.

Farsamo ahaan, qorayaashu waxay xuseen, luminta FID waa inay xasilisaa tababarka, oo ay suurtogal tahay inay awooddo gebi ahaan beddelka Takoorka (sida ku cad #3, GAN FID|G), iyadoo soo saaraysa natiijooyin bini'aadminimo ku farxo.

Ficil ahaan, natiijadu aad bay u kala duwan tahay, iyada oo - qorayaashu waxay qiyaasayaan - moodooyinka ay caawisay FID 'ku habboon' cabbirrada khaldan. Cilmi-baarayaashu waxay xuseen:

"Waxaan ku qiyaaseynaa in koronto-dhaliye uu barto inuu soo saaro sifooyin aan ku habooneyn si uu u waafajiyo qaybinta xogta tababarka. U fiirsashadani waxay noqonaysaa mid aad u daran marka laga hadlayo [GAN FID|G] . Halkan, waxaan ku ogaanay in takoorista maqani ay horseeddo qaybin muuqaal ah oo aan is-dhaafsaneyn. Tusaale ahaan [SNGAN FID|G] wuxuu ku daraa inta badan indho keliya wuxuuna toosiyaa astaamaha wejiga si adag.'

Tusaalooyinka wejiyada ay soo saartay SNGAN FID|G.

Qorayaashu waxay ku soo gabagabeeyeen*:

"In kasta oo falanqeeyayaasha bini'aadmigu ay hubaal ahaan ka door bidaan sawirada SNGAN D+G ay ka door bidaan SNGAN FID|G (haddii ay daacadnimada xogta laga doorbido farshaxanka), waxaan aragnaa in tani aysan ka muuqan FID. Sidaa awgeed, FID kuma xidhna aragtida aadanaha.

"Waxaan ku doodaynaa in sifooyinka takoorka ah ee ay bixiyaan shabakadaha kala-soocidda sawirka aysan ku filneyn inay bixiyaan saldhigga cabbirka macnaha."

Ma jiraan wax beddelaad fudud

Qorayaashu waxay sidoo kale ogaadeen in ku beddelashada Inception V3 ee matoorka la midka ah aysan yareynin dhibaatada. Marka lagu beddelo IV3 'doorasho ballaaran oo shabakado kala-saarid kala duwan', kuwaas oo lagu tijaabiyay liddi ku ah ImageNet-C (qayb ka mid ah ImageNet oo loogu talagalay in lagu qiyaaso musuqmaasuqa sida caadiga ah loo soo saaro iyo qaska sawirada laga soo saaro qaab-dhismeedka sawirka), cilmi-baarayaashu si weyn uma hagaajin karaan natiijooyinkooda:

'[eexda] ku jira Inception v3 sidoo kale waxay si weyn uga jiraan shabakadaha kala-soocidda. Intaa waxaa dheer, waxaan aragnaa in shabakado kala duwan ay soo saari doonaan darajooyin kala duwan oo u dhexeeya noocyada musuqmaasuqa.'

Qorayaashu waxay ku soo gabagabeeyeen warqadda iyagoo rajo ka qaba in cilmi-baarista socota ay horumarin doonto 'mitir ku habboon bini'aadamka iyo kuwa aan eex lahayn' oo awood u siinaya darajo cadaalad ah naqshadaha sawir-dhaliye.

* Culayska qorayaasha.

Markii ugu horreysay waxaa la daabacay 2dii Diseembar 2021, 1pm GMT+2.