GAN oo ah Soo-bandhige Waji ah oo loogu talagalay 'Dhaqameed' CGI

opinion Marka Generative Adversarial Networks (GANs) ay marka hore muujiyeen awoodooda ay u soo saari karaan si cajiib ah macquul ah Wajiyada 3D, imaatinka ayaa kiciyay dag dag dahabi ah oo loogu talagalay kartida aan la ogeyn ee GANs si ay u abuuraan muuqaal ku meel gaar ah oo joogto ah oo muujinaya wejiyada aadanaha.

Meel ka mid ah meelaha qarsoon ee GAN, waxay u muuqatay inay jirto waa in noqo nidaam qarsoon iyo caqli-gal - qorshe macquul ah oo semantic ah, oo lagu aasay qawaaniinta qarsoon, taas oo u oggolaan doonta GAN inay abuurto aragtiyo badan oo joogto ah iyo tafsiiro badan (sida isbeddelka muujinta) isla wejiga - ka dibna bixi hab ku meel gaadh ah oo lagu qanci karo muuqaal qotodheer oo been abuur ah oo afuufaya autoencoders ka baxsan biyaha.

Wax-soo-saarka xallinta sare wuxuu ahaan lahaa wax yar, marka la barbar dhigo xaafadaha isku raranta ah ee u eg-res-ka hoose ee GPU-ga xaddidaya DeepFaceLab iyo FaceSwap inay shaqeeyaan, halka 'aagga beddelka' ee wejiga (ee qulqulka shaqada autoencoder) ay noqon doonto 'aagga abuurista' ee GAN, oo lagu wargeliyay sacab muggiis oo sawirro la gelin ah, ama xitaa hal sawir.

Ma jiri doonto is-waafajin dambe oo u dhexeeya 'wajiyada' is-beddelka' iyo 'martigeliyaha', sababtoo ah dhammaystiran Sawirka ayaa laga soo saari doonaa xoq, oo ay ku jiraan timaha, daanka daanka, iyo cidhifyada ugu dambeeya ee xadhkaha wejiga, kuwaas oo had iyo jeer caddaynaya caqabad ku saabsan qoto-dheerayaasha 'autoencoder' ee dhaqameed.

Fiidiyowga Wajiga ee GAN Jiilaalka

Sida ay u dhacday, ma noqon doonto ku dhawaad ​​si fudud. Ugu dambayntii, kala furfurid waxay caddeeyeen arrinta udub dhexaad u ah, waxayna weli tahay caqabada koowaad. Sideed u haysan kartaa aqoonsi weji oo gaar ah, oo aad u beddesho muuqaalkeeda ama muuqaalkeeda adiga oo aan soo ururin kumanaan sawirro tixraac ah oo bara shabakada neerfaha waxa dhacaya marka isbeddeladan la sameeyo, habka hababka autoencoder-ka ay si hawlkar ah u sameeyaan?

Hase yeeshe, fekerka dambe ee samaynta wejiga GAN iyo cilmi-baarista isku-dhafka ah waxay ahayd in aqoonsiga wax-gelinta laga yaabo in laga yaabo in laga dhigo mid ku xiran teleological, generic, qaabaysan isbeddellada aan ahayn aqoonsi-gaar ah. Tusaale waxaa ah in lagu dabaqo weji GAN ah oo aan ku jirin mid ka mid ah sawirada qofkaas oo GAN uu yaqaan.

Laga soo bilaabo warqadda 2022 Tensor-ku-saleysan Tafatirka Dareenka ee Goobta Daahsoon ee StyleGAN, tibaaxaha qaabaysan ayaa lagu dabaqaa wejiga gelinta ee xogta FFHQ. Xigasho: https://arxiv.org/pdf/2205.06102.pdf

Waa wax iska cad in habka 'hal cabbir ku habboon dhammaan' uusan dabooli karin kala duwanaanshaha wejiga ee gaarka u ah qofka. Waa inaan la yaabnaa haddii dhoola cadeynta u gaarka ah sida Jack Nicholson ama Willem Dafoe ay waligood heli karaan fasiraad aamin ah iyadoo ay saameyn ku yeelanayaan koodhadhka qarsoon ee 'celceliska hadalka'.

Waa ayo qariibka Laatiinka ee soo jiidashada leh? In kasta oo habka GAN uu soo saaro weji 'waaqici ah' oo ka sarreeya, isbeddelka laguma wargeliyo sawirro badan oo adduunka dhabta ah ee jilaa, sida kiiska DeepFaceLab, kaas oo si weyn ugu tababbaray kaydka kaydka kumanaan sawirro ah, sidaas awgeedna isu ekaanshiyaha waa la dhimay. Halkan (saldhig) qaabka DeepFaceLab ayaa la soo galiyay DeepFaceLive, hirgalinta qulqulka software-ka caanka ah ee muranka dhaliyay. Tusaalooyinka waxay ka yimaadeen https://www.youtube.com/watch?v=9tr35y-yQRY (2022) iyo https://arxiv.org/pdf/2205.06102.pdf.

Tiro ka mid ah tifaftirayaasha muuqaalka wejiga ee GAN ayaa la soo bandhigay dhowrkii sano ee la soo dhaafay, intooda badan la macaamilka haybta aan la garanayn, halkaas oo daacadnimada isbeddellada aysan suurtagal ahayn in akhristaha caadiga ah uu ogaado, maadaama kuwani aanay ahayn wejiyo la yaqaan.

Aqoonsiga dahsoon ayaa la beddelay 2020 oo bixiya Cascade-EF-GAN. Xigasho: https://arxiv.org/pdf/2003.05905.pdf

Waxaa laga yaabaa in tifaftiraha wajiga GAN ee helay xiisaha ugu badan (iyo xigashooyinka) seddexdii sano ee la soo dhaafay InterFaceGAN, kaas oo ku samayn kara marin-marin meel qarsoon oo ku jira koodka qarsoon ee la xidhiidha sawirka (xagalka kamaradda/wejiga), muujinta, da'da, jinsiga, jinsiga, iyo tayada kale ee muhiimka ah.

Qaabkii 1980-meeyadii ee 'qaabaynta' awoodaha InterFaceGAN iyo qaab-dhismeedyada la midka ah ayaa inta badan ah dariiqa lagu muujiyo waddada loo maro isbeddelka sida sawirka dib loogu celiyo iyada oo loo marayo kood qarsoon oo qarsoon (sida 'da''). Marka la eego soo saarista muuqaallada fiidyaha iyadoo si ku meel gaar ah loo sii wado, qorshayaashan ilaa hadda waxay u qalmeen sidii 'masiibooyinka cajiibka ah'.

Haddii aad intaas ku darto dhibaato abuurista timo ku meel gaar ah oo joogto ah, iyo xaqiiqda ah in farsamada sahaminta koodhka qarsoodiga ah / wax-is-daba-marintu aysan lahayn tilmaamo ku-meel-gaar ah oo ku-meel-gaar ah oo ay ku shaqeeyaan (wayna adagtahay in la ogaado sida loogu duro tilmaamahan qaab qaabaysan oo loogu talagalay in lagu daboolo oo soo saaro sawirro aan muuqan, oo aan lahayn wax bixinta hooyo. soo saarista fiidiyowga), waxaa laga yaabaa inay caqli gal tahay in la soo gabagabeeyo in GAN aysan ahayn Dhammaan waxaad u baahan tahay ™ ee muuqaalka muuqaalka wejiga.

Sidaa darteed, dadaalladii xigay waa ay mira dhaleen horumarinta korodhka Kala fogaansho, halka kuwa kale ay ku adkeeyeen heshiisyada kale ee aragtida kombuyuutarka sidii 'lakab hagitaan', sida isticmaalka qaybta semantic sida hannaan xakameyn dabayaaqada 2021 warqad SemanticStyleGAN: Barashada Horyaallada Halabuurka Halabuurka ah ee Isku-dhafka iyo Tafatirka Sawirka La Xakameyn karo.

Qaybta Semantic sida habka qalabaynta meel qarsoon ee SemanticStyleGAN. Xigasho: https://semanticstylegan.github.io/

Tilmaamaha Parametric

GAN-ga bulshada cilmi-baadhista weji waxay si isa soo taraysa ugu jihaysanaysaa adeegsiga wejiyada 'caadad' ah ee CGI-da si ay u hagto oo loogu soo dabbaalo qawaaniinta qarsoon ee cajiibka ah laakiin aan sharciga ahayn ee meelaha qarsoon ee GAN.

In kasta oo astaamaha hore ee wejiga ay u ahaayeen halbowlaha cilmi-baadhista aragga kombuyuutarka labaatan sano ka badan, xiisaha habkan ayaa koray beryahan dambe, iyadoo la kordhinayo isticmaalka Model Tooska ah ee Shakhsiyaadka Maqaarka leh (SMPLCGI primitives, hab ay hormood u yihiin Machadka Max Planck iyo ILM, iyo tan iyo markii lagu hagaajiyay Dib-u-celinta Jirka Aadanaha ee Farshaxanka ah (Sparse Trained Articulated Body Body).STAR) qaab dhismeedka.

SMPL (kiiskan waa kala duwanaansho loo yaqaan SMPL-X) waxay ku soo rogi kartaa mesh parametric CGI kaas oo waafaqsan qiyaasta qiyaasta (oo ay ku jiraan tibaaxaha, sida lagama maarmaanka ah) ee dhammaan jidhka bini'aadamka ee ku jira sawirka, taas oo u oggolaanaysa hawlgallo cusub in lagu sameeyo sawirka iyada oo la adeegsanayo mesh parametric sida mugga ama garashada. habraaca. Xigasho: https://arxiv.org/pdf/1904.05866.pdf

Horumarka ugu caansan ee khadkaan wuxuu ahaa Disney's 2019 Ku soo bandhigida Style hindisaha, kaas oo dhalaalay isticmaalka khariidado-dhismeed dhaqameed leh sawiro ay soo saartay GAN, isku day lagu abuurayo wax soo saar firfircoon oo 'qaab-qoto-dheer' ah oo soo hagaagay.

Old kulmay cusub, ee habka isku-dhafka ah ee Disney ee been-abuurka qoto dheer ee GAN. Xigasho: https://www.youtube.com/watch?v=TwpLqTmvqVk

Habka Disney wuxuu ku soo rogayaa wajiyada CGI ee dhaqan ahaan loo soo bandhigay shabakad StyleGAN2 si loo 'rijiyo' maadooyinka wejiga bini'aadamka ee 'meelaha dhibka', halkaas oo joogteynta ku-meel-gaarka ah ay tahay arrin khuseeya jiilka fiidiyowga - meelaha sida maqaarka maqaarka.

Bandhigga qaab socodka shaqada.

Maadaama madaxa CGI-ga ee hagaya habkan waa la bedeli karaa oo la beddeli karaa si uu ugu habboonaado isticmaalaha, wejiga GAN-abuuray wuxuu awood u leeyahay inuu ka tarjumayo isbeddelladaas, oo ay ku jiraan isbeddellada muuqaalka madaxa iyo muujinta.

In kasta oo loogu talagalay in lagu guursado qalabka CGI oo leh xaqiiqada dabiiciga ah ee wejiyada GAN, dhamaadka, natiijadu waxay muujinaysaa kuwa ugu xun labada adduunba, waxayna wali ku guuldareystaan ​​inay sii wadaan timaha timaha iyo xitaa meelaynta astaamaha aasaasiga ah:

Nooc cusub oo dooxo aan qarsoodi ahayn ayaa ka soo baxa bandhiga qaabka Style, inkastoo mabda'a weli uu hayo xoogaa awood ah.

2020 The warqad StyleRig: Rigging StyleGAN oo loogu talagalay 3D Xakamaynta Sawirada Sawirka waxay qaadataa hab caan ah oo sii kordheysa, iyadoo la adeegsanayo moodooyinka wejiga saddex-geesoodka ah (3DMMs) sida wakiilo beddelka sifooyinka jawiga StyleGAN, kiiskan iyada oo loo marayo shabakad rigging novel ah oo la yiraahdo RigNet:

3DMMs waxay u taagan yihiin wakiilo turjumaada meelaha qarsoon ee StyleRig. Xigasho: https://arxiv.org/pdf/2004.00121.pdf

Si kastaba ha ahaatee, sida caadiga ah hindisayaashan, natiijooyinka ilaa maanta waxay u muuqdaan kuwo xaddidan oo kaliya wax-is-daba-marin, iyo 'aan la wargelin' muujin/saamayn isbeddellada.

StyleRig waxay horumarisaa heerka xakamaynta, in kasta oo timaha ku meel gaadhka ah ee joogtada ahi ay yihiin caqabad aan la xallin. Xigasho: https://www.youtube.com/watch?v=eaW_P85wQ9k

Wax soo saar la mid ah ayaa laga heli karaa Mitsubishi Research's BADAN-GAN, ah 2021 warqad taas oo u adeegsata 3DMMs aan toos ahayn qaab dhismeed kala fogaansho ah, laakiin sidoo kale dhibaatooyin si loo gaaro dhaqdhaqaaq firfircoon oo joogto ah.

Cilmi-baaristii ugu dambeysay ee lagu tijaabiyay qalabaynta iyo kala fogaanshaha Dib-u-habaynta Wajiga Hal- Shot ee Megapixels, kaas oo mar kale u isticmaala 3DMM madax parametric sida interface saaxiibtinimo ee StyleGAN.

Socodka shaqada MegaFR ee Hal-Shot Face Reenactment, shabakadu waxay qabataa isku xidhka wejiga iyada oo isku darka sawirka adduunka dhabta ah ee rogan oo leh cabbirro laga soo qaatay qaabka 3DMM. Xigasho: https://arxiv.org/pdf/2205.13368.pdf

OSFR waxa iska leh koox sii kordheysa oo ah tifaftirayaasha wejiga GAN kuwaas oo doonaya in ay horumariyaan Photoshop/Kadib Saamaynta-qaabka qaabsocodka tafatirka tooska ah socodka shaqada halkaas oo adeegsaduhu uu geli karo sawirka la doonayo kaas oo isbeddelada lagu dabaqi karo, halkii uu ka ugaarsan lahaa booska qarsoon ee koodka qarsoon ee la xidhiidha aqoonsi.

Mar labaad, tibaaxaha isbarbardhigga ahi waxay u taagan yihiin hab guud oo aan shakhsiyan ahayn oo lagu durayo muujinta, taasoo horseedaysa wax-is-daba-marineed oo u muuqda 'mid aan qarsoodi ahayn' iyaga u gaar ah, oo aan had iyo jeer ahayn hab wanaagsan.

Tibaaxaha la isku duray ee OSFR.

Sida shaqadii hore, OSFR waxay ka qiyaasi kartaa jaangooyooyinka u dhow asalka ah ee hal sawir, oo waxay sidoo kale samayn kartaa 'horyaalaynta', halkaas oo sawirka ka baxsan ee loo tarjumay sawir qaade:

Asalka (korka) iyo sawiro sawir qaade ah oo laga soo qaatay mid ka mid ah hirgelinta OSFR oo lagu faahfaahiyey warqadda cusub.

Ficil ahaan, fikradda noocan ahi waxay la mid tahay qaar ka mid ah mabaadi'da sawir-qaadista ee hoostaga Goobaha Shucaaca Neural (NeRF), marka laga reebo in joomatari halkan waa in lagu qeexo hal sawir, halkii ay ka ahaan lahaayeen 3-4 aragtiyaha u oggolaanaya NeRF in ay tarjumto jaantusyada dhexda ah ee maqan oo ay abuurto muuqaalo 3D neerfaha ah oo la sahamin karo oo ay ku jiraan bini'aadamka.

(Si kastaba ha ahaatee, NeRF ma aha dhammaan waxaad u baahan tahay ™ midkoodna, maadaama ay ku dhowdahay jidgooyo gebi ahaanba kala duwan GANs marka loo eego soo saarista muuqaalka muuqaalka wajiga)

GAN meel ma ku leeyahay Fiidiyowga Wajiga?

Gaaritaanka tibaaxaha firfircoon iyo qaybinta ka baxsan ee ka imanaysa hal il sawir ayaa u muuqata inay tahay maskaxiyan la mid ah cilmi-baarista wejiga ee GAN xilligan, gaar ahaan sababta oo ah GANs waa habka kaliya ee hadda awood u leh inuu soo saaro xallin aad u sarreeya oo aad u sarreeya. wejiyada neerfaha ee aaminka ah: in kasta oo qaababka qotodheer ee autoencoder ay ku tababari karaan meelo badan oo adduunka dhabta ah iyo tibaaxaha, waa inay ku shaqeeyaan go'aammada wax-soo-saarka ee xaddidan ee VRAM, oo ay u baahan yihiin 'martigeliyaha'; halka NeRF ay si isku mid ah u xaddidan tahay, iyo - oo ka duwan labada hab ee kale - hadda ma laha habab la aasaasay oo lagu beddelo tibaaxaha wejiga, oo ay haysato tafatirka xaddidan ee guud ahaan.

Waxa ay u muuqataa in dariiqa kaliya ee loo mari karo habka saxda ah ee CGI/GAN ee nidaamka isku dhafka wajigu ay tahay hindise cusub oo lagu raadinayo hab lagu ururiyo hay'ad aqoonsi sawiro badan ah oo ku dhex jirta meesha qarsoon, halkaas oo koodka qarsoon ee aqoonsiga qofka uusan qasab ahayn u safro dhammaan meelaha daahsoon si aad uga faa'iidaysato jaangooyooyin aan xidhiidh la lahayn, laakiin waxay tixraaci kartaa muuqaalkeeda (adduunka dhabta ah) ee la xidhiidha sida tixraacyada isbeddellada.

Xitaa haddii kiiskan oo kale, ama xitaa haddii shabakadda StyleGAN oo dhan lagu tababaray weji-aqoonsi-hal-aqoonsi (oo la mid ah qaababka tababarka ee autoencoders ay isticmaalaan), caqli-celinta semantic ee maqan waxay weli u badan tahay inay u baahan tahay in lagu bixiyo tignoolajiyada isku dhafan sida semantic segmentation ama parametric 3DMM weji, kaas oo, marka la eego xaaladdan, ugu yaraan lahaan lahaa walxo badan oo lagu shaqeeyo.