Ka Whakatakotohia e Microsoft GODIVA, he Anga Ako Miihini Kuputuhi-Ki-Ataata

Ko te mahi tahi i waenga i a Microsoft Research Asia me te Whare Wananga o Duke i whakaputa i tetahi punaha ako miihini e kaha ana ki te whakaputa ataata mai i te tere kuputuhi anake, me te kore whakamahi i nga Generative Adversarial Networks (GANs).

te kaupapa ko te ingoa GODIVA (Te Whakaputa Ataata Tuwhera-DomaIn mai i nga Whakaahuatanga nAtural), ka hanga i runga i etahi o nga huarahi e whakamahia ana e te punaha whakahiato whakaahua DALL-E a OpenAI, whakakitea mua i tēnei tau.

Ko nga hua tuatahi mai i GODIVA, me nga papa mai i nga riipene ataata i hangaia mai i nga tohu e rua. Ko nga tauira e rua o runga ake i puta mai i te akiaki 'Ka takaro korowha ki runga tarutaru', me te tuatoru o raro mai i te akiaki 'Ka takaro te keemu poipapa'. Puna: https://arxiv.org/pdf/2104.14806.pdf

Ka whakamahi a GODIVA i te tauira Vector Quantised-Variational AutoEncoder (VQ-VAE). i whakauru tuatahi na nga kairangahau mai i te kaupapa DeepMind a Google i te tau 2018, me tetahi waahanga nui i roto i nga kaha whakarereke a DALL-E.

Ko te hoahoanga o te tauira VQ-VAE, me te whakauru mokowā ki te taha matau me te encoder/decoder tiritiri mokowā inenga hei whakaiti i nga ngaronga i te wa o te hanganga.  Puna: https://arxiv.org/pdf/1711.00937.pdf

Kua whakamahia te VQ-VAE i roto i te maha o nga kaupapa ki whakaputa ataata matapae, ka tukuna e te kaiwhakamahi he tau tuatahi o nga papa me te tono ki te punaha ki te whakaputa i etahi atu papa:

Nga mahi o mua: Ka whakatauhia e VQ-VAE nga papa mai i nga rauemi maara iti kua tukuna. Pūtake: He rauemi taapiri kei https://openreview.net/forum?id=bBDlTR5eDIX

Engari, ko nga kaituhi o te pepa hou e kii ana ko GODIVA te tohu tuatahi mo te whakatinanatanga kuputuhi-ki-ataata (T2V) e whakamahi ana i te VQ-VAE, kaua i te nui ake. kaore he mahi hua kua whiwhi nga kaupapa o mua me nga GAN.

Nga Tohu Kakano I roto i te Kuputuhi-Ki-Ataata

Ahakoa he poto te tukunga mo nga korero mo nga paearu i hangaia ai nga papa takenga, ko te ahua ka tono a GODIVA i nga whakaahua kakano mai i tetahi waahi i mua i te haere ki te taapiri ki nga papa ataata taumira iti.

He whakaaturanga poupou o te punaha aro iti-toru e whakakaha ana i a GODIVA mo nga mahi tuhinga-ki-ahua. Ka matapaehia te whakaheke-aunoa ma nga mea e wha: te kuputuhi whakauru, te tuunga hononga me te anga o mua (he rite ki te NVIDIA's Whananga me etahi atu tikanga e hanga ana, e whanake ana i tua atu i nga huarahi Optical Flow), he rarangi kotahi i runga i te anga kotahi, me nga pou kotahi i runga i te pou kotahi.

Inaa, ko te takenga mai i nga tapanga i roto i nga raraunga i whakamahia: I whakangungua a GODIVA i mua i te Howto100M huingararaunga, kei roto 136 miriona nga riipene ataata tapanga i ahu mai i YouTube mo te 15 tau, me te 23,000 nga mahi kua tapaina. Heoi ano, ko ia mahi e taea ana kei roto i te maha rawa o nga topenga, e piki haere ana me te whaanui (arā, e 3.5 miriona nga topenga a 'Mokai me nga kararehe', engari ko te 'kuri' e 762,000 nga topenga), no reira he pai tonu te whiriwhiri mo nga waahi timatanga. .

I arotakea te tauira i runga i te Microsoft's MSR Video to Text (MSR-VTT) huingararaunga. Hei whakamatautau ano mo te hoahoanga, i whakangungua a GODIVA mai i te timatanga Moving Mnist huingararaunga me te huingararaunga Mnist Moving Double, i ahu mai i te mea taketake MNIST pātengi raraunga, he mahi tahi i waenga i a Microsoft, Google me te Courant Institute of Mathematical Sciences i NYU.

Aromātai Tāpare I roto i te Kohanga Ataata Tonu

I roto i te raina ki te Whare Wananga o Peking IRC-GAN, ka taapirihia e GODIVA kia wha etahi atu arowhai pou ki te tikanga MNIST taketake, i arotakehia nga papa o mua me te whai ake ma te neke whakarunga>whakararo ka maui>matau. Ka whai whakaaro ano a IRC-GAN me GODIVA ki nga papa ma te neke i te aro maui>matau, matau>maui, whakarunga> whakararo me raro> whakarunga.

Ētahi atu papa hanga mai i GODIVA.

Te Aromatawai i te Kounga Ataata me te Pono ki te Whakatairanga

Kia mohio ai koe ki te angitu o te hanga whakaahua, e rua nga inenga i whakamahia e nga kairangahau: kotahi i runga i te ritenga o te CLIP, me te pukapuka Relative Matching (RM) metric.

OpenAI's topenga Ka taea e te angamahi te whakaorite i nga whakaahua ki te tuhinga, me te whakangawari i te whakahiato whakaahua ma te huri i tenei tauira. I wehea e nga kairangahau te kaute i ahu mai i te CLIP ma te ritenga tatau i waenga i te tere o te kuputuhi me te ataata pono o te whenua kia tae ki te tohu RM. I roto i tetahi rauna kaute motuhake, i arotakea te putanga e te 200 tangata me nga hua ka whakatauritea ki nga kaute hotaka.

I te mutunga ka whakamatauria a GODIVA ki nga anga e rua o mua, TFGAN me te mahi tahi a Duke/NEC 2017, T2V.

Ka taea e TFGAN te whakaputa i nga pika tapawha 128 ki te whakataurite ki te putanga 64×64 e aukati ana i a GODIVA me T2V i roto i nga tauira o runga ake nei, engari ka kite nga kairangahau ehara i te mea ko GODIVA anake te whakaputa i nga nekehanga maia me te kaha ake, engari ka whakaputa i nga huringa o te tirohanga me te kore he akiaki, a e kore e whakama ki te whakaputa whakaahua tata.

I nga oma o muri, ka whakaputa ano a GODIVA i te putanga 128x128px, me nga huringa ki te POV:

I roto i te inenga RM ake a te kaupapa, ka taea e GODIVA te eke ki te 100% mo te pono (kounga o te ataata) me te pono (pehea te tata o nga ihirangi kua hangaia ki te urunga wawe).

E whakaae ana nga kairangahau, heoi, ko te whakawhanaketanga o nga inenga CLIP-a-ataata he taapiri pai ki tenei waahanga o te whakahiato whakaahua, na te mea ka whakawhiwhia he waahi takaro mo te arotake i te kounga o nga hua me te kore e aro ki te tino pai me te kore. o te whakawhänui kua tino whakahëhia e pä ana ki nga wero tirohanga rorohiko 'paerewa' i roto i nga tau tekau kua hipa.

Ka kite ano ratou ko te whakaputa ataata roa ake ka noho hei whakaaro mo te whanaketanga o te punaha, na te mea 10 noa nga papa o te putanga 64x64px e hiahia ana kia 2560 tohu whakaata, he putunga paipa tera pea ka tere te utu me te kore e taea te whakahaere.