Wax ka beddelka Shayga AI-caawiyay ee Google's Imagic iyo Runway's 'Masixi oo Beddel'

Toddobaadkan laba cusub, laakiin isbarbar dhigaya algorithms garaafyada AI-driven ayaa bixiya habab cusub oo loogu talagalay isticmaaleyaasha dhamaadka si ay u sameeyaan isbeddel heer sare ah oo wax ku ool ah walxaha sawirada.

Marka hore waa khayaali, oo ka socota Google Research, iyada oo lala kaashanayo Machadka Teknolojiyadda Israel iyo Machadka Weizmann ee Sayniska. Imagic wuxuu bixiyaa hab-qaboojiye, tafatirka walaxda si fiican loo habeeyey iyadoo la hagaajinayo moodooyinka fidinta.

Beddel waxaad jeceshahay, oo ka tag inta soo hartay - Imagic wuxuu ballanqaadayaa tafatirka guud ee kaliya qaybaha aad rabto in la beddelo. Xigasho: https://arxiv.org/pdf/2210.09276.pdf

Qof kasta oo waligii isku dayay inuu beddelo hal shay oo ku jira dib-u-bixinta Stable Diffusion wuxuu si fiican u ogaan doonaa oo keliya in tafatir kasta oo guuleysta, nidaamku uu beddeli doono shan shay oo aad jeceshahay sida ay ahaayeen. Waa nusqaan oo hadda haysta qaar badan oo ka mid ah xiiseeyaasha SD ugu kartida badan si joogto ah isku shaandheynta u dhexeysa Stable Diffusion iyo Photoshop, si loo hagaajiyo nooca 'dhaawaca dammaanadda'. Marka la eego aragtidan oo keliya, guulaha Imagic waxay u muuqdaan kuwo caan ah.

Waqtiga qorista, Imagic weli ma la'yahay xitaa fiidiyoow xayaysiis ah, iyo, la siiyay Google's dabeecadda ixtiraam si loo sii daayo qalabka isku dhafka sawirka aan la xakameynin, lama hubo ilaa xadka, haddii ay jirto, waxaan heli doonaa fursad aan ku tijaabino nidaamka.

Bixinta labaad waa Runway ML oo aad loo heli karo Tirtir oo Beddel xarun, a muuqaal cusub Qaybta 'AI Magic Tools' ee qaybteeda khadka tooska ah ee qalabka wax-barashada ku salaysan ee isticmaalka muuqaalka.

Runway ML's Tirtir oo Beddel sifada, oo horeba loogu arkay horudhac hab qoraal-u-fidyow ah oo tafatir ah. Xigasho: https://www.youtube.com/watch?v=41Qb58ZPO60

Marka hore aan eegno bannaanka Runway-ga.

Tirtir oo Beddel

Sida Imagic, Tirtir iyo Beddelku waxay si gaar ah ula macaamilaan sawirrada weli, in kasta oo Runway leeyahay horudhac isla shaqeynta ee xalka tafatirka qoraal-ku-fiidyaha ee aan weli la sii deyn:

In kasta oo qof kastaa tijaabin karo tirtirka cusub iyo Bedelka sawirada, nooca fiidyaha wali si guud looma heli karo. Xigasho: https://twitter.com/runwayml/status/1568220303808991232

In kasta oo Runway ML aanu sii dayn faahfaahinta tignoolajiyada ka dambeeya tirtirista iyo beddelka, xawaaraha aad ku beddeli karto warshad guri leh bus macquul ah oo lagu qanci karo Ronald Reagan ayaa soo jeedinaysa in qaabka faafinta sida Stable Diffusion (ama, aad uga yar tahay, a DALL-E 2) waa mishiinka dib u cusboonaysiinaya shayga aad dooratay ee tirtirka iyo Bedelka.

Ku beddelashada geedka guriga ee baska The Gipper maahan sida ugu dhakhsaha badan tan, laakiin aad bay u dhakhso badan tahay. Xigasho: https://app.runwayml.com/

Nidaamku waxa uu leeyahay qaar ka mid ah xayiraadaha nooca DALL-E 2 - sawiro ama qoraal calanka tirtiraya filtarrada Beddelka ayaa kicin doona digniin ku saabsan hakinta akoontiga haddii ay dhacdo xad-gudubyo dheeraad ah - ficil ahaan baraf-kuleyl ah oo socda OpenAI siyaasadaha loogu talagalay DALL-E 2 .

Natiijooyin badan ayaa ka maqan cidhifyada qallafsan ee caadiga ah ee fidsan. Runway ML waa maalgashadayaasha iyo wada-hawlgalayaasha cilmi-baarista ee SD, waxaana suurtagal ah in ay tababareen qaab lahaanshaha oo ka sarreeya isha furan ee 1.4 miisaanka isbaarada ee inta kale ee aan hadda la legdameyno (sida kooxo kale oo badan oo horumarineed, hiwaayad iyo xirfadlayaal, ayaa hadda tababaraya ama si fiican u hagaajinaya. Qaababka fidsan ee deggan).

Ku beddelashada miis gudaha 'miis baraf ka samaysan' ee Runway ML's Tirtiridda iyo Bedelka.

Sida Imagic (hoos eeg), Tirtir iyo Beddelku waa 'shay ku jihaysan', sidii ay ahaan jirtay - ma tirtiri kartid qayb 'madhan' oo sawirka ka mid ah oo ma rinji ku dhejiso natiijada qoraalkaaga degdegga ah; Xaaladdaas, nidaamku wuxuu si fudud u baafin doonaa shayga muuqda ee ugu dhow ee ku teedsan khadka-aragga maaskarada (sida gidaarka, ama telefishanka), oo ku dabaqi doona isbeddelka halkaas.

Sida magacu tilmaamayo, kuma duri kartid walxaha meel banaan oo tirtir oo Beddel. Halkan, dadaalka loogu yeedhayo kuwa ugu caansan ee Sith lords waxay keenaysaa muuqaal yaab leh oo Vader ah oo la xidhiidha TV-ga, qiyaastii meesha 'beddelka' lagu sawiray.

Way adag tahay in la sheego haddii tirtirka iyo beddelka uu yahay mid ka baxsanaya isticmaalka sawirada xuquuqda daabacan (kuwaas oo wali si weyn loo xannibay, in kasta oo ay ku jiraan guulo kala duwan, gudaha DALL-E 2), ama haddii qaabka loo isticmaalo mashiinka samaynta dhabarka waxa kaliya ee aan loo wanaajinin wax noocaas ah.

Waxoogaa NSFW 'Mural of Nicole Kidman' waxay muujineysaa in (malaha) qaabka ku saleysan faafinta gacanta uu ka maqan yahay DALL-E 2 diidmadii hore ee nidaamsan ee soo bandhigida wejiyada dhabta ah ama nuxurka cunsuriga ah, halka natiijooyinka isku dayga lagu caddeeyo shaqooyinka xuquuqda daabacan ay u dhexeeyaan madmadow. ('xenomorph') ilaa wax aan caqli gal ahayn ('carshiga birta'). Gelida midigta hoose, sawirka isha.

Waxay noqon lahayd mid xiiso leh in la ogaado hababka tirtirka iyo Beddelka ay isticmaalayaan si loo go'doomiyo walxaha ay awood u leeyihiin inay bedelaan. Malaha sawirka waxaa lagu maamulayaa qayb ka mid ah Clip, oo leh shayada gaarka ah oo ay u qaybsan yihiin aqoonsiga shayga iyo qaybta semantic ee xigta. Midkoodna hawlgalladan kama shaqeeyaan meel u dhow iyo sidoo kale rakibaadda guud ama beerta ee fidsanaanta deggan.

Laakiin ma jiraan wax kaamil ah - mararka qaarkood nidaamku wuxuu u muuqdaa inuu tirtiro oo aan beddeleynin, xitaa marka (sida aan ku aragnay sawirka kore), habka wax u dhigista ee hoose ayaa hubaal ah inuu garanayo macnaha degdegga qoraalka ah. Xaaladdan oo kale, waxay caddaynaysaa in aan macquul ahayn in miiska qaxwada loo rogo xenomorph - halkii, miiska ayaa baaba'aya.

Soo noqnoqoshada cabsida leh ee 'Aaway Waldo', maadaama tirtirka iyo beddelka ay ku guuldareysteen inay soo saaraan shisheeye.

Masixi oo Beddelku wuxuu u muuqdaa inuu yahay hab wax ku beddelasho shay, oo leh rinji aad u fiican. Si kastaba ha ahaatee, waxba ma beddeli karto shay la dareemo, laakiin kaliya beddel. In dhab ahaantii la beddelo nuxurka sawirka jira iyada oo aan waxyeello loo geysan agabka ambient waxaa la odhan karaa waa hawl aad u adag, oo ku xidhan qaybta cilmi-baadhista aragtida kombiyuutarka kala furfurid meelaha kala duwan ee qarsoon ee qaababka caanka ah.

khayaali

Waa hawl uu Imaamku ka hadlayo. The warqad cusub waxa uu bixiyaa tusaalooyin badan oo wax ka beddel ah kuwaas oo si guul leh u beddelaya wejiyada shakhsi ahaaneed ee sawirka iyada oo sawirka intiisa kale aan la taaban.

Xagga Imagic, sawirada la bedelay kuma dhibtoonayaan sifada iskala bixinta, qallooca iyo 'qiyaasta occlusion' sifada puppet been-abuurka ah, kaas oo adeegsada horudhac xaddidan oo laga soo qaatay hal sawir.

Nidaamku wuxuu shaqeeyaa hannaan saddex-marxalo ah - hagaajinta qoraalka qoraalka; qaab-habayn wanaagsan; iyo, ugu dambeyntii, jiilka sawirka la beddelay.

Imagic waxa ay dejisaa isla markiiba qoraalka bartilmaameedka ah si uu u soo ceshado gundhigga qoraalka hore, ka dibna waxa uu wanaajiyaa natiijada si uu u helo sawirka gelinta. Taas ka dib, qaabka wax-soo-saarka ayaa si fiican loo hagaajiyay sawirka isha, isagoo ku daraya cabbirro kala duwan, ka hor inta aan la marin isdhexgalka la codsaday.

La yaab ma leh, qaab-dhismeedku wuxuu ku salaysan yahay Google's Imagen qaab-dhismeedka qoraalka-to-video, in kasta oo cilmi-baarayaashu ay sheegaan in mabaadi'da nidaamka ay si ballaaran u dabaqi karaan moodooyinka faafinta qarsoon.

Imagen waxay isticmaashaa qaab dhismeed saddex-heer ah, halkii ay ka ahaan lahayd toddobo-tier array loo isticmaalo shirkaddii u dambaysay. ku celcelinta qoraal-to-video ee software-ka. Saddexda qaybood ee kala duwan waxay ka kooban yihiin nooc faafin abuur ah oo ku shaqeeya xallinta 64x64px; qaab-xalin sare ah oo kor u qaadaya wax soo saarkan ilaa 256x256px; iyo nooc dheeraad ah oo qaraarka sare ah si loo soo saaro wax soo saarka ilaa 1024×1024 xallinta.

Imagic waxa uu farageliyaa marxaladda ugu horraysa ee hawshan, isaga oo wanajinaya qoraalka la codsaday ee ku-xidhka heerka 64px ee Adam optimizer-ka oo ah heerka waxbarashada taagan ee 0.0001.

Fasalka-master-ka ee kala fogaanshiyaha: isticmaalayaasha dhamaadka isku dayay inay beddelaan shay fudud sida midabka shay lagu soo bandhigay faafinta, GAN ama nooca NeRF ayaa ogaan doona sida ay muhiimka u tahay in Imagic uu samayn karo isbeddelladan oo kale iyada oo aan 'kala goyn ' joogtaynta sawirka intiisa kale.

Hagaajinta wanagsan ayaa markaa ka dhacaysa qaabka saldhiga ee Imagen, ilaa 1500 tillaabo sawirkii gelintaba, oo shuruud ku xidhidhaynta dib loo eegay. Isla mar ahaantaana, lakabka 64px> 256px sare ayaa la wanaajiyey si la mid ah sawirka shuruudaysan. Cilmi-baadhayaashu waxay xuseen in hagaajinta la midka ah ee lakabka 256px> 1024px ee ugu dambeeya ay 'wax yar oo aan saameyn lahayn' natiijooyinka kama dambaysta ah, oo sidaas darteed ma aysan hirgelin tan.

Wargeysku wuxuu sheegayaa in habka wanaajinta uu qaato ku dhawaad ​​siddeed daqiiqo sawir kasta oo mataano ah TPUV4 chips. Muujinta kama dambaysta ah waxay ka dhacdaa gudaha Imagen ee hoos timaada Nidaamka muunadeynta DDIM.

Waxay ka siman yihiin hababka hagaajinta la midka ah ee Google's dreambooth, gundhigyada ka soo baxay waxa kale oo loo isticmaali karaa in ay awood stylization, iyo sidoo kale tafatir sawireed oo ka kooban macluumaadka laga soo qaatay xogta hoose ee hoose powering Imagen (maadaama, sida tiirka koowaad ee hoose ku tusayo, sawirada isha ma laha mid ka mid ah waxyaabaha lagama maarmaanka ah si ay u saamayn is-beddeladan).

Dhaqdhaqaaqa sawir-qaadaha ee dabacsan iyo wax ka beddelka waxaa lagu soo saari karaa iyadoo la adeegsanayo Imagic, halka koodhadhka la soo saaray iyo kuwa la kala furfuray ee lagu helay geeddi-socodka si fudud loogu isticmaali karo wax-soo-saarka habaysan.

Cilmi-baarayaashu waxay barbar-dhigeen Imagic iyo shaqooyin hore SDEdit, hab ku salaysan GAN laga bilaabo 2021, iskaashiga ka dhexeeya Jaamacadda Stanford iyo Jaamacadda Carnegie Mellon; iyo Text2Live, iskaashi, laga bilaabo Abriil 2022, oo u dhexeeya Machadka Sayniska ee Weizmann iyo NVIDIA.

Isbarbardhigga muuqaal ee u dhexeeya Imagic, SDEdit iyo Text2Live.

Way caddahay in hababkii hore ay halgan ugu jiraan, laakiin safka hoose, kaas oo ku lug leh faragelinta isbeddelka weyn ee mawqifka, mas'uuliyiinta xilalka haya waxay ku guul daraysteen inay si buuxda u habeeyaan agabka isha, marka la barbar dhigo guul la taaban karo oo ka timid Imagic.

Shuruudaha kheyraadka Imagic iyo waqtiga tababarka sawirkiiba, in kasta oo ay gaaban yihiin jaangooyooyinka raadintan oo kale, waxay ka dhigaysaa mid aan macquul ahayn in lagu daro codsiga tafatirka sawirka maxalliga ah ee kombuyuutarrada gaarka ah - mana cadda ilaa xadka habka hagaajintu uu noqon karo hoos loo dhigay ilaa heerarka macaamiisha.

Sida ay u taagan tahay, Imagic waa bixin cajiib ah oo aad ugu habboon API-yada - deegaanka Google Research, chary ee dhaleeceynta ee ku saabsan fududaynta qoto-dheeraanta, kiis kasta ayaa laga yaabaa inuu ku qanacsan yahay.

Markii ugu horreysay ee la daabacay Oktoobar 18, 2022.