Waa maxay sababta Deepfakes aysan hadda u gudbin karin dareenka hoose ee dareenka

Qeybtii 6aad ee shalay ee ugu horeysay Star Wars Lataliyihii-off Buuga Boba Fett waxaad mooddaa inay kala qaybsantay ra'yiga taageerayaasha. La helay oggolaanshaha guud, waxaa jira malo aad u ballaaran oo shabakadaha bulshada oo dhan ah in madadaalada aad loo hagaajiyay ee Mark Hamill oo gaboobay (marka la barbar dhigo jilaha muuqaalka hore xilli ciyaareedkii 2-aad ee finalka Mandheera sanadka 2020) waa natiijo toos ah oo ah iftiinka warshadaha iyo sixirka shaqaalaysiinta hiwaayadda qoto dheer ee ku takhasusay Shamook (kaaso si qoto dheer ayey shaqadooda u wanaajiyeen oo leh software il furan); iyo in soo bandhigida jilaayadu ay tahay inay ahaadaan isku darka tignoolajiyada qoto dheer, laga yaabee in lagu hagaajiyay CGI.

Hadda waxaa jirta xaqiijin kooban oo tan ah, in kasta oo Shamook uu wax yar u sheegay adduunka tan iyo markii ay ILM qandaraaska NDA soo degtay. Si kastaba ha ahaatee, shaqadu waa horumar aan caadi ahayn oo ku saabsan 2020 CGI; muujiyaa qaar ka mid ah 'dhalaalka' ee la xidhiidha moodooyinka qoto dheer ee laga soo qaatay shaqooyinka kaydka; iyo guud ahaan waafaqsan heerka ugu wanaagsan ee muuqaalka hadda jira ee qoto dheer.

Qaybta kale ee ra'yiga taageerayaashu waa in isku dayga cusub ee 'Young Luke' uu leeyahay a cilladaha kala duwan marka loo eego kii hore. Waxaa laga yaabaa in inta badan si dhab ah loo sheego, la'aanta muujinta iyo khiyaanada, shucuurta ku habboon ee taxanaha aadka u dheer ee muujinaya madadaalada cusub ee Skywalker ayaa ka badan kuwa caadiga ah ee qoto dheer marka loo eego CGI; Verge ayaa leh sharaxay ka Boba Fett jilitaanka marka la eego 'wax aan yaab lahayn, fiisaha maran ee wejigii la qaboojiyey ee Mark Hamill 1983'.

Iyadoo aan loo eegin tignoolajiyada ka dambeeya madadaalada cusub ee ILM, isbeddellada qoto-dheer waxay leeyihiin mushkilad aasaasi ah oo leh shucuur khafiif ah oo ay adag tahay in wax laga qabto isbeddellada qaab dhismeedka ama hagaajinta agabka tababarka, oo sida caadiga ah looga baxsado doorashooyin taxaddar leh oo fayras ah. deepfakers waxay sameeyaan marka ay dooranayaan muqaal bartilmaameed.

Xaddidaadda Isku-habaynta Wajiga

Labada kayd ee FOSS ee been-abuurka ah ee inta badan la isticmaalo waa DeepFaceLab (DFL) iyo wejiga isdhaafsiga, labaduba waxay ka soo jeedaan kuwa qarsoon iyo muranka Koodhka isha ee 2017, oo leh DFL rasaas aad u weyn ee warshadaha VFX, inkastoo ay qalab xaddidan.

Mid kasta oo ka mid ah xirmooyinkan ayaa loo xilsaaray, marka hore, ka soo saarista calaamadaha wejiyada ee wejiyada ay awooday inay ka aqoonsato ilaha isha (tusaale, fiidyowyada iyo/ama sawirada weli).

Shabakadda Toosinta Wajiga (FAN) oo ku jirta, laga bilaabo kaydka rasmiga ah. Xigasho: https://github.com/1adrianb/face-alignment

DFL iyo FaceSwap labaduba waxay isticmaalaan Shabakadda Toosinta Wajiga (FAN) maktabadda. FAN waxay samayn kartaa 2D iyo 3D (fiiri sawirka kore) calaamado muuqaal ah oo loogu talagalay wejiyada la soo saaray. Astaamaha 3D waxay si weyn u xisaabin karaan jihaynta la dareemayo ee wejiga, ilaa muuqaalada xad dhaafka ah iyo xaglaha daran.

Si kastaba ha ahaatee, waxaa cad in kuwani ay yihiin tilmaamo aasaasi ah oo loogu talagalay dhaqashada iyo qiimeynta pixels:

Laga soo bilaabo golaha FaceSwap, tilmaame qallafsan oo tilmaamaya calaamadaha la heli karo ee safafka wejiga. Xigasho: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Xariiqyada aasaasiga ah ee wejiga ayaa loo oggol yahay: indhuhu way balaadhin karaan oo xidhi karaan, sida daanka, halka qaabaynta aasaasiga ah ee afka (sida dhoola-cadaynta, xoqidda, iwm) la raadin karo lana waafajin karo. Wajigu wuxuu u rogi karaa jiho kasta ilaa 200 darajo marka loo eego aragtida kamaradda.

Taas waxa ka baxsan, kuwani waa xayndaab qurux badan oo loogu talagalay siyaabaha ay pixels u dhaqmi doonaan gudaha xuduudahan, waxayna matalaan kaliya xisaabinta dhabta ah iyo tilmaamaha wajiga saxda ah ee dhammaan habka qotodheerta. Habka tababarka laftiisa ayaa si fudud u barbar dhigaya habka pixels loo tuuray gudaha ama u dhow xuduudahan.

Tababarka DeepFaceLab. Xigasho: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Maaddaama aysan jirin wax ku saabsan topology-ga qaybo-hoosaadyada wejiga (la-wareejin iyo qallafsanaanta dhabannada, faahfaahinta gabowga, dimples, iwm.), xitaa suurtagal ma aha in la sameeyo isku day si loo waafajiyo sifooyinka hoose ee 'dabcan' ee u dhexeeya isha ('wajiga waxaad rabtaa inaad wax ku qorto') iyo bartilmaameed ('wajiga aad rabto inaad ku dhejiso') aqoonsiga.

Ku Samaynta Xog Xaddidan

Helitaanka xog isku mid ah oo udhaxeysa labada aqoonsi ee ujeedooyinka tababarka been-abuurka qotodheer waa ma fududaan. Xagalka aan caadiga ahayn ee aad u baahan tahay inaad iswaafaqdo, waxa laga yaabaa inaad u baahato inaad ka heshid in xagasha ( naadir) ah ee u dhiganta aqoonsiga A iyo B ay dhab ahaantii leedahay. odhaah isku mid ah.

Xir, laakiin si sax ah uma dhigna.

Tusaalaha kore, labada aqoonsi si cadaalad ah ayay iskaga mid yihiin qaab ahaan, laakiin tani way dhowdahay inta xogtan la heli karo si sax ah.

Kala duwanaansho cad ayaa hadhsan: xagasha iyo muraayada si sax ah uma dhigmaan, sidoo kale iftiinkuna ma aha; Mawduuca A si buuxda uma xidhna indhahoodu, si ka duwan mawduuca B; tayada sawirka iyo cadaadiska ayaa ka sii daran mawduuca A; oo si uun mawduuca B aad buu u muuqdaa farxad marka loo eego maadada A.

Laakiin, waad ogtahay, waa waxa aan haysano oo dhan, markaa waa inaan ku tababarnaa si kastaba.

Sababtoo ah tan A> hooseeyo ama xad dhaaf waxaa.

Aan ku habboonayn: Haddii kulankani uu yahay tiro yar oo run ah (tusaale, xog-ururinta waalidku aad buu u weyn yahay, oo aan inta badan ku jirin sifooyinka labadan sawir), ma heli doonto waqti badan oo tababar ah marka loo eego 'caanka' badan (ie fudud/ dhexdhexaad) lammaane. Sidaa awgeed xagasha/muujintu si fiican uguma matali doono been abuur lagu sameeyay qaabka la tababaray.

Qalab xad dhaaf ah: Iyagoo quus ka taagan xogta-yar ee u dhiganta A> naadir ah nuqul ka samee lamaanayaasha marar badan in Dataset-ka, si ay u hesho tallaal ka wanaagsan si ay u noqoto sifo ka mid ah qaabka ugu dambeeya. Tani waxay u horseedi doontaa si xad dhaaf ah, halkaasoo fiidiyowyada qoto dheer ee lagu sameeyay moodeel ay u badan tahay inay ku habboon yihiin si tartiib tartiib ah ugu celi isbarbardhigga kuwaas oo ka muuqda labada sawir dhexdooda, sida kala duwanaanshaha indhuhu isku xidhan yihiin.

Sawirka hoose, waxaan ku aragnaa Vladimir Putin oo lagu tababaray DeepFaceLab si uu u sameeyo beddelka Kevin Spacey. Halkan, tababarku waa mid horumarsan 160,000 ku celcelin.

Xigasho: https://i.imgur.com/OdXHLhU.jpg

Kormeeraha caadiga ah ayaa laga yaabaa inuu ku doodo in Putin uu u eg yahay wax yar, si fiican, ka ballaran marka loo eego Spacey ee imtixaan-iswaydaarsigan. Aynu aragno waxa barnaamijka ictiraafka online ka ka dhigayo is-waafajinta tibaaxaha:

Xigasho: https://www.noldus.com/facereader/measure-your-emotions

Marka loo eego odhaahkan gaarka ah, kaas oo falanqaynaya muuqaal muuqaal ah oo aad u faahfaahsan oo ka badan DFL iyo Faceswap, Spacey wuu ka yar yahay. cadhoodaa, karaahiyo, Iyo quudhsan Marka loo eego natiijada ka soo baxday Putin ee qoto dheer ee lammaanahan.

Tibaaxaha aan sinnayn waxay ku yimaadaan qayb ka mid ah xirmo isku xidhan, maadaama codsiyada qoto dheer ee caanka ah aysan lahayn awood ay ku diiwaan galiyaan ama ku daraan tibaaxaha ama shucuurta, marka laga reebo si tartiib ah, sida pixel ceeriin> khariidad pixel.

Annaga, kala duwanaanshuhu aad buu noogu badan yahay. Waxaan baranaa inaan akhri tibaaxaha wejiga Sida farsamada badbaadada aasaasiga ah laga soo bilaabo sannadaheennii ugu horreeyay, oo aan sii wadno ku tiirsanaanta xirfaddan qaan-gaarnimada ujeedooyinka isdhexgalka bulshada iyo horumarka, lammaane, iyo qaab dhismeedka qiimeynta khatarta socda. Maadaama aan aad ugu baraarugsannahay muujinta-yar-yar, tignoolajiyada qoto-dheer ayaa ugu dambeyntii u baahan doona inay ku xisaabtamaan tan.

Against Hadhuudhka

In kasta oo kacaankii qotodheer uu keenay ballan qaadka ah in la geliyo xiddigaha filimka 'classic' filimada casriga ah iyo TV-ga, AI dib uma laaban karto waqtigeeda oo ma toogan karaan shaqadooda caadiga ah qeexitaan iyo tayo dheeraad ah, taas oo udub dhexaad u ah kiiskan isticmaalka.

Male ahaan (iyo ujeeddooyinkeenna, dhib ma laha haddii ay khalad tahay) in Boba Fett Dib-u-dhiska Hamill waxa uu ahaa shaqada qaab-qoto-dheer oo tababbaran, xog-ururinta moodeelku waxa ay u baahnaan lahayd in laga faa'iidaysto muuqaallada laga soo bilaabo xilliga ku dhow wakhtiga bandhigga Return of Jedi ah, 1981-83).

Filimku wuxuu ahaa shot on Eastman Color Negative 250T 5293/7293 stock, 250ASA emulsion ah oo loo tixgeliyey dhexdhexaad ilaa heer sare ah wakhtigaas, laakiin waxaa ka sarreeyay caddayn, kala duwanaansho midab iyo daacadnimo xitaa dhammaadkii 1980-yadii. Waa kaydka waqtigeeda, iyo baaxadda hawlgalka Jedi waxay siisay dhawr qof oo u dhow xitaa jilayaasha hogaaminaya, taas oo ka dhigaysa arrimaha badarka xitaa kuwa aad u daran, maadaama wejiyada isha ay ku jiraan kaliya qayb ka mid ah qaabka.

Muuqaallo kala duwan oo Hamill ku yaal Return of Jedi ah (1983).

Intaa waxaa dheer, in badan oo ka mid ah sawirada VFX-ku raran ee muujinaya Hamill ayaa lagu dhex mari lahaa daabacaha indhaha, kordhinta hadhuudhka filimka. Si kastaba ha noqotee, helitaanka kaydka Lucasfilm - kuwaas oo loo maleynayo inay si fiican u daryeeleen tabashooyinka sayidkooda waxayna bixin karaan saacado dheeraad ah muuqaal cayriin ah oo aan la isticmaalin - ayaa ka gudbi kara arrintan.

Mararka qaarkood waxaa suurtogal ah in la daboolo sanado badan oo soo saarista jilaa ah si loo kordhiyo loona kala saaro xogta qotodheerta. Arrinka Hamill, kuwa qoto-dheer ayaa isaga laftiisa dhaawac u geystay isbeddelka muuqaalka ka dib shil baabuur ee 1977, iyo xaqiiqda ah in uu ku dhowaad isla markiiba bilaabay xirfadiisa labaad sida jilaa codka ah ka dib. Jedi, taasoo ka dhigaysa agabka laga helo mid aad u yar.

Xaddiga Dareenka Xadidan?

Haddii aad u baahan tahay jilaagaaga qotodheer si uu u calaliyo muuqaalka, waxaad u baahan doontaa muuqaal muuqaal ah oo ka kooban muuqaallo weji oo kala duwan oo aan caadi ahayn. Waxa laga yaabaa in muuqaalka kaliya ee da'da ku dhow ee la hayo aanu muujinin qaar badan oo ka mid ah tibaaxahaas.

Tusaale ahaan, ilaa wakhtiga sheekada arc ee Return of Jedi ah yimid, Hamill dabeecadiisa ayaa si weyn u qabsaday shucuurtiisa, horumarkaas oo ah mid udub dhexaad u ah khuraafaadka asalka ah ee franchise. Sidaa darteed haddii aad ka sameysid model qoto dheer Hamill Jedi Xogta, waxaad u baahan doontaa inaad la shaqeyso dareenka xaddidan ee xaddidan iyo degenaanshaha wejiga ee aan caadiga ahayn ee doorka Hamill uu dalbaday isaga wakhtigaas, marka la barbar dhigo gelitaankiisii ​​​​hore ee ganacsiga.

Xitaa haddii aad tixgeliso inay jiraan daqiiqado Return of Jedi ah halka dabeecada Skywalker ay ku jirto diiqad, oo ay ku siin karto qalab loogu talagalay tibaaxo kala duwan, walxaha wejiga ee muuqaaladan ayaa si kastaba ha ahaatee waa kuwo dagdag ah oo ku xiran dhaqdhaqaaqa dhaqdhaqaaqa iyo tafatirka degdega ah ee caadiga ah ee muuqaallada; markaa xogtu waa mid aan dheeli tirnayn.

Guud ahaan: Isku-dhafka Dareenka

Haddii Boba Fett Madadaalada Skywalker runtii waa been abuur qoto dheer, la'aanta baaxadda muujinta ee laga soo horjeeday dhinacyada qaarkood ma noqon doonto gebi ahaanba sababtu tahay agab xaddidan. Habka tababbarka cod-dejiyaha ee qoto-dheeraanta ayaa raadinaysa a guud ahaan moodel si guul leh u kala saara sifooyinka dhexe ee kumanaan sawir, oo kara ugu yaraan isku day in la qoto dheereeyo xagal maqan ama naadir ku ah xogta.

Haddii aanay ahayn dabacsanaantan, qaab dhismeedka qoto dheer wuxuu si fudud u koobi lahaa oo ku dhejin lahaa qaab-dhismeedka qaab-dhismeedka qaab kasta, iyada oo aan la tixgelinayn la-qabsiga ku-meel-gaadhka ah ama macnaha guud.

Si kastaba ha ahaatee, ka ganacsiga xanuunka badan ee kala duwanaanshiyahan ayaa ah in muujinta daacadnimada ay u badan tahay inay noqoto dhaawac habka loo socdo, iyo tibaax kasta waa 'daahsoon' waxaa laga yaabaa inaysan ahayn kuwa saxda ah. Dhammaanteen waxaan u ciyaarnaa wejiyada sida 100-xabbo oo orkestras ah, si fiican ayaanu ugu qalabaysan nahay inaan sidaas samayno, halka software-ka qotodheer uu si muran leh uga maqan yahay ugu yaraan qaybta xadhigga.

Kala duwanaanshaha Saamaynta ee Odhaahyada

Dhaqdhaqaaqa wejiga iyo saamaynta ay nagu leeyihiin maaha luqad isku mid ah oo wejiyada oo dhan ah; Sunniyaha kor u kacay ee u muuqda mid aan caqli-gal ahayn Roger Moore ayaa laga yaabaa inuu u ekaado mid ka sii casrisan Seth Rogan, halka soo jiidashada Marilyn Monroe laga yaabo inay u tarjumto dareen taban oo dheeraad ah haddii la sii daayo qofka doorka ugu badan ee xogta la heli karo uu yahay 'xanaaq' ama 'naafo' (sida Aubrey Plaza dabeecadiisa todobada xilli ee Jardiinooyinka iyo Madadaalada).

Sidaa darteed pixel>

Waxa lagu doodi karo in loo baahan yahay qaab-dhismeed qotodheer oo aan kaliya aqoonsan karin tibaaxaha iyo in la qiyaaso shucuurta, laakiin awood u leh inuu muujiyo fikrado heer sare ah sida cadhoodaa, murugo, caajisay, daaliwm, iyo in la kala saaro shucuurtaas iyo tibaaxahooda la xidhiidha mid kasta oo ka mid ah labada hayb ee weji-gacan, halkii ay ahayd in la baadho oo la soo celceliyo hab-dhaqanka afka ama daboolka.

Markii ugu horreysay waxaa la daabacay 3-dii Febraayo 2022. La cusboonaysiiyay 7:47pm EET, sifaynta magac khaldan.