Muujinta Neural: Intee in le'eg ayaad ku geli kartaa marka la eego xagga wax-gelinta?

Shalay shaqo cusub oo aan caadi ahayn oo ku saabsan qaabaynta sawirka neerfaha ayaa soo jiidatay dareenka iyo mala-awaalka internetka, sida cilmi-baarayaasha Intel ay shaaca ka qaadeen habka cusub si kor loogu qaado xaqiiqada sawirada synthetic.

Nidaamka, sida lagu muujiyay a video ka Intel, waxay si toos ah u dhexgelisaa dhuumaha sawirka ee ciyaarta fiidiyaha ee Xatooyada Grand Auto V, waxayna si toos ah u wanaajisaa sawirada iyada oo loo marayo habayn sawireed oo lagu tababaray shabakad neural ah (CNN), iyadoo la adeegsanayo sawir-qaadista adduunka dhabta ah Khariidad Dataset, iyo beddelashada iftiinka dhabta ah ee yar iyo qoraalka mashiinka ciyaarta GTA.

Falanqeeyayaasha, falcelino kala duwan oo bulshooyinka sida Reddit iyo Hacker News, waxay soo bandhigayaan kaliya maahan in muujinta neerfaha ee noocan ahi ay si wax ku ool ah u bedeli karto wax-soo-saarka sawir-yar ee matoorada ciyaaraha dhaqameed iyo heerka VFX-CGI, laakiin habkani wuxuu noqon karaa lagu gaadhay tallo aasaasi ah oo aad uga badan intii lagu muujiyay Intel GTA5 demo - si wax ku ool ah u abuuraya 'puppet' proxy inputs oo leh wax soo saar macquul ah oo baaxad leh.

Xogta la isku daray

Mabda'a waxaa tusaale u ah jiil cusub oo GAN ah iyo nidaamyada cod-dejinta/dejiyaha saddexdii sano ee la soo dhaafay, sida NVIDIA's GauGAN, kaas oo soo saara sawir muuqaal muuqaal ah oo muuqaal ah oo laga soo qaaday daubyada cayriin.

Si wax ku ool ah mabda'ani wuxuu u rogayaa isticmaalka caadiga ah ee qaybta semantic aragtida kombiyuutarka laga bilaabo hab dadban oo u oggolaanaya nidaamyada mashiinnada inay aqoonsadaan oo ay ka soocaan walxaha la arkay hal-abuur, halkaas oo isticmaaluhu 'ku rinjiyeeyo' khariidad qaybin semantic faux ah oo nidaamku soo saaro sawiro waafaqsan cilaaqaadka uu ka fahmay in uu hore u kala saaray oo u qaybiyay gaar domain, sida muuqaalka.

Qaab dhismeedka barashada mishiinku waxa uu dabaqaa kala qaybinta semantic muuqaalo kala duwan oo dibadda ah, iyada oo bixisa jaantuska qaab dhismeedka ee ogolaanaya horumarinta hababka is-dhexgalka, halkaas oo isticmaaluhu uu ku rinjiyeeyo qayb-qaybinta semantic iyo nidaamku ka buuxiyo baloogga sawir muuqaal ah oo ka yimid xog-ururin gaar ah, sida Qaabka muuqaalka Jidka Mapillary ee Jarmalka, oo loo adeegsaday Intel's GTA5 demo muujinta neural. Xigasho: http://ais.informatik.uni-freiburg.de/publications/papers/valada17icra.pdf

Nidaamyada isku-dhafka sawirka ee lammaane waxay ku shaqeeyaan isku-xidhka calaamadaha semantic ee laba xog-ururin: muuqaal qani ah oo dhammaystiran, ama laga soo saaray sawir-qaadista adduunka-dhabta ah (sida Mapillary-ka loo isticmaalo in lagu wanaajiyo GTA5 gudaha Intel demo shalay) ama laga soo qaaday sawirrada synthetic, sida sawirada CGI.

Tusaalooyinka kaydinta xogta ee lammaane ee nidaamka isku-darka sawirka ee loogu talagalay in lagu abuuro jilayaal-neural-ka sameeyay sawir-gacmeedyo qallafsan. Dhanka bidix, muunado laga soo qaaday xogta CGI. Dhexdhexaad, muunado u dhigma oo laga soo qaatay xogta 'sketch'. Sax, wax-soo-saarka neural-ka ee sawir-gacmeedyada u turjumay sawirro tayo sare leh. Xigasho: https://www.youtube.com/watch?v=miLIwQ7yPkA

Deegaannada dibeddu waa kuwo aan dhib lahayn marka la abuurayo isbeddellada xogta ee lammaanaha ah ee noocaan ah, sababtoo ah soo-bandhigidda badanaa waa xaddidan yihiin, muuqaal-qurxinta ayaa leh kala duwanaansho xaddidan oo si dhammaystiran loogu qaadi karo xog-ururin, mana aha inaan la macaamilno abuurista dad macmal ah. , ama gorgortanka Dooxada Uncanny (wali).

Rogaynta Khariidadaha Qaybta

Google waxa ay soo saartay nooc firfircoon oo ah qorshaha GauGAN, oo loo yaqaan Dabeecada aan dhamaadka lahayn, awood u leh in uu si ula kac ah u 'dhalaaciyo' muuqaallo khiyaali ah oo joogto ah oo aan weligeed dhammaanayn iyada oo u turjumaysa khariidado semantic been abuur ah sawir sawir leh oo loo maro NVIDIA's DHAMMAAN nidaamka buuxinta:

Xigasho: https://www.youtube.com/watch?v=oXUf6anNAtc

Si kastaba ha ahaatee, Dabeecadda Infinite waxay isticmaashaa hal sawir oo bilaw ah waxayna isticmaashaa SPADE kaliya inay ku rinjiyayso qaybaha maqan ee xidhmooyin isdabajoog ah, halka SPADE lafteedu ay abuurto muuqaal si toos ah uga soo baxa khariidadaha qaybinta.

Xigasho: https://nvlabs.github.io/SPADE/

Awoodan waa tan u muuqata inay kicisay dadka jecel nidaamka Kobcinta Sawirka Intel - suurtagalnimada in laga soo saaro sawir muuqaal ah oo tayo sare leh, xitaa waqtiga dhabta ah (ugu dambeyntii), ka soo gelida aadka u qallafsan.

Ku Beddelka Qoraallada iyo Iftiinka iyadoo la adeegsanayo muujinta Neural

Marka laga hadlayo gelinta GTA5, qaar ayaa la yaabay haddii mid ka mid ah nidaamka qaaliga ah ee xisaabinta iyo qoraalka qariirada iyo iftiinka ka soo baxa mashiinka ciyaarta ay runtii lagama maarmaan u tahay nidaamyada soo saarista neerfaha mustaqbalka, ama haddii ay suurtagal noqon karto in la beddelo hoose- xallinta, gelinta heerka fiilo-frame-gelinta muuqaal sawir-qaade ah oo ka sarreeya awoodda hadh, qoraalka iyo iftiiminta matoorada ciyaarta, abuurista muuqaallo-waaqici ah oo ka imanaya gelinta wakiillada 'meel-hayaha'.

Waxay u ekaan kartaa wax iska cad in wejiyada ciyaarta laga soo saaray sida milicsiga, textures, iyo noocyada kale ee faahfaahinta deegaanka ay yihiin ilaha macluumaadka lagama maarmaanka u ah nidaamka gudbinta neerfaha ee nooca ay muujisay Intel. Haddana waxaa laga joogaa dhowr sano tan iyo NVIDIA's UNIT (Shabakadaha Turjumaada Sawir-To-Sawir ee Aan La Ilaalin) waxay muujiyeen in goobta kaliya ay muhiim tahay, iyo in xitaa dhinacyada xaaqidda sida 'habeenka ama maalinta' ay yihiin arrimo dhab ah oo lagu xallinayo qaabka wareejinta:

Marka la eego gelinta loo baahan yahay, tani waxay suurtogal ka dhigeysaa in mashiinka ciyaarta uu u baahan yahay oo kaliya inuu abuuro joomatari saldhigga ah iyo jilitaanka fiisigiska, maadaama matoorka qaabeynta neural uu rinji ka dhaafi karo dhammaan dhinacyada kale isagoo isku dubaridinaya sawirka la rabo ee xogta la qabtay, iyadoo la adeegsanayo khariidado semantic ahaan fasiraad ahaan. lakabka.

Nidaamka Intel wuxuu wanaajiyaa qaab gebi ahaanba la dhammeeyey oo laga sameeyay GTA5, isagoo ku daraya kala qaybin iyo khariidado qoto dheer oo la qiimeeyay - laba weji oo suurtagal ah in si toos ah loo bixiyo matoorka ciyaarta hoos loo dhigay. Xigasho: https://www.youtube.com/watch?v=P1IcaBn3ej0

Habka gudbinta neerfaha ee Intel waxay ku lug leedahay falanqaynta qaab-dhismeedyo si dhammaystiran loo sameeyay oo ka yimid kaydiyeyaasha GTA5, iyo nidaamka neerfayaasha ayaa leh culays dheeraad ah oo abuuraya labadaba khariidadaha qoto dheer iyo khariidadaha qaybinta. Maaddaama khariidadaha qoto dheer ay si toos ah ugu jiraan dhuumaha 3D ee dhaqanka ah (oo ay ka yar yihiin baahida loo qabo in la dhaliyo marka loo eego qoraalka, ray-raadinta ama iftiiminta caalamiga ah), waxaa laga yaabaa inay si fiican u isticmaasho kheyraadka si loogu oggolaado mashiinka ciyaarta inuu qabsado iyaga.

Soo-gelinta Hoos-u-dhac ee Matoorka Bandhigga Neural

Hirgelinta hadda ee shabakadda kobcinta sawirka Intel, sidaas darteed, waxaa laga yaabaa inay ku lug yeelato wareegyo badan oo xisaabeed oo aan caadi ahayn, maaddaama mashiinka ciyaarta uu soo saaro qoraallo qaali ah oo xisaabeed iyo iftiin kaas oo matoorka gudbinta neural uusan runtii u baahnayn. Nidaamku wuxuu u muuqdaa in habkan loo qaabeeyey ma aha sababtoo ah tani maahan habka ugu wanaagsan, laakiin sababtoo ah way fududahay in la waafajiyo matoorka gudbinta neerfaha ee dhuumaha jira halkii laga abuuri lahaa matoor cusub oo ciyaarta kaas oo lagu wanaajinayo habka gudbinta neerfaha.

Isticmaalka ugu dhaqaale badan ee ilaha nidaamka ciyaaraha ee dabeecaddan waxay noqon kartaa wada shaqayn buuxda oo GPU-da habka qaabaynta neerfaha, oo leh soo-gelinta wakiil-hoosaadka ah ee ay maamusho CPU.

Intaa waxaa dheer, mashiinka ciyaarta wuxuu si fudud u soo saari karaa khariidado kala qaybsanaaneed laftiisa, isaga oo daminaya dhammaan hadh iyo iftiiminta wax soo saarkiisa. Intaa waxaa dheer, waxay ku siin kartaa fiidiyaha xal aad uga hooseeya sidii caadiga ahayd, maadaama fiidiyowgu u baahan yahay oo kaliya inuu noqdo mid si ballaaran u metelaya waxa ku jira, iyadoo tafatirka xallinta sare uu gacanta ku hayo matoorka neerfaha, taasoo sii deyneysa ilaha xisaabinta maxalliga ah.

Shaqadii hore ee Intel ISL ee Qaybta> Sawirka

Turjumaada tooska ah ee qaybinta ee fiidyaha sawir-qaadista ayaa ka fog mala-awaal. 2017 Intel ISL, hal-abuurayaashii cadhada shalay, ayaa la sii daayay bilowgii cilmi awood u leh in uu si toos ah u fuliyo fiidiyoowga magaalada ee qaybta semantic.

Qaybta Intel ISL ee shaqada sawirka laga bilaabo 2017. Isha: https://awesomeopensource.com/project/CQFIO/PhotographicImageSynthesis

Dhaqan ahaan, dhuumahaas asalka ah ee 2017 ayaa kaliya la kordhiyay si ay ugu haboonaato wax soo saarka GTA5 ee si buuxda loo soo saaray.

Muujinta neerfaha ee VFX

Soo bandhigida neerfaha ee khariidadaha kala qaybinta macmalka ah waxay sidoo kale u muuqataa inay tahay tignoolajiyada rajo-gelinta leh ee VFX, iyadoo suurtagal ah in si toos ah loogu turjumo muuqaallada aasaasiga ah ee muuqaallada muuqaallada la dhammeeyey, iyadoo la soo saarayo xog-ururin gaar ah oo laga soo qaatay moodallo ama sawir-sameeye (CGI).

Nidaamka wax-soo-saarka neerfaha ee mala-awaalka ah, halkaasoo daboolka ballaaran ee shay kasta oo la beegsanayo lagu soo koobay xog-ururin wax ku biirinaysa, iyo halka khariidadaha kala qaybinta si macmal ah loo adeegsaday aasaaska wax-soo-saarka sawir-qaadista ee xallinta buuxda. Xigasho: https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Horumarinta iyo qaadashada nidaamyadan oo kale waxay ka beddeli doontaa goobta dadaalka farshaxanimada laga bilaabo tarjumaan una beddelo qulqulka shaqada wakiil, iyo kor u qaadida xog ururinta domain-ku-hawlgalayaasha taageerada iyo doorka dhexe ee farshaxanka muuqaalka.

Maqaalka la cusboonaysiiyay 4:55pm si loogu daro wax ku saabsan cilmi baarista Intel ISL 2017.