Waa maxay Autoencoder?

Haddii aad hore wax uga akhriday farsamooyinka waxbarasho ee aan la kormeerin, waxaa laga yaabaa inaad la kulantay ereyga "autoencode”. Autoencoders waa mid ka mid ah siyaabaha aasaasiga ah ee lagu horumariyo moodooyinka waxbarashada aan la ilaalin. Hadana waa maxay autoencoder sax ah?

Si kooban, autoencoders waxay ku shaqeeyaan qaadashada xogta, isku-buufinta iyo codaynta xogta, ka dibna dib-u-dhisidda xogta matalaadda codaynta. Qaabka waa la tababaray ilaa khasaaraha la yareeyo oo xogta loo soo saaro sida ugu dhow ee suurtogalka ah. Habkan, autoencoder-ku wuxuu baran karaa sifooyinka muhiimka ah ee xogta. In kasta oo taasi tahay qeexitaan degdeg ah oo autoencoder ah, waxay faa'iido u yeelan lahayd in si dhow loo eego autoencoders oo aad faham fiican ka hesho sida ay u shaqeeyaan. Maqaalkani waxa uu ku dadaali doonaa in uu kala saaro autoencoders, isaga oo sharaxaya qaab dhismeedka autoencoders iyo codsiyadooda.

Waa maxay Autoencoder?

Autoencoders waa shabakadaha neerfaha. Shabakadaha neerfayaasha waxay ka kooban yihiin lakabyo badan, iyo dhinaca qeexida autoencoder waa in lakabyada wax gelinta ay ka kooban yihiin sida saxda ah ee lakabka wax soo saarka. Sababta lakabka wax-gelinta iyo lakabka wax-soo-saarka ay leeyihiin tiro isku mid ah oo isku mid ah ayaa ah in autoencoder-ku uu doonayo inuu ku celceliyo xogta gelinta. Waxay soo saartaa koobiga xogta ka dib marka ay lafa gurto oo ay dib u dhis ku sameyso qaab aan la ilaalin.

Xogta ku dhex wareegaysa autoencoder kaliya maaha mid toos ah laga soo bilaabo gelinta ilaa wax soo saarka, taasoo la macno ah in shabakadu aanay koobiyayn oo kaliya xogta galinta. Waxaa jira saddex qaybood oo ka mid ah autoencoder: qayb cod-bixineed (input) oo cadaadisa xogta, qayb gacanta ku haysa xogta la cufan (ama dhalo), iyo qayb-decoder (output) qayb. Marka xogta la geliyo autoencoder-ka, waa la codeeyaa ka dibna la cadaadiyaa ilaa cabbir ka yar. Shabakadda ayaa markaa lagu tababaraa xogta la isku dhejiyay/kooban waxayna soo saartaa madadaalo xogtaas ah.

Haddaba maxaad u doonaysaa inaad u tababarto shabakad si aad dib ugu dhisto xogta la siiyay? Sababta ayaa ah in shabakadu ay barato "Nuxurka", ama sifooyinka ugu muhiimsan ee xogta wax gelinta. Kadib markaad tababarto shabakada, qaab ayaa la samayn karaa kaas oo soo saari kara xog isku mid ah, iyada oo lagu daro ama laga jarayo sifooyinka bartilmaameedka ah. Tusaale ahaan, waxaad ku tababari kartaa autoencoder sawirada hadhuudhka ah ka dibna waxaad isticmaali kartaa qaabka la tababaray si aad uga saarto hadhuudhka/ sawaxanka sawirka.

Autoencoder Architecture

Aynu eegno dhismaha autoencoder. Waxaan halkan kaga wada hadli doonaa qaab dhismeedka ugu muhiimsan ee autoencoder. Waxaa jira kala duwanaansho ku saabsan dhismahan guud oo aan kaga hadli doono qaybta hoose.

Sawirka: Michela Massi iyadoo la sii marinayo Wikimedia Commons,(https://commons.wikimedia.org/wiki/File:Autoencoder_schema.png)

Sidii hore loo sheegay autoencoder asal ahaan waxaa loo qaybin karaa saddex qaybood oo kala duwan: encoder-ka, dhalo, iyo furaha.

Qaybta encoder-ka ee autoencoder-ku waa caadi ahaan mid dhiibis ah, shabakad cufan oo isku xidhan. Ujeedada lakabyada codaynta ayaa ah in la qaato xogta gelinta oo lagu cadaadiyo meel matalaysa oo daahsoon, taasoo dhalinaysa matalid cusub oo xogta hoos u dhigtay cabbirkeeda.

Lakabyada koodka, ama dhalooyinka, ayaa wax ka qabta matalaadda xogta ee la cufan. Koodhka cirridka waxaa si taxadar leh loogu talagalay in lagu go'aamiyo qaybaha ugu habboon ee xogta la arkay, ama in si kale loo dhigo sifooyinka xogta ee ugu muhiimsan dib u dhiska xogta. Hadafka halkan waa in la go'aamiyo dhinacyada xogta loo baahan yahay in la ilaaliyo iyo kuwa la tuuri karo. Koodhka qoob-ka-cayaarka wuxuu u baahan yahay inuu dheelli-tiro laba arrimood oo kala duwan: cabbirka matalaadda (sida ay u kooban tahay matalaadda) iyo doorsoomayaasha/muhiimada astaanta. Qoorta dhaladu waxay qabataa firfircooni-xikmad leh oo ku saabsan miisaanka iyo eexda shabakadda. Lakabka qoor-gooyaha waxaa sidoo kale mararka qaarkood loogu yeeraa matalaad qarsoon ama doorsoomayaal qarsoon.

Lakabka decoder-ku waa waxa ka mas'uul ah qaadashada xogta la cufan oo dib loogu beddelo matalaad leh cabbir la mid ah tan asalka ah, xogta aan la beddelin. Beddelka waxa lagu sameeyaa metelaad meel dahsoon oo uu abuuray cod-bixiyaha.

Nashqada aasaasiga ah ee autoencoder-ku waa qaab-dhismeed quudin-horumarineed, oo leh qaab-dhismeed u eg hal lakab oo perceptron ah oo loo isticmaalo garaafyada multilayer. Si la mid ah shabakadaha neerfayaasha ee soo gudbiya quudinta joogtada ah, auto-encoder-ka waxaa lagu tababaraa isticmaalka dib-u-faafinta.

Sifooyinka Autoencoder

Waxaa jira noocyo kala duwan oo autoencoders ah, laakiin dhamaantood waxay leeyihiin sifooyin gaar ah oo mideeya.

Autoencoders si toos ah ayey wax u bartaan. Uma baahna calaamado, iyo haddii la siiyo xog ku filan waa ay fududahay in la helo autoencoder si loo gaaro waxqabadka sare ee nooc gaar ah oo xogta gelinta ah.

Autoencoders waa xog gaar ah. Tani waxay ka dhigan tahay inay kaliya ku cadaadin karaan xogta si aad ah ula mid ah xogta uu autoencoder-ku horayba loogu tababaray. Autoencoders sidoo kale waa khasaare, taasoo la macno ah in wax soo saarka moodeelku hoos u dhici doono marka la barbardhigo xogta gelinta.

Marka la naqshadeynayo autoencoder, injineerada barashada mashiinka waxay u baahan yihiin inay fiiro gaar ah u yeeshaan afar nooc oo hyperparameters oo kala duwan: cabbirka koodhka, lambarka lakabka, noodhka lakabka, iyo shaqada luminta.

Cabbirka koodka ayaa go'aamiya inta nood ee bilaabaya qaybta dhexe ee shabakada, iyo noodh yar ayaa si aad ah u cadaadiya xogta. In codeeyaha qoto dheer, halka tirada lakabyadu ay noqon karaan lambar kasta oo injineerku u arko inay ku habboon tahay, tirada noodhka lakabka waa inay hoos u dhigtaa marka cod-bixiyaha uu socdo. Dhanka kale, ka soo horjeeda ayaa run ku jira furaha, taasoo la micno ah in tirada qanjidhada lakabkiiba ay kordhiso marka lakabyada decoder-ku soo dhawaadaan lakabka ugu dambeeya. Ugu dambeyntii, shaqada luminta autoencoder-ku caadi ahaan waa laba-intropy-entropy ama khalad afar geesle ah. Binary cross-entropy waxay ku habboon tahay tusaale ahaan halka qiimaha wax gelinta ee xogta ay ku jiraan 0 - 1 kala duwan.

Noocyada Iskoodhka

Sida kor ku xusan, kala duwanaansho ku saabsan naqshadaha autoencoder-ka caadiga ah ayaa jira. Aynu eegno qaababka kala duwan ee autoencoder.

Nabar yar

Sawirka: Michela Massi iyadoo la sii marayo Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Autoencoder_sparso.png)

Halka autoencoders ay sida caadiga ah leeyihiin qoorto isku dhejisa xogta iyada oo loo marayo hoos u dhigista qanjidhada, autoencoder yars ayaa ah beddelka qaabkaas caadiga ah ee hawlgalka. Shabakad yar, lakabyada qarsoon waxay ilaalinayaan cabbirka isku midka ah ee lakabyada cod-bixiyaha iyo cod-bixiyaha. Taa baddalkeeda, firfircoonida lakabka la bixiyay waa la ganaaxaa, iyada oo la dejinayo si shaqada luminta ay si fiican u qabato sifooyinka tirakoobka ee xogta gelinta. Si kale loo dhigo, halka lakabyada qarsoon ee autoencoder yar ay leeyihiin unugyo ka badan kan autoencoder-ka caadiga ah, kaliya boqolkiiba qaar ka mid ah ayaa shaqeynaya waqti kasta. Hawlaha firfircoonida ugu saamaynta badan waa la ilaaliyaa kuwa kalena waa la iska indhatiraa, xannibaaddani waxay caawisaa shabakada inay go'aamiso kaliya sifooyinka ugu muhiimsan ee xogta wax gelinta.

Qandaraas leh

autoencoders-ka-qabashada waxaa loogu talagalay in ay u adkeystaan ​​kala duwanaanshaha yar ee xogta, iyaga oo ilaalinaya matalaad joogto ah oo xogta ah. Tan waxaa lagu fuliyaa iyadoo lagu dabaqo ciqaabta shaqada luminta. Farsamadan joogtaynta waxay ku salaysan tahay heerka Frobenius ee matrix Jacobian ee hawlgelinta cod-bixiyaha. Saamaynta farsamadan joogtaynta ayaa ah in moodelku uu ku qasban yahay inuu dhiso cod-bixineed halkaas oo agabyada la midka ahi ay yeelan doonaan codayn isku mid ah.

Convolutional

Iskoodhiyeyaasha is-daba-joogga ah kaydi xogta gelinta adigoo xogta u kala qaybinaya qaybo-hoosaad ka dibna u beddelaya qaybahan calaamado fudud kuwaas oo la soo koobay si loo abuuro matalaad cusub oo xogta ah. Si la mid ah shabakadaha neural-ka ee is-daba-mareenka, iskoodhka kontorolku wuxuu ku takhasusay barashada xogta sawirka, wuxuuna isticmaalaa shaandhayn lagu dhex wareejiyo qaybta sawirka oo dhan qayb ahaan. Codaynta uu sameeyay lakabka codaynta ayaa loo isticmaali karaa in dib loo dhiso sawirka, loo muujiyo sawirka, ama wax lagaga beddelo joomatari sawirka. Marka filtarrada ay barato shabakadu, waxaa loo isticmaali karaa wax kasta oo ku filan oo la mid ah si loo soo saaro astaamaha sawirka.

Diidmada

Sawirka: MAL iyada oo loo sii marayo Wikimedia Commons, CC BY SA 3.0 (https://en.wikipedia.org/wiki/File:ROF_Denoising_Example.png)

Diidista cod-bixiyayaasha otomaatiga ah buuq geli codaynta, taasoo ka dhalanaysa cod-bixin kaas oo ah nooc kharribmay oo ah xogta gelinta asalka ah. Noocan xogta ah ee la musuqmaasuqay waxa loo isticmaalaa in lagu tababaro qaabka, laakiin shaqada luminta waxay is barbardhigtaa qiyamka wax-soo-saarka iyo gelinta asalka ah ee maaha wax-gelinta kharriban. Hadafka ayaa ah in shabakadu ay awood u yeelan doonto inay dib u soo saarto sawirka asalka ah, oo aan musuqmaasuq ahayn. Marka la barbardhigo xogta la kharribmay iyo xogta asalka ah, shabakadu waxay barataa sifooyinka xogta ugu muhiimsan iyo sifooyinka aan muhiimka ahayn / musuqmaasuqa. Si kale haddii loo dhigo, si moodalku u diido sawirada kharriban, waa inuu soo saaraa sifooyinka muhiimka ah ee xogta sawirka.

Kala duwanaansho

Iskoodhiyeyaasha kala duwan ku shaqee adiga oo samaynaya malo-awaal ku saabsan sida doorsoomayaasha qarsoon ee xogta loo qaybiyay. Iskoodheeyaha kala duwan ayaa soo saara qaybinta itimaalka ee qaababka kala duwan ee sawirada tababarka/sifooyinka qarsoon. Marka tababarka, encoder-ku wuxuu abuuraa qaybinta qarsoon ee qaababka kala duwan ee sawirada wax gelinta.

Sababtoo ah moodalku wuxuu bartaa sifooyinka ama sawirada sida qaybinta Gaussian halkii laga isticmaali lahaa qiyamka kala duwan, waxay awood u leedahay in loo isticmaalo soo saarista sawirro cusub. Qaybinta Gaussian waa muunad si loo abuuro vector, kaas oo la geliyo shabkada codeynta, taas oo keenta sawir ku salaysan vector of samples. Asal ahaan, moodelku waxa uu bartaa sifooyin caadi ah oo sawirada tababbarka ah waxa uuna ku meeleeyaa xoogaa suurtagal ah in ay dhacaan. Qaybinta itimaalka ayaa markaa loo isticmaali karaa in lagu beddelo sawirka injineerka, iyada oo la soo saarayo sawirro cusub oo u eg kuwii asalka ahaa, sawirada tababarka.

Marka la tababarayo shabakada, xogta la duubay ayaa la falanqeeyaa waxaana qaabka aqoonsiga uu soo saaraa laba qaybood, isaga oo soo saaraya celceliska iyo jaangooyada jaangooyooyinka. Qaybin ayaa la abuuray iyadoo lagu salaynayo qiyamkan. Tan waxa loo sameeyaa dawladaha qarsoon ee kala duwan. Decoder-ku wuxuu markaa ka qaadaa muunado random ah qaybinta u dhiganta wuxuuna u adeegsadaa dib u dhiska agabka bilowga ah ee shabakada.

Codsiyada Iskoodhka

Autoencoders waxaa loo isticmaali karaa ballaaran kala duwan ee codsiyada, laakiin sida caadiga ah waxaa loo isticmaalaa hawlaha sida dhimista cabbirka, diidista xogta, soo saarista muuqaalka, soo saarista sawirka, isku xigxiga saadaalinta, iyo hababka talada.

Diidmada xogtu waa isticmaalka iskoodhka-koobadaha si looga saaro hadhuudhka/ sawaxanka sawirada. Sidoo kale, autoencoders ayaa loo isticmaali karaa in lagu hagaajiyo noocyada kale ee dhaawaca sawirka, sida sawirada blur ama sawirada qaybaha maqan. Yaraynta cabbirka waxay ka caawin kartaa shabakadaha awoodda sare inay bartaan sifooyinka faa'iidada leh ee sawirada, taasoo la macno ah autoencoders waxaa loo isticmaali karaa in lagu kordhiyo tababarka noocyada kale ee shabakadaha neerfaha. Tani sidoo kale waa run isticmaalka autoencoders soo saarista sifada, maadaama autoencoders loo isticmaali karo in lagu aqoonsado astaamaha xogta kale ee tababarka si loo tababaro moodooyinka kale.

Marka la eego jiilka sawirka, autoencoders waxaa loo isticmaali karaa in lagu soo saaro sawirro bini'aadan oo been abuur ah ama jilayaal firfircoon, kuwaas oo leh codsiyo qaabaynta nidaamyada aqoonsiga wejiga ama otomaatigga qaybo ka mid ah animation.

Qaabka isku xigxiga moodooyinka saadaalinta ayaa loo isticmaali karaa si loo go'aamiyo qaab dhismeedka ku meel gaarka ah ee xogta, taasoo la micno ah in autoencoder loo isticmaali karo si loo soo saaro kuwa xiga xitaa si isku xigta. Sababtan awgeed, autoencoder ayaa loo isticmaali karaa in lagu soo saaro fiidiyowyo. Ugu dambeyntii, autoencoders qoto dheer ayaa loo isticmaali karaa si loo abuuro nidaamyo talobixin iyadoo la soo qaadayo qaababka la xiriira xiisaha isticmaalaha, iyada oo cod-bixiyaha lagu falanqeynayo xogta ka-qeybgalka isticmaalaha iyo furaha abuurista talooyinka ku habboon qaababka la aasaasay.