X'inhu Autoencoder?

Jekk qrajt dwar tekniki ta’ tagħlim mhux sorveljat qabel, jista’ jkun li ltqajt mat-terminu “awtokode”. L-awtokodifikaturi huma wieħed mill-modi primarji kif jiġu żviluppati mudelli ta 'tagħlim mhux sorveljat. Iżda x'inhu autoencoder eżattament?

Fil-qosor, l-awtoencoders joperaw billi jieħdu dejta, jikkompressaw u jikkodifikaw id-dejta, u mbagħad jibnu mill-ġdid id-dejta mir-rappreżentazzjoni tal-kodifikazzjoni. Il-mudell huwa mħarreġ sakemm it-telf jiġi minimizzat u d-dejta tiġi riprodotta mill-qrib kemm jista 'jkun. Permezz ta 'dan il-proċess, autoencoder jista' jitgħallem il-karatteristiċi importanti tad-dejta. Filwaqt li dik hija definizzjoni ta 'malajr ta' autoencoder, ikun ta 'benefiċċju li tagħti ħarsa aktar mill-qrib lejn l-awtoencoders u tikseb fehim aħjar ta' kif jiffunzjonaw. Dan l-artikolu se jagħmel ħiltu biex jiddemitifika l-autoencoders, u jispjega l-arkitettura tal-autoencoders u l-applikazzjonijiet tagħhom.

X'inhu Autoencoder?

Autoencoders huma netwerks newrali. Netwerks newrali huma komposti minn saffi multipli, u l-aspett li jiddefinixxi ta 'autoencoder huwa li s-saffi ta' input fihom eżattament informazzjoni daqs is-saff tal-ħruġ. Ir-raġuni li s-saff tad-dħul u s-saff tal-ħruġ għandhom l-istess numru eżatt ta 'unitajiet hija li autoencoder għandu l-għan li jirreplika d-dejta tal-input. Jipproduċi kopja tad-dejta wara li janalizzaha u jibniha mill-ġdid b'mod mhux sorveljat.

Id-dejta li tiċċaqlaq permezz ta 'autoencoder mhix biss immappjata dritta mill-input għall-output, li jfisser li n-netwerk mhux biss tikkopja d-dejta tal-input. Hemm tliet komponenti għal autoencoder: porzjon ta 'kodifikazzjoni (input) li jikkompressa d-dejta, komponent li jimmaniġġja d-dejta kkompressata (jew konġestjoni), u porzjon ta' decoder (output). Meta d-dejta tiġi mdaħħla f'autoencoder, tiġi kkodifikata u mbagħad ikkompressata sa daqs iżgħar. In-netwerk imbagħad jitħarreġ fuq id-dejta kodifikata/kompressata u joħroġ rikreazzjoni ta' dik id-dejta.

Allura għaliex tixtieq tħarreġ netwerk biex jirrikostitwixxi biss id-dejta li tingħatalu? Ir-raġuni hija li n-netwerk jitgħallem l-"essenza", jew il-karatteristiċi l-aktar importanti tad-dejta tal-input. Wara li tkun imħarreġ in-netwerk, jista 'jinħoloq mudell li jista' jissintetizza data simili, biż-żieda jew it-tnaqqis ta 'ċerti karatteristiċi fil-mira. Per eżempju, tista 'tħarreġ autoencoder fuq immaġini grainy u mbagħad tuża l-mudell imħarreġ biex tneħħi l-qamħ/ħoss mill-immaġni.

Arkitettura tal-Autoencoder

Ejja nagħtu ħarsa lejn l-arkitettura ta' autoencoder. Aħna ser niddiskutu l-arkitettura prinċipali ta 'autoencoder hawn. Hemm varjazzjonijiet fuq din l-arkitettura ġenerali li aħna ser niddiskutu fit-taqsima hawn taħt.

Ritratt: Michela Massi permezz ta' Wikimedia Commons,(https://commons.wikimedia.org/wiki/File:Autoencoder_schema.png)

Kif issemma qabel, autoencoder jista' essenzjalment jinqasam fi tliet komponenti differenti: l-encoder, konġestjoni u d-decoder.

Il-porzjon tal-encoder tal-autoencoder huwa tipikament feedforward, netwerk konness b'mod dens. L-iskop tas-saffi ta 'kodifikazzjoni huwa li tieħu d-dejta tal-input u tikkompressaha f'rappreżentazzjoni spazjali moħbija, u tiġġenera rappreżentazzjoni ġdida tad-dejta li naqqset id-dimensjoni.

Is-saffi tal-kodiċi, jew il-konġestjoni, jittrattaw ir-rappreżentazzjoni kkompressata tad-dejta. Il-kodiċi ta 'konġestjoni huwa ddisinjat bir-reqqa biex jiddetermina l-aktar porzjonijiet rilevanti tad-dejta osservata, jew biex b'dan mod ieħor il-karatteristiċi tad-dejta li huma l-aktar importanti għar-rikostruzzjoni tad-dejta. L-għan hawnhekk huwa li jiġi ddeterminat liema aspetti tad-dejta jeħtieġ li jiġu ppreservati u liema jistgħu jintremew. Il-kodiċi tal-konġestjoni jeħtieġ li jibbilanċja żewġ kunsiderazzjonijiet differenti: id-daqs tar-rappreżentazzjoni (kemm hi kompatta r-rappreżentazzjoni) u r-rilevanza varjabbli/karatteristika. Il-konġestjoni jwettaq attivazzjoni għaqlija tal-element fuq il-piżijiet u l-preġudizzji tan-netwerk. Is-saff ta 'konġestjoni kultant jissejjaħ ukoll rappreżentazzjoni moħbija jew varjabbli moħbija.

Is-saff tad-decoder huwa dak li huwa responsabbli biex jieħu d-dejta kkompressata u jikkonvertiha lura f'rappreżentazzjoni bl-istess dimensjonijiet bħad-dejta oriġinali u mhux mibdula. Il-konverżjoni ssir bir-rappreżentazzjoni tal-ispazju moħbija li nħolqot mill-encoder.

L-aktar arkitettura bażika ta 'awtoencoder hija arkitettura feed-forward, bi struttura simili ħafna għal perceptron ta' saff wieħed użat f'perceptrons b'ħafna saffi. Bħan-netwerks newrali regolari feed-forward, l-awto-encoder huwa mħarreġ permezz tal-użu ta 'backpropagation.

Attributi ta' Autoencoder

Hemm diversi tipi ta 'autoencoders, iżda kollha għandhom ċerti proprjetajiet li jgħaqqduhom.

Autoencoders jitgħallmu awtomatikament. Ma jeħtiġux tikketti, u jekk tingħata biżżejjed dejta huwa faċli li tikseb autoencoder biex tilħaq prestazzjoni għolja fuq tip speċifiku ta 'dejta ta' input.

Autoencoders huma speċifiċi għad-dejta. Dan ifisser li jistgħu biss jikkompressaw data li hija simili ħafna għal data li l-autoencoder diġà ġie mħarreġ fuqha. Autoencoders huma wkoll lossy, li jfisser li l-outputs tal-mudell se jiġu degradati meta mqabbla mad-dejta tal-input.

Meta jiddisinjaw autoencoder, l-inġiniera tat-tagħlim tal-magni jeħtieġ li jagħtu attenzjoni għal erba 'iperparametri ta' mudell differenti: daqs tal-kodiċi, numru ta 'saff, nodi għal kull saff, u funzjoni ta' telf.

Id-daqs tal-kodiċi jiddeċiedi kemm nodi jibdew il-parti tan-nofs tan-netwerk, u inqas nodi jikkompressaw id-dejta aktar. F'autoencoder profond, filwaqt li n-numru ta 'saffi jista' jkun kwalunkwe numru li l-inġinier iqis xieraq, in-numru ta 'nodi f'saff għandu jonqos hekk kif l-encoder ikompli. Sadanittant, l-oppost jgħodd fid-decoder, li jfisser li n-numru ta 'nodi għal kull saff għandu jiżdied hekk kif is-saffi tad-decoder jersqu lejn is-saff finali. Fl-aħħarnett, il-funzjoni tat-telf ta 'autoencoder hija tipikament jew cross-entropy binarja jew żball kwadrat medju. Cross-entropy binarja hija xierqa għal każijiet fejn il-valuri tad-dħul tad-dejta huma f'medda 0 – 1.

Tipi ta' Autoencoder

Kif issemma hawn fuq, jeżistu varjazzjonijiet fuq l-arkitettura klassika tal-autoencoder. Ejja neżaminaw l-arkitetturi differenti tal-autoencoder.

Skars

Ritratt: Michela Massi permezz ta' Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Autoencoder_sparso.png)

Filwaqt li l-awtoencoders tipikament ikollhom konġestjoni li tikkompressa d-dejta permezz ta 'tnaqqis ta' nodi, autoencoder skarss huma alternattiva għal dak il-format operattiv tipiku. F'netwerk skars, is-saffi moħbija jżommu l-istess daqs bħas-saffi tal-encoder u tad-decoder. Minflok, l-attivazzjonijiet f'saff partikolari huma penalizzati, billi jistabbilixxuha sabiex il-funzjoni tat-telf taqbad aħjar il-karatteristiċi statistiċi tad-dejta tal-input. Fi kliem ieħor, filwaqt li s-saffi moħbija ta 'autoencoder skars għandhom aktar unitajiet minn autoencoder tradizzjonali, ċertu persentaġġ minnhom biss huma attivi fi kwalunkwe ħin partikolari. L-aktar funzjonijiet ta 'attivazzjoni ta' impatt huma ppreservati u oħrajn huma injorati, u dan ir-restrizzjoni jgħin lin-netwerk jiddetermina biss il-karatteristiċi l-aktar saljenti tad-dejta tal-input.

Kuntrattwali

Autoencoders kuntrattwali huma mfassla biex ikunu reżiljenti kontra varjazzjonijiet żgħar fid-dejta, filwaqt li jżommu rappreżentazzjoni konsistenti tad-dejta. Dan jitwettaq billi tiġi applikata penali għall-funzjoni tat-telf. Din it-teknika ta 'regolarizzazzjoni hija bbażata fuq in-norma Frobenius tal-matriċi Jacobian għall-attivazzjonijiet tal-encoder tal-input. L-effett ta 'din it-teknika ta' regolarizzazzjoni huwa li l-mudell huwa sfurzat jibni kodifikazzjoni fejn inputs simili se jkollhom kodifikazzjonijiet simili.

Convolutional

Autoencoders konvoluzzjonali tikkodifika d-dejta tad-dħul billi taqsam id-dejta f'subtaqsimiet u mbagħad tikkonverti dawn is-subsezzjonijiet f'sinjali sempliċi li jinġabru flimkien biex tinħoloq rappreżentazzjoni ġdida tad-dejta. Simili għan-netwerks newrali konvoluzzjonali, autoencoder konvoluzzjonali jispeċjalizza fit-tagħlim tad-dejta tal-immaġni, u juża filtru li jiġi mċaqlaq tul is-sezzjoni kollha tal-immaġni b'sezzjoni. Il-kodifikazzjonijiet iġġenerati mis-saff tal-kodifikazzjoni jistgħu jintużaw biex jibnu mill-ġdid l-immaġni, jirriflettu l-immaġni, jew jimmodifikaw il-ġeometrija tal-immaġni. Ladarba l-filtri jkunu tgħallmu min-netwerk, jistgħu jintużaw fuq kwalunkwe input simili biżżejjed biex jiġu estratti l-karatteristiċi tal-immaġni.

Tnaqqis ta' storbju

Ritratt: MAL permezz tal-Wikimedia Commons, CC BY SA 3.0 (https://en.wikipedia.org/wiki/File:ROF_Denoising_Example.png)

Autoencoders ta' denoising jintroduċu ħoss fil-kodifikazzjoni, li jirriżulta f'kodifikazzjoni li hija verżjoni korrotta tad-dejta tal-input oriġinali. Din il-verżjoni korrotta tad-dejta tintuża biex tħarreġ il-mudell, iżda l-funzjoni tat-telf tqabbel il-valuri tal-output mal-input oriġinali u mhux mal-input korrotta. L-għan huwa li n-netwerk ikun jista 'jirriproduċi l-verżjoni oriġinali, mhux korrotta tal-immaġni. Billi tqabbel id-dejta korrotta mad-dejta oriġinali, in-netwerk jitgħallem liema karatteristiċi tad-dejta huma l-aktar importanti u liema karatteristiċi mhumiex importanti/korruzzjoni. Fi kliem ieħor, sabiex mudell inaqqas l-immaġini korrotta, irid ikun estratt il-karatteristiċi importanti tad-dejta tal-immaġni.

Varjazzjonali

Autoencoders varjazzjonali topera billi tagħmel suppożizzjonijiet dwar kif il-varjabbli latenti tad-dejta huma mqassma. Awtoencoder varjazzjonali jipproduċi distribuzzjoni tal-probabbiltà għall-karatteristiċi differenti tal-immaġini tat-taħriġ/l-attributi latenti. Meta jitħarreġ, l-encoder joħloq distribuzzjonijiet moħbija għall-karatteristiċi differenti tal-immaġini tal-input.

Minħabba li l-mudell jitgħallem il-karatteristiċi jew l-immaġini bħala distribuzzjonijiet Gaussian minflok valuri diskreti, huwa kapaċi li jintuża biex jiġġenera immaġini ġodda. Id-distribuzzjoni Gaussjana tittieħed kampjun biex jinħoloq vettur, li jiġi mdaħħal fin-netwerk ta 'dekodifikazzjoni, li jirrendi immaġni bbażata fuq dan il-vettur ta' kampjuni. Essenzjalment, il-mudell jitgħallem karatteristiċi komuni tal-immaġini tat-taħriġ u jassenjahom xi probabbiltà li jseħħu. Id-distribuzzjoni tal-probabbiltà mbagħad tista 'tintuża biex issir reverse engineering ta' immaġni, li tiġġenera immaġini ġodda li jixbħu l-immaġini oriġinali ta 'taħriġ.

Meta tħarreġ in-netwerk, id-dejta kodifikata tiġi analizzata u l-mudell ta 'rikonoxximent joħroġ żewġ vettori, u jiġbed il-medja u d-devjazzjoni standard tal-immaġini. Tinħoloq distribuzzjoni bbażata fuq dawn il-valuri. Dan isir għall-istati moħbija differenti. Id-decoder imbagħad jieħu kampjuni każwali mid-distribuzzjoni korrispondenti u jużahom biex jirrikostitwixxi l-inputs inizjali fin-netwerk.

Applikazzjonijiet Autoencoder

Autoencoders jistgħu jintużaw għal wiesgħa varjetà ta 'applikazzjonijiet, iżda huma tipikament użati għal kompiti bħat-tnaqqis tad-dimensjonalità, it-tnaqqis tad-data, l-estrazzjoni tal-karatteristiċi, il-ġenerazzjoni tal-immaġni, it-tbassir minn sekwenza għal sekwenza, u sistemi ta 'rakkomandazzjoni.

Id-denoising tad-dejta huwa l-użu ta 'autoencoders biex iqaxxar il-qamħ/l-istorbju mill-immaġini. Bl-istess mod, l-awtoencoders jistgħu jintużaw biex isewwi tipi oħra ta 'ħsara fl-immaġini, bħal immaġini mċajpra jew immaġini nieqsa sezzjonijiet. It-tnaqqis tad-dimensjonijiet jista 'jgħin lin-netwerks ta' kapaċità għolja jitgħallmu karatteristiċi utli tal-immaġini, li jfisser li l-awtoencoders jistgħu jintużaw biex iżidu t-taħriġ ta 'tipi oħra ta' netwerks newrali. Dan jgħodd ukoll għall-użu ta 'autoencoders għall-estrazzjoni tal-karatteristiċi, peress li l-awtoencoders jistgħu jintużaw biex jidentifikaw karatteristiċi ta' settijiet ta 'dejta ta' taħriġ oħra biex iħarrġu mudelli oħra.

F'termini ta 'ġenerazzjoni ta' immaġni, autoencoders jistgħu jintużaw biex jiġġeneraw immaġini umani foloz jew karattri animati, li għandhom applikazzjonijiet fit-tfassil ta 'sistemi ta' rikonoxximent tal-wiċċ jew awtomatizzazzjoni ta 'ċerti aspetti ta' animazzjoni.

Mudelli ta 'tbassir ta' sekwenza għal sekwenza jistgħu jintużaw biex jiddeterminaw l-istruttura temporali tad-dejta, li jfisser li autoencoder jista 'jintuża biex jiġġenera dak li jmiss anke f'sekwenza. Għal din ir-raġuni, autoencoder jista 'jintuża biex jiġġenera vidjows. Fl-aħħarnett, autoencoders profondi jistgħu jintużaw biex jinħolqu sistemi ta 'rakkomandazzjoni billi jtellgħu mudelli relatati mal-interess tal-utent, bl-encoder janalizza d-dejta tal-ingaġġ tal-utent u d-decoder joħloq rakkomandazzjonijiet li jaqblu mal-mudelli stabbiliti.