He aha te Autoencoder?

Mena kua panui koe mo nga tikanga ako kaore i te tirotirohia i mua, kua tae pea koe ki te kupu “whakawaehereaunoa”. Ko nga KaitukuAunoa tetahi o nga huarahi tuatahi ki te whakawhanake i nga tauira ako kaore i te tirotirohia. Heoi ano he aha te autoencoder?

He poto, ka mahi nga kaiwhakawaehere aunoa ma te tango raraunga, te kopeke me te whakawaehere i nga raraunga, katahi ka hanga ano i nga raraunga mai i te tohu whakawaehere. Ka whakangunguhia te tauira tae noa ki te whakaiti i te ngaronga me te whakaputa ano i nga raraunga ka taea. Ma tenei mahi, ka taea e te autoencoder te ako i nga ahuatanga nui o te raraunga. Ahakoa he whakamaarama tere tera mo te autoencoder, he pai ki te ata titiro ki nga autoencoders me te pai ake o te mohio ki te mahi. Ka ngana tenei tuhinga ki te whakakore i nga autoencoders, e whakamarama ana i te hoahoanga o nga autoencoders me o raatau tono.

He aha te Autoencoder?

KaituhiAunoa he whatunga neural. Ko nga whatunga neural he maha nga paparanga, a ko te waahanga tautuhi o te autoencoder ko nga paparanga whakauru he rite tonu te nui o nga korero ki te paparanga whakaputa. Ko te take he rite tonu te maha o nga wae o te paparanga whakauru me te paparanga whakaputa ko te whai a te autoencoder ki te tukurua i nga raraunga whakauru. Ka whakaputahia he kape o nga raraunga i muri i te wetewete me te hanga ano i runga i te ahua ohorere.

Ko nga raraunga e neke ana i roto i te autoencoder kaore i te mapi tika mai i te whakauru ki te putanga, ko te tikanga kaore te whatunga e kape noa i nga raraunga whakauru. E toru nga wahanga ki te whakawaehere aunoa: he wahanga whakawaehere (whakauru) e kopiri ana i te raraunga, he waahanga hei whakahaere i nga raraunga kua kopeke (he pounamu ranei), me tetahi waahanga wetewete (putanga). Ina tukuna te raraunga ki roto i te autoencoder, ka whakawaeheretia ka kopekehia kia iti ake te rahi. Ka whakangunguhia te whatunga i runga i nga raraunga kua whakawaeheretia/kopeke, ka puta he mahi whakangahau o taua raraunga.

Na he aha koe ka hiahia ki te whakangungu i tetahi whatunga ki te hanga ano i nga raraunga ka hoatu ki a ia? Ko te take ka akohia e te whatunga te "take", nga ahuatanga tino nui ranei o nga raraunga whakauru. I muri i to whakangungu i te whatunga, ka taea te hanga i tetahi tauira ka taea te whakahiato i nga raraunga rite, me te taapiri, te tangohanga ranei o etahi ahuatanga kua tohua. Hei tauira, ka taea e koe te whakangungu i te autoencoder ki runga i nga whakaahua kakano ka whakamahi i te tauira kua whakangungua hei tango i te witi/haruru mai i te atahanga.

Hangahanga Autoencoder

Kia tirohia e tatou te hoahoanga o te autoencoder. Ka matapakihia te hoahoanga matua o te autoencoder i konei. He rereke nga rereketanga o tenei hoahoanga whanui ka korerohia e tatou i te waahanga i raro nei.

Whakaahua: Michela Massi mā Wikimedia Commons,(https://commons.wikimedia.org/wiki/File:Autoencoder_schema.png)

Ka rite ki te korero i mua ake nei ka taea te wehewehe i te autoencoder ki nga waahanga rereke e toru: te encoder, te bottleneck, me te decoder.

Ko te wahanga encoder o te autoencoder ko te nuinga o te wa he whaaunga whakamua, he whatunga tino hono. Ko te kaupapa o nga paparanga whakawaehere he tango i nga raraunga whakauru me te kopiri ki roto i te whakaaturanga mokowā huna, ka whakaputa i te ahua hou o nga raraunga kua whakahekehia te rahi.

Ko nga paparanga waehere, ko te pounamu ranei, e pa ana ki te ahua o te raraunga. Kua āta hangaia te waehere pounamu ki te whakatau i nga waahanga e tino whai kiko ana o nga raraunga kua kitea, ki te tuu ranei i tetahi atu huarahi ko nga ahuatanga o nga raraunga e tino nui ana mo te hanga raraunga. Ko te whainga i konei ko te whakatau he aha nga ahuatanga o te raraunga hei tiaki me te aha ka taea te whakakore. E rua nga whakaaro rereke e tika ana kia whakatauritehia e te waehere pounamu: te rahi o te whakaaturanga (pehea te kiato o te tohu) me te whaitaketanga taurangi/ahuatanga. Ka mahia e te pounamu te whakahohenga huānga i runga i nga taumahatanga me nga rītaha o te whatunga. I etahi wa ka kiia te paparanga pounamu he whakaaturanga huna, he taurangi huna ranei.

Ko te paparanga wetewaehere te kawenga mo te tango i nga raraunga kua kopeke me te huri ano ki te ahua rite tonu te rahi ki te raraunga taketake, kaore i whakarereketia. Ka mahia te hurihanga me te tohu mokowā huna i hangaia e te encoder.

Ko te hoahoanga taketake o te autoencoder he hoahoanga-whakamua, he rite tonu te hanganga ki te perceptron paparanga kotahi e whakamahia ana i roto i nga perceptrons multilayer. He rite tonu ki nga whatunga neural whangai-whakamua, ka whakangunguhia te encoder-aunoa ma te whakamahi i te whakahuri.

Huanga o te Autoencoder

He maha nga momo autoencoders, engari kei a ratou katoa etahi ahuatanga hei whakakotahi i a raatau.

Ka ako aunoa a Autoencoders. Kaore e hiahiatia he tapanga, a, ki te nui nga raraunga ka hoatu he ngawari ki te tiki i te autoencoder kia eke ki nga mahi teitei i runga i tetahi momo raraunga whakauru.

He raraunga-motuhake nga KaitukuAunoa. Ko te tikanga ka taea e ratou anake te kopiri i nga raraunga e tino rite ana ki nga raraunga kua whakangungua te autoencoder. Kei te ngaro ano hoki nga KaitukuAunoa, ko te tikanga ka whakahekehia nga putanga o te tauira ki te whakataurite ki nga raraunga whakauru.

I te wa e hoahoa ana i te autoencoder, me aro nga miihini ako miihini ki nga tauira tauira rereke e wha: te rahi o te waehere, te tau paparanga, nga pona mo ia paparanga, me te mahi ngaro.

Ko te rahi o te waehere ka whakatauhia te maha o nga pona ka timata i te wahanga o waenganui o te whatunga, ka iti ake nga pona e kopeke ana i nga raraunga. I roto i te autoencoder hohonu, ahakoa ko te maha o nga paparanga he tau e tika ana ki te miihini, me heke te maha o nga node o te paparanga i te wa e haere tonu ana te whakawaehere. I tenei wa, ka mau te ritenga ki roto i te wewetewaehere, ko te tikanga ka piki te maha o nga pona mo ia paparanga i te wa e tata ana nga papa wetewaehere ki te paparanga whakamutunga. Ka mutu, ko te mahi ngaro o te autoencoder ko te nuinga o te waa-rua-rua, he hapa tapawha ranei. E tika ana te whakawhiti-a-rua mo nga waahi kei roto i te awhe 0 – 1 nga uara whakauru o nga raraunga.

Momo WhakawaehereAunoa

Ka rite ki te korero i runga ake nei, he rereke nga rereketanga o te hoahoanga autoencoder matarohia. Me titiro ki nga hoahoanga autoencoder rereke.

Kawhitu

Whakaahua: Michela Massi mā Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Autoencoder_sparso.png)

Ahakoa kei te nuinga o nga wa kei roto i nga kaiwhakawaehere-aunoa he pounamu e kopiri ana i nga raraunga ma te whakahekenga o nga pona, autoencoder itis he rereke ki tera whakatakotoranga whakahaere angamaheni. I roto i te whatunga iti, ka mau tonu te rahi o nga papa huna ki nga papa encoder me nga papa wetewaehere. Engari, ko nga whakahohenga i roto i tetahi paparanga ka whiua, ka whakarite kia pai ake te hopu a te mahi ngaro i nga ahuatanga tatauranga o nga raraunga whakauru. Me penei ake, ahakoa he maha ake nga waeine o nga papa huna o te kaitahuri-aunoa iti ake i te kaitahuri-aunoa, he paheketanga noa iho o ratou e kaha ana i nga wa katoa. Ko nga mahi whakahohenga tino kaha ka tiakina, ka warewarehia etahi atu, ka awhina tenei here i te whatunga ki te whakatau i nga ahuatanga tino nui o te raraunga whakauru.

kirimana

Ko nga kaiwhakamahara aunoa kua hoahoatia kia kaha ki nga rereketanga iti o te raraunga, kia mau tonu te ahua o nga raraunga. Ka whakatutukihia tenei ma te whakamahi i te whiu ki te mahi ngaro. Ko tenei tikanga whakarite i runga i te tikanga Frobenius o te matrix Jacobian mo nga whakahohenga whakauru whakauru. Ko te painga o tenei tikanga whakarite, ka pehia te tauira ki te hanga whakawaehere kei reira nga whakaurunga rite ka rite nga whakawaehere.

Hurorirori kau

Nga kaiwhakawaehere aunoa Whakawaeherehia nga raraunga whakauru ma te wehewehe i nga raraunga ki nga waahanga iti ka huri i enei waahanga ki nga tohu ngawari ka whakahiatohia hei hanga i tetahi whakaaturanga hou o te raraunga. He rite ki nga whatunga neural convolution, he tohunga mo te convolutional autoencoder ki te ako i nga raraunga atahanga, ka whakamahia he tātari ka nukuhia puta noa i te waahanga whakaahua katoa ma ia waahanga. Ko nga whakawaehere i hangaia e te paparanga whakawaehere ka taea te whakamahi ki te hanga ano i te ahua, ki te whakaata i te ahua, ki te whakarereke ranei i te ahuahanga o te ahua. Ina kua akohia e te whatunga nga whiriwhiringa, ka taea te whakamahi i runga i nga whakaurunga rite tonu hei tango i nga ahuatanga o te ahua.

Te whakaheke

Whakaahua: MAL mā Wikimedia Commons, CC BY SA 3.0 (https://en.wikipedia.org/wiki/File:ROF_Denoising_Example.png)

Te whakakore i nga autoencoders whakaurua te haruru ki roto i te whakawaehere, ka puta he whakawaehere he putanga kino o te raraunga whakauru taketake. Ka whakamahia tenei putanga kino o nga raraunga ki te whakangungu i te tauira, engari ko te mahi ngaro ka whakataurite i nga uara whakaputa me te whakauru taketake, kaua ko te whakauru kua kino. Ko te whainga ka taea e te whatunga te whakaputa i te ahua taketake, kore-kino o te ahua. Ma te whakataurite i nga raraunga kua kino ki nga raraunga taketake, ka ako te whatunga ko nga ahuatanga o nga raraunga he mea tino nui, ko nga ahuatanga kaore he mea nui / pirau. I etahi atu kupu, kia taea ai e te tauira te whakakore i nga whakaahua kua pirau, me tango e ia nga ahuatanga nui o te raraunga ahua.

He rerekee

Kaiwaehere aunoa rereke mahi ma te whakatau whakaaro mo te tohatoha o nga taurangi huna o nga raraunga. Ka whakaputahia e te momoencoder rerekee he tohatoha tuponotanga mo nga ahuatanga rereke o nga whakaahua whakangungu/nga huanga huna. I te wa e whakangungu ana, ka hangaia e te encoder nga tohatoha huna mo nga ahuatanga rereke o nga whakaahua whakauru.

Na te mea ka ako te tauira i nga ahuatanga me nga whakaahua hei tohatoha Gaussian hei utu mo nga uara motuhake, ka taea te whakamahi ki te whakaputa whakaahua hou. Ka whakatauirahia te tohatoha Gaussian hei hanga i te vector, ka whangaia ki te whatunga wetewete, ka puta he ahua i runga i tenei vector o nga tauira. Ko te tikanga, ka ako te tauira i nga ahuatanga noa o nga whakaahua whakangungu me te tautapa ki a raatau etahi ahuatanga ka puta. Ka taea te tohatoha tūponotanga ki te whakahuri i tetahi whakaahua, te whakaputa whakaahua hou e rite ana ki te taketake, nga whakaahua whakangungu.

I te wa e whakangungu ana i te whatunga, ka wetewetehia nga raraunga kua whakawaeheretia, ka whakaputahia e te tauira whakamohiotanga nga vectors e rua, e whakaatu ana i te toharite me te ine rereke o nga whakaahua. Ka hangaia he tohatoha i runga i enei uara. Ka mahia tenei mo nga ahuatanga huna rereke. Ka tangohia e te kaiwaehere nga tauira matapōkere mai i te tohatoha e rite ana ka whakamahia hei hanga ano i nga whakaurunga tuatahi ki te whatunga.

Taupānga Autoencoder

Ka taea te whakamahi Autoencoders mo te whanui momo tono, engari e whakamahia ana mo nga mahi penei i te whakaheke i te rahi, te whakakore i nga raraunga, te tangohanga ahua, te hanga atahanga, te raupapa ki te matapae raupapa, me nga punaha tohutohu.

Ko te whakakore i nga raraunga ko te whakamahi i nga autoencoders hei tango i te witi/haruru mai i nga whakaahua. Waihoki, ka taea te whakamahi autoencoders ki te whakatika i etahi atu momo kino o te ahua, penei i nga whakaahua porangi, i nga whakaahua kua ngaro nga waahanga. Ka taea e te whakaheke i te rahi te awhina i nga whatunga kaha nui ki te ako i nga ahuatanga whaihua o nga whakaahua, te tikanga ka taea te whakamahi i nga autoencoders hei whakanui ake i te whakangungu o etahi atu momo whatunga neural. He tika ano tenei mo te whakamahi autoencoders mo te tangohanga ahuatanga, na te mea ka taea te whakamahi autoencoders ki te tautuhi i nga ahuatanga o etahi atu huinga huinga whakangungu hei whakangungu i etahi atu tauira.

Mo te hanga whakaahua, ka taea te whakamahi i nga autoencoders ki te whakaputa i nga whakaahua tangata rūpahu, nga tohu pakiwaituhi ranei, he tono ki te hoahoa i nga punaha tohu kanohi, ki te whakaaunoa ranei i etahi ahuatanga o te hākoritanga.

Ka taea te whakamahi i nga tauira matapae raupapa ki te whakatau i te hanganga-a-tinana o nga raraunga, te tikanga ka taea te whakamahi i te autoencoder ki te whakaputa i nga mea e whai ake nei ahakoa i roto i te raupapa. Mo konei, ka taea te whakamahi i te autoencoder hei whakaputa ataata. Ka mutu, ka taea te whakamahi i nga autoencoders hohonu ki te hanga i nga punaha taunakitanga ma te kohi i nga tauira e pa ana ki te hiahia o nga kaiwhakamahi, me te encoder e tarai ana i nga raraunga whakauru a te kaiwhakamahi me te kaiwhakawaehere e hanga taunakitanga e pai ana ki nga tauira kua whakaritea.