He aha te Backpropagation?

He aha te Backpropagation?

Ka taea e nga punaha ako hohonu te ako i nga tauira tino uaua, ka tutuki i a raatau ma te whakarereke i o raatau taumaha. Me pehea te whakatikatika i nga taumaha o te whatunga neural hohonu? Ka whakatikatikahia ma he tukanga huaina whakatōmuri. Ki te kore te whakahoahoahoa, ka kore e taea e nga whatunga neural hohonu te kawe i nga mahi penei i te mohio ki nga whakaahua me te whakamaori i te reo maori. He mea tino nui te maarama ki te mahi whakaahuru ki te mohio ki nga hononga neural hohonu i te nuinga o te waa, no reira me matapakihia te kaupapa whakamuri me te kite me pehea te whakamahi i te tukanga ki te whakatika i nga taumahatanga o te whatunga.

He uaua ki te mohio ki te totoro whakamuri, he tino uaua nga tatauranga e whakamahia ana ki te kawe whakamuri. Ka ngana tenei tuhinga ki te hoatu ki a koe he mohiotanga mohio mo te whakatairanga whakamuri, ma te whakamahi iti i te huarahi o te pangarau uaua. Heoi ano, he mea tika etahi korero mo te pangarau i muri i te whakatairanga whakamuri.

Ko te Whainga o te Whakatairanga

Me timata ma te tautuhi i te whainga o te whakatipuranga tuara. Ko nga taumaha o te whatunga neural hohonu ko te kaha o nga hononga i waenga i nga waeine o te whatunga neural. Ina whakatauhia te whatunga neural ka puta nga whakaaro mo te hono o nga wae o te paparanga kotahi ki nga papa e hono ana. I te wa e neke haere ana nga raraunga i roto i te whatunga neural, ka tatauhia nga taumahatanga ka mahia nga whakaaro. Ka tae nga raraunga ki te paparanga whakamutunga o te whatunga, ka puta he matapae mo te hononga o nga ahuatanga ki nga karaehe o te huingararaunga. Ko te rereketanga i waenga i nga uara matapae me nga uara tuturu ko te mate/hapa, me te whainga o te whakatairanga whakamuri he whakaiti i te mate. Ka tutuki tenei ma te whakatikatika i nga taumahatanga o te whatunga, kia rite nga whakaaro ki nga hononga pono i waenga i nga ahuatanga whakauru.

Whakangungu He Whatunga Neural Hohonu

I mua i te mahi tuara ki runga i a te whatunga taiao, me whakahaere te tuku whakangungu auau/whakamua o te whatunga neural. Ina hangaia he whatunga neural, ka arawhitia he huinga taumaha. Ka huri te uara o nga taumahatanga i te wa e whakangunguhia ana te whatunga. Ko te paahitanga whakangungu whakamua o te whatunga neural ka taea te whakaaro e toru nga waahanga motuhake: te whakahohe neuron, te whakawhiti neuron, me te whakatairanga whakamua.

I te whakangungu i te whatunga neural hohonu, me whakamahi tatou i nga mahi pangarau maha. Ko nga neuron i roto i te whatunga neural hohonu kei roto ko nga raraunga taumai me te mahi whakahohe, e whakatau ana i te uara e tika ana hei whakahohe i te node. Ko te uara whakahohe o te neuron ka tatauhia me nga waahanga maha, he nui te taumaha o nga whakaurunga. Ko nga taumaha me nga uara whakauru ka whakawhirinaki ki te taupū o nga pona e whakamahia ana hei tatau i te whakahohenga. Ko tetahi atu nama me whai whakaaro ina tatau ana i te uara whakahohe, he uara rītaha. Karekau nga uara piunga e rerekee ana, no reira karekau e whakareatia ki te taumaha me nga whakaurunga, he mea taapiri noa. Ko enei mea katoa ka taea te whakamahi i te wharite e whai ake nei hei tatau i te uara whakahohe:

Whakahohenga = tapeke(taimaha * whakauru) + rītaha

I muri i te whakahohenga o te neuron, ka whakamahia he mahi whakahohe hei whakatau he aha te putanga o te putanga tuturu o te neuron. He pai rawa atu nga mahi whakahoahoa rereke mo nga mahi ako rereke, engari ko nga mahi whakahoahoa e whakamahia ana ko te mahi sigmoid, te mahi Tanh, me te mahi ReLU.

Kia tatauhia nga putanga o te neuron ma te whakahaere i te uara whakahohenga na roto i te mahi whakahohe e hiahiatia ana, ka mahia te whakatö whakamua. Ko te whakatö whakamua kei te tango noa i nga putanga o te paparanga kotahi ka waiho hei whakaurunga o te paparanga e whai ake nei. Ka whakamahia nga whakauru hou ki te tatau i nga mahi whakaoho hou, ka tukuna te putanga o tenei mahi ki te paparanga e whai ake nei. Ka haere tonu tenei tukanga tae noa ki te mutunga o te whatunga neural.

Whakahoki tuara i te Whatunga

Ko te tukanga o te whakatö-muri ka mau i nga whakatau whakamutunga o te urunga whakangungu a te tauira, katahi ka whakatau i nga hapa o enei whakatau. Ko nga hapa ka tatauhia ma te rereke i nga putanga / whakatau o te whatunga me nga putanga e tumanakohia ana / e hiahiatia ana o te whatunga.

Kia tatauhia nga hapa i roto i nga whakatau a te whatunga, ka horahia enei korero ma te whatunga ka whakarereketia nga tawhā o te whatunga i te huarahi. Ko te tikanga e whakamahia ana ki te whakahou i nga taumahatanga o te whatunga kei roto i te tatauranga, ina koa, kei roto i te ture mekameka. Heoi, kare e tika kia mohio ki te tatauranga kia mohio ai koe ki te whakaaro o muri o te whakatairanga whakamuri. Me mohio noa ka tukuna mai he uara whakaputa mai i te neuron, ka tatauhia te pikinga o te uara whakaputa me te mahi whakawhiti, ka whakaputa i te putanga hua. A, no te mahi backpropagation, ka tatauhia te hapa mo te neuron motuhake kia rite ki enei e whai ake nei Tauira:

hapa = (hua_huatanga – actual_output) * te pikinga o te uara putanga o te neuron

A, no te mahi i runga i nga neurons i roto i te paparanga putanga, ka whakamahia te uara o te akomanga hei uara e tumanakohia ana. I muri i te tatauranga o te hapa, ka whakamahia te hapa hei whakaurunga mo nga neurons i roto i te paparanga huna, te tikanga ko te hapa mo tenei paparanga huna ko nga hapa taumaha o nga neurons i kitea i roto i te paparanga whakaputa. Ka hoki whakamuri nga tatauranga hapa i roto i te whatunga ma te whatunga taumaha.

I muri i te tatau i nga hapa mo te whatunga, me whakahou nga taumaha i roto i te whatunga. Ka rite ki te korero, ko te tatau i te hapa ko te whakatau i te pikinga o te uara whakaputa. Whai muri i te tataunga o te titahatanga, ka taea te whakamahi i tetahi tukanga e kiia nei ko te hekenga rōnaki hei whakatika i nga taumahatanga o te whatunga. Ko te rōnaki he titahatanga, ka taea te ine i tōna koki. Ka tatauhia te titahatanga ma te whakatakoto i te "y ki runga" me te "piki" ki runga i te "oma". I roto i te take o te whatunga neural me te reeti hapa, ko te "y" te hapa tatau, ko te "x" ko nga tawhā o te whatunga. Ko nga tawhā o te whatunga he hononga ki nga uara hapa kua tatauhia, a, i te mea ka whakatikahia nga taumahatanga o te whatunga ka piki, ka heke ranei te hapa.

“Rōnaki hekenga” ko te tukanga o te whakahou i nga taumahatanga kia heke te reiti hapa. Ka whakamahia te Whakahoki tuara ki te matapae i te hononga i waenga i nga tawhā o te whatunga neural me te reeti hapa, e whakarite ana i te whatunga mo te hekenga rōnaki. Ko te whakangungu i te whatunga me te heke rōnaki ko te tātai i ngā taumahatanga mā te whakatö whakamua, te whakatairanga whakamuri i te hapa, me te whakahou i nga taumahatanga o te whatunga.