Cad is Backpropagation ann?

Cad is Backpropagation ann?

Tá córais dhomhainfhoghlama in ann patrúin thar a bheith casta a fhoghlaim, agus cuireann siad é seo i gcrích trína gcuid meáchain a choigeartú. Conas a choigeartaítear go beacht meáchain líonra néarach domhain? Déantar iad a choigeartú tríd próiseas ar a dtugtar backpropagation. Gan backpropagation, ní bheadh ​​líonraí néaracha domhain in ann tascanna a dhéanamh mar íomhánna a aithint agus teanga nádúrtha a léirmhíniú. Tá sé ríthábhachtach tuiscint a fháil ar an gcaoi a n-oibríonn aisleathadh chun líonraí néaracha doimhne a thuiscint i gcoitinne, mar sin déanaimis plé ar iomadú cúlghabhála agus féachfaimid conas a úsáidtear an próiseas chun meáchain líonra a choigeartú.

Féadann sé a bheith deacair cúlluaiteáil a thuiscint, agus is féidir leis na ríomhanna a úsáidtear chun cúliomaíocht a dhéanamh a bheith casta go leor. Féachfaidh an t-alt seo le tuiscint iomasach a thabhairt duit ar iomadú droma, gan mórán úsáide a bhaint as matamaitic chasta. Mar sin féin, tá roinnt plé ar an matamaitic taobh thiar de backpropagation riachtanach.

An Sprioc de Backpropagation

A ligean ar tús a chur leis an sprioc de backpropagation a shainiú. Is iad meáchain líonra domhain néaraigh neart na nasc idir aonaid de líonra néarúil. Nuair a bhunaítear an líonra néarúil déantar boinn tuisceana faoin gcaoi a bhfuil na haonaid i sraith amháin ceangailte leis na sraitheanna ceangailte leis. De réir mar a ghluaiseann na sonraí tríd an líonra néarúil, ríomhtar na meáchain agus déantar boinn tuisceana. Nuair a shroicheann na sonraí ciseal deiridh an líonra, déantar tuar faoin gcaoi a bhfuil baint ag na gnéithe leis na haicmí sa tacar sonraí. Is é an difríocht idir na luachanna tuartha agus na luachanna iarbhír ná an caillteanas/earráid, agus an sprioc a bhaineann le cúl-leagan Is é an caillteanas a laghdú. Baintear é seo amach trí mheáchain an líonra a choigeartú, rud a fhágann go mbeidh na toimhdí níos cosúla leis na fíorchaidrimh idir na gnéithe ionchuir.

Oiliúint Líonra Néarúil domhain

Sular féidir backpropagation a dhéanamh ar a líonra neodrach, ní mór pas traenála rialta/chun cinn de líonra néarúil a dhéanamh. Nuair a chruthaítear líonra néarúil, cuirtear tús le sraith meáchain. Athrófar luach na meáchain de réir mar a chuirtear oiliúint ar an ngréasán. Is féidir pas oiliúna chun cinn líonra néaraigh a cheapadh mar thrí chéim scoite: gníomhachtú néaróin, aistriú néaróin, agus iomadú chun tosaigh.

Agus líonra néarúil domhain á oiliúint againn, ní mór dúinn úsáid a bhaint as ilfheidhmeanna matamaitice. Tá néaróin i líonra néarúil domhain comhdhéanta de na sonraí ag teacht isteach agus feidhm gníomhachtaithe, a chinneann an luach is gá chun an nód a ghníomhachtú. Ríomhtar luach gníomhachtaithe néaróin le roinnt comhpháirteanna, ar suim ualaithe na n-ionchur é. Braitheann na meáchain agus na luachanna ionchuir ar innéacs na nóid a úsáidtear chun an gníomhachtú a ríomh. Ní mór uimhir eile a chur san áireamh agus an luach gníomhachtaithe, luach claonta, á ríomh. Ní athraíonn luachanna laofachta, mar sin ní dhéantar iad a iolrú mar aon leis an meáchan agus na hionchuir, ní dhéantar iad a shuimiú. Ciallaíonn sé seo go léir go bhféadfaí an chothromóid seo a leanas a úsáid chun an luach gníomhachtaithe a ríomh:

Gníomhachtú = suim (meáchan * ionchur) + claonadh

Tar éis an néaróin a ghníomhachtú, úsáidtear feidhm gníomhachtaithe chun a chinneadh cad é an t-aschur a bheidh ag aschur iarbhír na néaróin. Tá feidhmeanna gníomhachtaithe éagsúla optamach le haghaidh tascanna foghlama éagsúla, ach áirítear ar na feidhmeanna gníomhachtaithe a úsáidtear go coitianta an fheidhm sigmoid, an fheidhm Tanh, agus an fheidhm ReLU.

Chomh luath agus a ríomhtar aschuir an néaróin tríd an luach gníomhachtaithe a rith tríd an bhfeidhm gníomhachtaithe atá ag teastáil, déantar iomadú ar aghaidh. Níl i gceist le iomadú ar aghaidh ach aschuir ciseal amháin a thógáil agus iad a dhéanamh mar ionchuir na sraithe eile. Úsáidtear na hionchuir nua ansin chun na feidhmeanna gníomhachtaithe nua a ríomh, agus cuirtear aschur na hoibríochta seo ar aghaidh chuig an tsraith seo a leanas. Leanann an próiseas seo an bealach ar fad go dtí deireadh an líonra néaraigh.

Iomadú cúltaca sa Líonra

Glacann próiseas an chúl-leithris na cinntí deiridh a bhaineann le pas oiliúna múnla, agus ansin cinneann sé na hearráidí sna cinntí sin. Ríomhtar na hearráidí trí chodarsnacht a dhéanamh idir aschuir/cinntí an líonra agus aschuir ionchasacha/inmhianaithe an líonra.

Chomh luath agus a ríomhtar na hearráidí i gcinntí an líonra, déantar an fhaisnéis seo a chúl- iomadú tríd an líonra agus athraítear paraiméadair an líonra feadh na slí. Tá an modh a úsáidtear chun meáchain an líonra a nuashonrú bunaithe ar chacalcalas, go sonrach, tá sé bunaithe sa riail slabhra. Mar sin féin, ní gá tuiscint a fháil ar chalcas chun an smaoineamh atá taobh thiar de iomadú cúil a thuiscint. Bíodh a fhios agat, nuair a sholáthraítear luach aschuir ó néaróin, go ríomhtar fána an luach aschuir le feidhm aistrithe, rud a tháirgeann aschur díorthaithe. Agus backpropagation á dhéanamh, déantar an earráid le haghaidh néaróin ar leith a ríomh de réir na nithe seo a leanas foirmle:

error = (expected_output – actual_output) * fána luach aschuir néaróin

Agus iad ag feidhmiú ar na néaróin sa chiseal aschuir, úsáidtear an luach ranga mar an luach ionchais. Tar éis an earráid a ríomh, úsáidtear an earráid mar ionchur do na néaróin sa chiseal folaithe, rud a chiallaíonn gurb é an earráid don chiseal folaithe seo ná earráidí ualaithe na néaróin a fhaightear laistigh den chiseal aschuir. Téann ríomh na n-earráidí ar gcúl tríd an líonra feadh an líonra meáchain.

Tar éis na hearráidí don líonra a ríomh, ní mór na meáchain sa líonra a nuashonrú. Mar a luadh, is éard atá i gceist leis an earráid a ríomh ná fána an luach aschuir a chinneadh. Tar éis an fána a ríomh, is féidir próiseas ar a dtugtar shliocht grádán a úsáid chun na meáchain sa líonra a choigeartú. Is fána é grádán, ar féidir a uillinn/géar a thomhas. Ríomhtar fána trí “y over” nó “ardú” thar an “rith” a bhreacadh. I gcás an líonra néaraigh agus an ráta earráide, is é “y” an earráid ríofa, agus is é an “x” paraiméadair an líonra. Tá gaol idir paraiméadair an líonra agus na luachanna earráide ríofa, agus de réir mar a choigeartaítear meáchain an líonra méadaíonn nó laghdaítear an earráid.

Is éard atá i gceist le “sliocht grádáin” an próiseas chun na meáchain a nuashonrú ionas go laghdaítear an ráta earráide. Úsáidtear backpropagation chun an gaol idir paraiméadair an líonra néaraigh agus an ráta earráide a thuar, a bhunaíonn an líonra le haghaidh shliocht grádáin. Is éard a bhí i gceist le líonra a oiliúint de shliocht grádáin ná na meáchain a ríomh trí iomadú ar aghaidh, an earráid a chúl-iomadú, agus meáchain an líonra a nuashonrú ansin.