Cad iad RNNanna agus LSTManna sa Domhainfhoghlaim?

Tá go leor de na dul chun cinn is suntasaí i bpróiseáil teanga nádúrtha agus chatbots AI á dtiomáint ag Líonraí Néaracha Athfhillteacha (RNNanna) agus líonraí Cuimhne Fada Gearrthéarmach (LSTM). RNNs agus LSTManna is ailtireachtaí líonraí néarúla speisialta iad atá in ann sonraí seicheamhacha a phróiseáil, sonraí nuair a bhíonn tábhacht ag baint le hordú cróineolaíoch. Tá LSTManna leaganacha feabhsaithe de RNNanna go bunúsach, atá in ann seichimh níos faide sonraí a léirmhíniú. Breathnaímid ar an gcaoi a bhfuil RNNanna agus LSTMS struchtúrtha agus conas a chuireann siad ar chumas córais próiseála teanga nádúrtha sofaisticiúla a chruthú.

Cad iad Líonraí Néaracha Feed-Forward?

Mar sin sula labhraímid faoin gcaoi a n-oibríonn Cuimhne Ghearrthéarmach Fhada (LSTM) agus Líonraí Néaracha Comhdhlúite (CNN), ba cheart dúinn formáid líonra néareolaíoch i gcoitinne a phlé.

Tá líonra néarúil ceaptha sonraí a scrúdú agus patrúin ábhartha a fhoghlaim, ionas gur féidir na patrúin seo a chur i bhfeidhm ar shonraí eile agus sonraí nua a rangú. Tá líonraí neural roinnte ina dtrí chuid: ciseal ionchuir, ciseal folaithe (nó sraitheanna iomadúla i bhfolach), agus ciseal aschuir.

Is é an ciseal ionchuir a thógann na sonraí isteach sa líonra neural, agus is iad na sraitheanna folaithe a fhoghlaimíonn na patrúin sna sonraí. Tá na sraitheanna folaithe sa tacar sonraí ceangailte leis na sraitheanna ionchuir agus aschuir de réir “meáchain” agus “claonadh” nach bhfuil iontu ach boinn tuisceana faoin gcaoi a bhfuil baint ag na pointí sonraí lena chéile. Déantar na meáchain seo a choigeartú le linn na hoiliúna. De réir mar a thraenálann an líonra, cuirtear buille faoi thuairim na samhla faoi na sonraí oiliúna (na luachanna aschuir) i gcomparáid leis na lipéid oiliúna iarbhír. Le linn na hoiliúna, ba cheart don líonra (tá súil agam) a bheith níos cruinne maidir le caidrimh idir pointí sonraí a thuar, ionas gur féidir leis pointí sonraí nua a rangú go cruinn. Is éard is líonraí néaracha doimhne ann ná líonraí a bhfuil níos mó sraitheanna acu sna sraitheanna lár/níos mó i bhfolach. Dá mhéad sraitheanna ceilte agus níos mó néaróin/nóid atá ag an tsamhail, is amhlaidh is fearr is féidir leis an tsamhail patrúin sna sonraí a aithint.

Is minic a dtugtar “líonraí néaracha dlútha” ar líonraí néaracha rialta, ar aghaidh, cosúil leis na cinn ar chuir mé síos orthu thuas. Comhcheanglaítear na líonraí néaracha dlúth seo le hailtireachtaí líonra éagsúla a dhéanann sainfheidhmiú ar léirmhíniú a dhéanamh ar chineálacha éagsúla sonraí.

Cad iad RNNanna (Líonraí Néaracha Athfhillteacha)?

Glacann Líonraí Néaracha Athfhillteacha an prionsabal ginearálta maidir le líonraí néaracha réamhbhothúcháin agus cuireann siad ar a gcumas sonraí seicheamhacha a láimhseáil trí cuimhne inmheánach a thabhairt don mhúnla. Tagann an chuid “Athfhillteach” den ainm RNN ón bhfíric go bhfuil an lúb ionchuir agus aschuir. Nuair a tháirgtear aschur an líonra, déantar an t-aschur a chóipeáil agus a chur ar ais chuig an líonra mar ionchur. Agus cinneadh á dhéanamh, ní hamháin go ndéantar anailís ar an ionchur agus ar an aschur reatha, ach déantar breithniú ar an ionchur roimhe seo freisin. Chun é sin a chur ar bhealach eile, más é X an t-ionchur tosaigh don líonra agus gurb é H an t-aschur, cuirtear H agus X1 araon (an chéad ionchur eile sa seicheamh sonraí) isteach sa líonra don chéad bhabhta foghlama eile. Ar an mbealach seo, caomhnaítear comhthéacs na sonraí (na hionchuir roimhe seo) mar a thraenálann an líonra.

Is é toradh na hailtireachta seo ná go bhfuil RNNanna in ann sonraí seicheamhacha a láimhseáil. Mar sin féin, tá RNNs ag fulaingt ó chúpla ceist. RNNs ag fulaingt ó na grádán ag dul in olcas agus fadhbanna grádáin ag pléascadh.

Tá fad na sraitheanna is féidir le RNN a léirmhíniú sách teoranta, go háirithe i gcomparáid le LSTManna.

Cad iad LSTManna (Líonraí Cuimhne Fadtéarmacha Gearrthéarmacha)?

Is féidir líonraí Cuimhne Fada Gearrthéarmacha a mheas mar shíntí ar RNNanna, agus arís eile á gcur i bhfeidhm ar an gcoincheap maidir le comhthéacs na n-ionchur a chaomhnú. Mar sin féin, athraíodh LSTManna ar roinnt bealaí tábhachtacha a ligeann dóibh sonraí ón am atá caite a léirmhíniú le modhanna níos fearr. Déileálann na hathruithe a rinneadh ar LSTManna leis an bhfadhb grádán atá ag dul in olcas agus cuireann siad ar chumas LSTManna seichimh ionchuir i bhfad níos faide a bhreithniú.

Tá samhlacha LSTM comhdhéanta de trí chomhpháirt éagsúla, nó geataí. Tá an geata ionchuir, geata aschuir, agus geata dearmad. Cosúil le RNNanna, cuireann LSTManna ionchuir ón gcéim ama roimhe sin san áireamh agus cuimhne an tsamhail agus meáchain ionchuir á mionathrú. Déanann an geata ionchuir cinntí faoi na luachanna atá tábhachtach agus ar cheart iad a ligean tríd an tsamhail. Úsáidtear feidhm sigmoid sa gheata ionchuir, a dhéanann cinntí faoi na luachanna a rachaidh tríd an líonra athfhillteach. Titeann nialais ar an luach, agus caomhnaíonn 1 é. Úsáidtear feidhm TanH anseo freisin, a chinneann cé chomh tábhachtach don mhúnla atá na luachanna ionchuir, idir -1 agus 1.

Tar éis cuntas a thabhairt ar na hionchuir reatha agus ar an staid chuimhne, cinneann an geata aschuir cé na luachanna atá le brú go dtí an chéad chéim eile. Sa gheata aschuir, déantar anailís ar na luachanna agus sanntar tábhacht leo ó -1 go 1. Rialaíonn sé seo na sonraí sula n-iompraítear iad go dtí an chéad chéim ama eile a ríomh. Ar deireadh, is é post an gheata dearmad ná faisnéis a scaoileadh a mheasann an tsamhail nach bhfuil gá leis chun cinneadh a dhéanamh faoi nádúr na luachanna ionchuir. Úsáideann an geata dearmad feidhm sigmoid ar na luachanna, ag aschur uimhreacha idir 0 (déan dearmad air seo) agus 1 (coinnigh é seo).

Déantar líonra néarúil LSTM as an dá shraith speisialta LSTM atá in ann sonraí focal seicheamhach a léirmhíniú agus na dlúth-cheangail cosúil leis na cinn a gcuirtear síos orthu thuas. Chomh luath agus a ghluaiseann na sonraí trí na sraitheanna LSTM, téann sé ar aghaidh go dtí na sraitheanna dlúthcheangailte.