RNN û LSTM di Fêrbûna Kûr de çi ne?

Gelek pêşkeftinên herî berbiçav ên di pêvajoya zimanê xwezayî û chatbotên AI-ê de têne rêve kirin Tora Neuralî ya Dubarekirî (RNN) û torên Bîra Kurt-Term (LSTM). RNN û LSTM mîmariya tora neuralî ya taybetî ne ku dikarin daneyên rêzdar, daneyên ku rêzkirina kronolojîk girîng e, bişopînin. LSTM hene guhertoyên bingehîn ên RNN-ê çêtir kirin, dikare rêzikên dirêjtir ên daneyan şîrove bike. Ka em mêze bikin ka RNN û LSTMS çawa têne saz kirin û ew çawa diafirînin pergalên pêvajoyî yên zimanê xwezayî yên sofîstîke.

Tora Neuralî ya Feed-Pêş çi ne?

Ji ber vê yekê berî ku em bipeyivin ka Bîra Kurt-Term (LSTM) û Tora Neuralî ya Hevbeş (CNN) çawa dixebitin, divê em bi gelemperî şêwaza tora neuralî nîqaş bikin.

Tora neuralî ji bo vekolîna daneyan û fêrbûna qalibên têkildar tê armanc kirin, da ku ev nimûne li ser daneyên din werin sepandin û daneyên nû werin dabeş kirin. Tora neuralî di sê beşan de têne dabeş kirin: qatek têketinê, qatek veşartî (an çend qatên veşartî), û qatek derketinê.

Tebeqeya têketinê ew e ku daneyan di nav tora neuralî de digire, dema ku qatên veşartî ew e ku nimûneyên di daneyê de fêr dibin. Qatên veşartî yên di daneyê de ji hêla "giran" û "biases" ve bi qatên ketin û derketinê ve têne girêdan, ku tenê texmîn in ka xalên daneyê çawa bi hevûdu re têkildar in. Ev giranî di dema perwerdehiyê de têne sererast kirin. Gava ku torê trênê dike, texmînên modelê yên di derheqê daneyên perwerdehiyê de (nirxên derketinê) li hember etîketên perwerdehiya rastîn têne berhev kirin. Di dema qursa perwerdehiyê de, pêdivî ye ku tor (hêvîdar) di pêşbînkirina têkiliyên di navbera xalên daneyê de rasttir bibe, ji ber vê yekê ew dikare bi duristî xalên daneya nû dabeş bike. Tora neuralî ya kûr toreyên ku di navberê/tebeqên bêtir veşartî de pirtir qat in. Çiqas qatên veşartî û bêtir noyron / nodên modelê hebin, ew qas çêtir model dikare qalibên di daneyê de nas bike.

Ji torên neuralî yên birêkûpêk, ber bi pêş ve, mîna yên ku min li jor behs kirin, bi gelemperî wekî "tora neuralî ya dagirtî" tê gotin. Van torên neuralî yên qels bi mîmariyên torê yên cihêreng ên ku di şîrovekirina cûreyên cûda yên daneyan de pispor in têne hev kirin.

RNN (Torên Neuralî yên Dubarekirî) çi ne?

Tora Neuralî ya Dubarekirî prensîba giştî ya torên neuralî yên bipêşvebir digire û wan dihêle ku daneyên rêzdar bi destê dayîna modelê bîra navxweyî. Beşa "Dabare" ya navê RNN ji vê yekê tê ku têketin û derketinê diherike. Dema ku derana torê tê hilberandin, encam tê kopî kirin û wekî têketinê vedigere torê. Dema ku biryarek tê girtin, ne tenê têketin û derketina heyî têne analîz kirin, lê têketina berê jî tê hesibandin. Bi awayekî din, heke ketina destpêkê ya torê X be û derketin H be, hem H û hem jî X1 (navbera paşîn a di rêza daneyê de) ji bo fêrbûna dora paşîn di nav torê de têne xwarin. Bi vî rengî, çarçoveya daneyan (têketinên berê) wekî trênên torê têne parastin.

Encama vê mîmariyê ev e ku RNN jêhatî ne ku daneyên rêzdar bi rê ve bibin. Lêbelê, RNN ji çend pirsgirêkan dikişînin. RNN ji êşê dikişînin Pirsgirêkên gradientê winda dibin û pirsgirêkên gradientê diteqin.

Dirêjahiya rêzikên ku RNN dikare şîrove bike, bi taybetî li gorî LSTM-an pir kêm in.

LSTM (Torên Bîra Kurt-Dûrdirêj) çi ne?

Tora Bîra Kurt-Derdirêj dikare wekî dirêjkirina RNN-an were hesibandin, careke din têgeha parastina çarçoweya têketinê bicîh tîne. Lêbelê, LSTM bi çend awayên girîng hatine guheztin ku destûrê dide wan ku daneyên paşîn bi rêbazên bilindtir şîrove bikin. Guhertinên ku li LSTM-an têne kirin bi pirsgirêka gradientê ya windabûnê re mijûl dibin û dihêle LSTMs rêzikên têketinê yên pir dirêjtir bifikirin.

Modelên LSTM ji wan têne çêkirin sê pêkhateyên cuda, an dergehên. Heye dergehek têketinê, dergehek derketinê, û deriyek jibîrkirinê. Mîna RNN-an, LSTM dema ku bîranîn û giraniya têketinê ya modelê diguhezîne têketina ji qonaxa berê digire ber çavan. Deriyê têketinê biryarê dide ka kîjan nirx girîng in û divê di nav modelê de werin berdan. Di dergehê têketinê de fonksiyonek sigmoîd tê bikar anîn, ku biryar dide ka kîjan nirxan di nav tora dubare de derbas dibe. Zero nirxê davêje, dema ku 1 wê diparêze. Fonksiyonek TanH jî li vir tê bikar anîn, ku biryar dide ku nirxên têketinê ji -1 heta 1-ê ji modelê re çiqas girîng in.

Piştî ku têketinên heyî û rewşa bîranînê têne hesibandin, dergehê derketinê biryar dide ku kîjan nirxan bikişîne gava gava pêşîn. Di dergehê derketinê de, nirx têne analîz kirin û girîngiyek ji -1 heya 1-ê diguhere. Ev daneyan berî ku ew ber bi hesabkirina gav-dema din ve were kirin rêve dike. Di dawiyê de, karê deriyê jibîrkirinê ev e ku agahdariya ku model nepêwist dibîne da ku biryarek li ser cewherê nirxên têketinê bide. Deriyê jibîrkirinê li ser nirxan fonksiyonek sigmoîd bikar tîne, hejmarên di navbera 0 (vê ji bîr bike) û 1 (vê bihêle) derdixe.

Tora neuralî ya LSTM ji her du qatên taybetî yên LSTM-yê hatî çêkirin ku dikare daneya peyvê ya rêzdar û yên ku bi zexm ve girêdayî mîna yên ku li jor hatine destnîşan kirin şîrove bike. Gava ku dane di nav qatên LSTM-ê de derbas dibe, ew berbi qatên bi qelsî ve girêdayî diçe.