Naon ari RNN sareng LSTM dina Pangajaran Jero?

Seueur kamajuan anu paling narik dina ngolah basa alami sareng AI chatbots didorong ku Jaringan Syaraf Recurrent (RNNs) jeung jaringan Long Short-Term Memory (LSTM). RNNs jeung LSTMs mangrupa arsitéktur jaringan saraf husus nu bisa ngolah data sequential, data dimana urutan kronologis penting. LSTMs nyaéta dasarna ningkat versi RNNs, sanggup napsirkeun runtuyan data anu leuwih panjang. Hayu urang tingali kumaha RNN sareng LSTMS terstruktur sareng kumaha aranjeunna tiasa nyiptakeun sistem pangolahan basa alami anu canggih.

Naon ari Jaringan Neural Feed-Forward?

Janten sateuacan urang ngobrol ngeunaan kumaha Long Short-Term Memory (LSTM) sareng Convolutional Neural Networks (CNN) jalan, urang kedah ngabahas format jaringan saraf sacara umum.

Jaringan saraf dimaksudkeun pikeun nguji data sareng diajar pola anu relevan, supados pola ieu tiasa diterapkeun kana data sanés sareng data énggal tiasa diklasifikasikeun. Jaringan saraf dibagi jadi tilu bagian: lapisan input, lapisan disumputkeun (atawa sababaraha lapisan disumputkeun), sarta lapisan kaluaran.

Lapisan input mangrupikeun anu nyandak data kana jaringan saraf, sedengkeun lapisan anu disumputkeun mangrupikeun anu diajar pola dina data. Lapisan disumputkeun dina susunan data disambungkeun ka lapisan input jeung kaluaran ku "beurat" jeung "biases" nu ngan asumsi kumaha titik data nu patali jeung unggal lianna. Beurat ieu disaluyukeun nalika latihan. Nalika jaringan ngalatih, perkiraan modél ngeunaan data latihan (nilai kaluaran) dibandingkeun sareng labél latihan anu saleresna. Salila latihan, jaringan kedah (mudahan) langkung akurat dina ngaramal hubungan antara titik data, ku kituna tiasa akurat mengklasifikasikan titik data anyar. Jaringan saraf jero nyaéta jaringan anu ngagaduhan langkung lapisan dina lapisan tengah / langkung disumputkeun. Lapisan anu langkung disumputkeun sareng langkung seueur neuron / titik dina modél, langkung saé modél tiasa mikawanoh pola dina data.

Jaringan saraf biasa, feed-forward, sapertos anu dijelaskeun di luhur sering disebut "jaringan saraf padet". Jaringan saraf padet ieu digabungkeun sareng arsitéktur jaringan anu béda-béda anu ngahususkeun dina napsirkeun sababaraha jinis data.

Naon ari RNNs (Recurrent Neural Networks)?

Recurrent Neural Networks nyandak prinsip umum jaringan neural feed-forward sareng ngaktifkeunana pikeun nanganan data sequential ku méré modél memori internal. Bagian "Recurrent" tina nami RNN asalna tina kanyataan yén input sareng output loop. Sakali kaluaran jaringan dihasilkeun, kaluaran disalin sarta balik ka jaringan salaku input. Nalika nyandak kaputusan, henteu ngan ukur input sareng kaluaran anu ayeuna dianalisis, tapi input sateuacana ogé dianggap. Pikeun nempatkeun éta cara sejen, lamun input awal pikeun jaringan nyaeta X jeung kaluaran nyaeta H, duanana H jeung X1 (input salajengna dina urutan data) fed kana jaringan pikeun babak salajengna pangajaran. Ku cara kieu, kontéks data (input saméméhna) dilestarikan salaku karéta jaringan.

Hasil tina arsitéktur ieu nyaéta RNN mampuh pikeun nanganan data sequential. Nanging, RNN ngalaman sababaraha masalah. RNNs nalangsara ti masalah gradién ngaleungit sareng ngabeledug.

Panjang runtuyan nu RNN bisa napsirkeun rada kawates, utamana dibandingkeun jeung LSTMs.

Naon ari LSTM (Jaringan Mémori Jangka Pendek Panjang)?

Jaringan Mémori Jangka Pendek Panjang tiasa dianggap ekstensi RNN, sakali deui nerapkeun konsép pikeun ngajaga kontéks input. Nanging, LSTM parantos dirobih ku sababaraha cara anu penting anu ngamungkinkeun aranjeunna napsirkeun data anu kapungkur nganggo metode anu langkung luhur. Parobahan anu dilakukeun pikeun LSTM nungkulan masalah gradién anu ngaleungit sareng ngamungkinkeun LSTM mertimbangkeun sekuen input anu langkung panjang.

model LSTM diwangun ku tilu komponén béda, atawa Gerbang. Aya hiji gerbang input, gerbang kaluaran, sareng gerbang hilap. Sapertos RNN, LSTM nyandak input tina léngkah-léngkah sateuacana nalika ngarobih mémori modél sareng beurat input. Gerbang input nyieun kaputusan ngeunaan nilai-nilai mana anu penting sareng kedah dilebetkeun kana modél. A fungsi sigmoid dipaké dina gerbang input, nu ngajadikeun determinations ngeunaan nilai nu bakal dikirimkeun ngaliwatan jaringan ulang. Nol pakait nilai, bari 1 preserves eta. Di dieu ogé dianggo fungsi TanH, anu mutuskeun kumaha pentingna kana modél nilai input, mimitian ti -1 dugi ka 1.

Saatos input ayeuna sareng kaayaan mémori diitung, gerbang kaluaran mutuskeun nilai mana anu bakal didorong kana léngkah salajengna. Dina gerbang kaluaran, nilai-nilai dianalisis sareng ditugaskeun pentingna ti -1 dugi ka 1. Ieu ngatur data sateuacan diteruskeun kana itungan léngkah-léngkah salajengna. Tungtungna, pakasaban tina Gerbang poho nyaéta leupaskeun informasi nu model deems teu perlu nyieun kaputusan ngeunaan sipat nilai input. Gerbang poho ngagunakeun fungsi sigmoid dina nilai, kaluaran angka antara 0 (poho ieu) jeung 1 (tetep ieu).

Jaringan saraf LSTM dijieun tina duanana lapisan LSTM husus nu bisa napsirkeun data kecap sequential jeung densely disambungkeun kawas nu ditétélakeun di luhur. Sakali data ngalir ngaliwatan lapisan LSTM, éta proceeds kana lapisan densely disambungkeun.