RNNs ແລະ LSTMs ແມ່ນຫຍັງໃນການຮຽນຮູ້ເລິກເຊິ່ງ?

ຫຼາຍໆຄວາມກ້າວຫນ້າທີ່ຫນ້າປະທັບໃຈທີ່ສຸດໃນການປຸງແຕ່ງພາສາທໍາມະຊາດແລະ AI chatbots ຖືກຂັບເຄື່ອນໂດຍ ເຄືອຂ່າຍ neural ທີ່ເກີດຂຶ້ນຊ້ຳ (RNNs) ແລະເຄືອຂ່າຍຄວາມຊົງຈຳໄລຍະສັ້ນ (LSTM). RNNs ແລະ LSTMs ແມ່ນສະຖາປັດຕະຍະກໍາເຄືອຂ່າຍ neural ພິເສດທີ່ສາມາດປະມວນຜົນຂໍ້ມູນຕາມລໍາດັບ, ຂໍ້ມູນທີ່ລໍາດັບເຫດການສໍາຄັນ. LSTMs ແມ່ນ ສະບັບປັບປຸງທີ່ສໍາຄັນຂອງ RNNs, ຄວາມສາມາດໃນການຕີຄວາມລໍາດັບຂອງຂໍ້ມູນທີ່ຍາວກວ່າ. ລອງພິຈາລະນາເບິ່ງວ່າ RNNs ແລະ LSTMS ມີໂຄງສ້າງແນວໃດ ແລະວິທີທີ່ພວກມັນສາມາດສ້າງລະບົບປະມວນຜົນພາສາທໍາມະຊາດທີ່ຊັບຊ້ອນໄດ້.

Feed-Forward Neural Networks ແມ່ນຫຍັງ?

ດັ່ງນັ້ນ, ກ່ອນທີ່ພວກເຮົາຈະສົນທະນາກ່ຽວກັບວິທີການຄວາມຊົງຈໍາໄລຍະສັ້ນ (LSTM) ແລະເຄືອຂ່າຍ Neural Networks Convolutional (CNN) ເຮັດວຽກ, ພວກເຮົາຄວນປຶກສາຫາລືກ່ຽວກັບຮູບແບບຂອງເຄືອຂ່າຍ neural ໂດຍທົ່ວໄປ.

ເຄືອຂ່າຍ neural ມີຈຸດປະສົງເພື່ອກວດສອບຂໍ້ມູນແລະຮຽນຮູ້ຮູບແບບທີ່ກ່ຽວຂ້ອງ, ດັ່ງນັ້ນຮູບແບບເຫຼົ່ານີ້ສາມາດຖືກນໍາໃຊ້ກັບຂໍ້ມູນອື່ນໆແລະຂໍ້ມູນໃຫມ່ສາມາດຈັດປະເພດໄດ້. ເຄືອຂ່າຍ neural ແບ່ງອອກເປັນສາມສ່ວນ: ຊັ້ນປ້ອນຂໍ້ມູນ, ຊັ້ນທີ່ເຊື່ອງໄວ້ (ຫຼືຊັ້ນທີ່ເຊື່ອງໄວ້ຫຼາຍ), ແລະຊັ້ນຜົນຜະລິດ.

ຊັ້ນປ້ອນຂໍ້ມູນແມ່ນສິ່ງທີ່ເອົາຂໍ້ມູນເຂົ້າໄປໃນເຄືອຂ່າຍ neural, ໃນຂະນະທີ່ຊັ້ນທີ່ເຊື່ອງໄວ້ແມ່ນສິ່ງທີ່ຮຽນຮູ້ຮູບແບບໃນຂໍ້ມູນ. ຊັ້ນທີ່ເຊື່ອງໄວ້ໃນຊຸດຂໍ້ມູນແມ່ນເຊື່ອມຕໍ່ກັບຊັ້ນວັດສະດຸປ້ອນແລະຜົນຜະລິດໂດຍ "ນ້ໍາຫນັກ" ແລະ "ອະຄະຕິ" ເຊິ່ງເປັນພຽງແຕ່ການສົມມຸດຕິຖານຂອງວິທີການຈຸດຂໍ້ມູນທີ່ກ່ຽວຂ້ອງກັນ. ນ້ ຳ ໜັກ ເຫຼົ່ານີ້ຖືກປັບໃນລະຫວ່າງການຝຶກ. ໃນຂະນະທີ່ເຄືອຂ່າຍຝຶກອົບຮົມ, ການຄາດເດົາຂອງຕົວແບບກ່ຽວກັບຂໍ້ມູນການຝຶກອົບຮົມ (ມູນຄ່າຜົນຜະລິດ) ແມ່ນປຽບທຽບກັບປ້າຍການຝຶກອົບຮົມຕົວຈິງ. ໃນລະຫວ່າງການຝຶກອົບຮົມ, ເຄືອຂ່າຍຄວນ (ຫວັງວ່າ) ຈະໄດ້ຮັບຄວາມຖືກຕ້ອງຫຼາຍຂຶ້ນໃນການຄາດຄະເນການພົວພັນລະຫວ່າງຈຸດຂໍ້ມູນ, ດັ່ງນັ້ນມັນສາມາດຈັດປະເພດຈຸດຂໍ້ມູນໃຫມ່ໄດ້ຢ່າງຖືກຕ້ອງ. ເຄືອຂ່າຍ neural ເລິກແມ່ນເຄືອຂ່າຍທີ່ມີຊັ້ນຫຼາຍໃນຊັ້ນກາງ / ຫຼາຍຊັ້ນເຊື່ອງໄວ້. ຫຼາຍຊັ້ນທີ່ເຊື່ອງໄວ້ແລະ neurons / nodes ຫຼາຍທີ່ຕົວແບບມີ, ຮູບແບບສາມາດຮັບຮູ້ຮູບແບບໃນຂໍ້ມູນທີ່ດີກວ່າ.

ເຄືອຂ່າຍ neural ປົກກະຕິ, feed-forward, ຄືອັນທີ່ຂ້ອຍໄດ້ອະທິບາຍຂ້າງເທິງນີ້ມັກຈະເອີ້ນວ່າ "ເຄືອຂ່າຍ neural ຫນາແຫນ້ນ". ເຄືອຂ່າຍ neural ທີ່ມີຄວາມຫນາແຫນ້ນເຫຼົ່ານີ້ຖືກລວມເຂົ້າກັບສະຖາປັດຕະຍະກໍາເຄືອຂ່າຍທີ່ແຕກຕ່າງກັນທີ່ມີຄວາມຊ່ຽວຊານໃນການຕີຄວາມຫມາຍຂອງຂໍ້ມູນປະເພດຕ່າງໆ.

RNNs (ເຄືອຂ່າຍ Neural ທີ່ເກີດຂຶ້ນຊ້ຳ) ແມ່ນຫຍັງ?

Recurrent Neural Networks ໃຊ້ຫຼັກການທົ່ວໄປຂອງເຄືອຂ່າຍ neural feed-forward ແລະເຮັດໃຫ້ພວກເຂົາສາມາດຈັດການຂໍ້ມູນຕາມລໍາດັບໂດຍ ໃຫ້ຕົວແບບມີຄວາມຊົງຈໍາພາຍໃນ. ສ່ວນ "Recurrent" ຂອງຊື່ RNN ແມ່ນມາຈາກຄວາມຈິງທີ່ວ່າ input ແລະ outputs loop. ເມື່ອຜົນຜະລິດຂອງເຄືອຂ່າຍຖືກຜະລິດ, ຜົນຜະລິດຈະຖືກຄັດລອກແລະກັບຄືນສູ່ເຄືອຂ່າຍເປັນການປ້ອນຂໍ້ມູນ. ໃນເວລາທີ່ຕັດສິນໃຈ, ບໍ່ພຽງແຕ່ການປ້ອນຂໍ້ມູນແລະຜົນຜະລິດໃນປະຈຸບັນໄດ້ຖືກວິເຄາະ, ແຕ່ການປ້ອນຂໍ້ມູນທີ່ຜ່ານມາຍັງຖືກພິຈາລະນາ. ໃນວິທີອື່ນ, ຖ້າການປ້ອນຂໍ້ມູນເບື້ອງຕົ້ນສໍາລັບເຄືອຂ່າຍແມ່ນ X ແລະຜົນຜະລິດແມ່ນ H, ທັງ H ແລະ X1 (ການປ້ອນຂໍ້ມູນຕໍ່ໄປໃນລໍາດັບຂໍ້ມູນ) ຈະຖືກປ້ອນເຂົ້າໃນເຄືອຂ່າຍສໍາລັບຮອບຕໍ່ໄປຂອງການຮຽນຮູ້. ດ້ວຍວິທີນີ້, ສະພາບການຂອງຂໍ້ມູນ (ວັດສະດຸປ້ອນທີ່ຜ່ານມາ) ຖືກຮັກສາໄວ້ເປັນເຄືອຂ່າຍລົດໄຟ.

ຜົນໄດ້ຮັບຂອງສະຖາປັດຕະຍະກໍານີ້ແມ່ນວ່າ RNNs ສາມາດຈັດການຂໍ້ມູນຕາມລໍາດັບ. ຢ່າງໃດກໍຕາມ, RNNs ທົນທຸກຈາກສອງບັນຫາ. RNNs ທົນທຸກຈາກ gradient ຫາຍໄປແລະບັນຫາ gradient ລະເບີດ.

ຄວາມຍາວຂອງລໍາດັບທີ່ RNN ສາມາດຕີຄວາມຫມາຍແມ່ນຈໍາກັດຫຼາຍ, ໂດຍສະເພາະໃນການປຽບທຽບກັບ LSTMs.

LSTMs (Long Short-Term Memory Networks) ແມ່ນຫຍັງ?

ເຄືອຂ່າຍຄວາມຊົງຈໍາໄລຍະສັ້ນໄລຍະຍາວສາມາດຖືກພິຈາລະນາເປັນສ່ວນຂະຫຍາຍຂອງ RNNs, ອີກເທື່ອຫນຶ່ງການນໍາໃຊ້ແນວຄວາມຄິດຂອງການຮັກສາສະພາບການຂອງວັດສະດຸປ້ອນ. ຢ່າງໃດກໍຕາມ, LSTMs ໄດ້ຖືກດັດແປງໃນຫຼາຍວິທີທີ່ສໍາຄັນທີ່ອະນຸຍາດໃຫ້ພວກເຂົາຕີຄວາມຫມາຍຂໍ້ມູນທີ່ຜ່ານມາດ້ວຍວິທີການທີ່ເຫນືອກວ່າ. ການປ່ຽນແປງທີ່ເຮັດກັບ LSTMs ຈັດການກັບບັນຫາ gradient ທີ່ຫາຍໄປແລະເຮັດໃຫ້ LSTMs ສາມາດພິຈາລະນາລໍາດັບການປ້ອນຂໍ້ມູນທີ່ຍາວກວ່າຫຼາຍ.

ແບບຈໍາລອງ LSTM ແມ່ນປະກອບດ້ວຍ ສາມອົງປະກອບທີ່ແຕກຕ່າງກັນ, ຫຼືປະຕູຮົ້ວ. ມີ ປະຕູປ້ອນຂໍ້ມູນ, ປະຕູອອກ, ແລະປະຕູລືມ. ເຊັ່ນດຽວກັບ RNNs, LSTMs ເອົາວັດສະດຸປ້ອນຈາກຂັ້ນຕອນທີ່ຜ່ານມາເຂົ້າໄປໃນບັນຊີໃນເວລາທີ່ດັດແກ້ຫນ່ວຍຄວາມຈໍາຂອງຕົວແບບແລະນ້ໍາຫນັກຂອງວັດສະດຸປ້ອນ. ປະຕູປ້ອນຂໍ້ມູນເຮັດໃຫ້ການຕັດສິນໃຈກ່ຽວກັບຄຸນຄ່າອັນໃດສຳຄັນ ແລະຄວນປ່ອຍຜ່ານຕົວແບບ. ຟັງຊັນ sigmoid ຖືກນໍາໃຊ້ໃນປະຕູປ້ອນເຂົ້າ, ເຊິ່ງເຮັດໃຫ້ການກໍານົດກ່ຽວກັບຄ່າທີ່ຈະສົ່ງຜ່ານເຄືອຂ່າຍທີ່ເກີດຂຶ້ນຄືນ. ສູນຫຼຸດລົງມູນຄ່າ, ໃນຂະນະທີ່ 1 ຮັກສາມັນ. ຟັງຊັນ TanH ຖືກນໍາໃຊ້ຢູ່ທີ່ນີ້ເຊັ່ນດຽວກັນ, ເຊິ່ງຕັດສິນໃຈວ່າຕົວແບບທີ່ມີມູນຄ່າການປ້ອນຂໍ້ມູນມີຄວາມສໍາຄັນແນວໃດ, ຕັ້ງແຕ່ -1 ຫາ 1.

ຫຼັງ​ຈາກ​ປັດ​ຈຸ​ບັນ​ການ​ປ້ອນ​ຂໍ້​ມູນ​ແລະ​ສະ​ພາບ​ຄວາມ​ຊົງ​ຈໍາ​ແມ່ນ​ໄດ້​ຮັບ​ການ​ບັນ​ຊີ​ສໍາ​ລັບ​ການ​, ປະ​ຕູ​ຜະ​ລິດ​ຕະ​ພັນ​ຕັດ​ສິນ​ໃຈ​ວ່າ​ຄ່າ​ໃດ​ທີ່​ຈະ​ຊຸກ​ດັນ​ໃຫ້​ກັບ​ຂັ້ນ​ຕອນ​ຕໍ່​ໄປ​. ໃນປະຕູຜົນຜະລິດ, ຄ່າຕ່າງໆໄດ້ຖືກວິເຄາະແລະກໍານົດຄວາມສໍາຄັນຕັ້ງແຕ່ -1 ຫາ 1. ນີ້ຄວບຄຸມຂໍ້ມູນກ່ອນທີ່ຈະດໍາເນີນການກັບການຄໍານວນຂັ້ນຕອນຕໍ່ໄປ. ສຸດທ້າຍ, ວຽກງານຂອງປະຕູລືມແມ່ນເພື່ອລຸດຂໍ້ມູນທີ່ຕົວແບບຖືວ່າບໍ່ຈໍາເປັນໃນການຕັດສິນໃຈກ່ຽວກັບລັກສະນະຂອງມູນຄ່າການປ້ອນຂໍ້ມູນ. ປະຕູລືມໃຊ້ຟັງຊັນ sigmoid ກ່ຽວກັບຄ່າ, ຜົນຜະລິດຕົວເລກລະຫວ່າງ 0 (ລືມອັນນີ້) ແລະ 1 (ຮັກສາອັນນີ້).

ເຄືອຂ່າຍ neural LSTM ແມ່ນຜະລິດຈາກທັງສອງຊັ້ນ LSTM ພິເສດທີ່ສາມາດຕີຄວາມຫມາຍຂໍ້ມູນຄໍາຕາມລໍາດັບແລະການເຊື່ອມຕໍ່ທີ່ຫນາແຫນ້ນຄືກັບທີ່ອະທິບາຍຂ້າງເທິງ. ເມື່ອຂໍ້ມູນເຄື່ອນຍ້າຍຜ່ານຊັ້ນ LSTM, ມັນຈະເຂົ້າໄປໃນຊັ້ນທີ່ເຊື່ອມຕໍ່ຢ່າງຫນາແຫນ້ນ.