რა არის RNN და LSTM ღრმა სწავლაში?

ბუნებრივი ენის დამუშავებისა და ხელოვნური ინტელექტის ჩატბოტების მრავალი ყველაზე შთამბეჭდავი მიღწევა განპირობებულია განმეორებადი ნერვული ქსელები (RNNs) და გრძელვადიანი მოკლევადიანი მეხსიერების (LSTM) ქსელები. RNN და LSTMs არის სპეციალური ნერვული ქსელის არქიტექტურები, რომლებსაც შეუძლიათ თანმიმდევრული მონაცემების დამუშავება, მონაცემები, სადაც ქრონოლოგიური დალაგება მნიშვნელოვანია. LSTM არის RNN-ების არსებითად გაუმჯობესებული ვერსიები, რომელსაც შეუძლია მონაცემთა უფრო გრძელი თანმიმდევრობის ინტერპრეტაცია. მოდით შევხედოთ, თუ როგორ არის სტრუქტურირებული RNN და LSTMS და როგორ იძლევა ისინი ბუნებრივი ენის დახვეწილი დამუშავების სისტემების შექმნას.

რა არის Feed-Forward ნერვული ქსელები?

ასე რომ, სანამ ვისაუბრებთ იმაზე, თუ როგორ მუშაობს გრძელვადიანი მოკლევადიანი მეხსიერება (LSTM) და კონვოლუციური ნერვული ქსელები (CNN), ჩვენ უნდა განვიხილოთ ნერვული ქსელის ფორმატი ზოგადად.

ნერვული ქსელი გამიზნულია მონაცემების შესასწავლად და შესაბამისი შაბლონების შესასწავლად, რათა ეს შაბლონები სხვა მონაცემებზეც იქნას გამოყენებული და ახალი მონაცემების კლასიფიცირება. ნერვული ქსელები იყოფა სამ ნაწილად: შეყვანის ფენა, ფარული ფენა (ან მრავალი ფარული ფენა) და გამომავალი ფენა.

შეყვანის ფენა არის ის, რაც მონაცემებს იღებს ნერვულ ქსელში, ხოლო ფარული ფენები არის ის, რაც სწავლობს მონაცემებში არსებულ შაბლონებს. მონაცემთა ნაკრების ფარული ფენები დაკავშირებულია შეყვანის და გამომავალი ფენებთან „წონით“ და „მიკერძოებით“, რაც მხოლოდ დაშვებაა იმის შესახებ, თუ როგორ არის დაკავშირებული მონაცემთა წერტილები ერთმანეთთან. ეს წონა რეგულირდება ვარჯიშის დროს. როგორც ქსელი ავარჯიშებს, მოდელის გამოცნობები ტრენინგის მონაცემების შესახებ (გამომავალი მნიშვნელობები) შედარებულია რეალურ სასწავლო ეტიკეტებთან. ტრენინგის მსვლელობისას, ქსელი (იმედია) უფრო ზუსტი უნდა იყოს მონაცემთა წერტილებს შორის ურთიერთობების პროგნოზირებაში, რათა შეძლოს მონაცემთა ახალი წერტილების ზუსტად კლასიფიკაცია. ღრმა ნერვული ქსელები არის ქსელები, რომლებსაც აქვთ მეტი ფენა შუა/უფრო ფარული ფენებში. რაც უფრო მეტი ფარული ფენა და მეტი ნეირონი/კვანძი აქვს მოდელს, მით უფრო უკეთესად შეძლებს მოდელის ამოცნობას მონაცემებში.

რეგულარულ, მიმავალ ნერვულ ქსელებს, როგორც ზემოთ აღვწერე, ხშირად უწოდებენ "მკვრივ ნერვულ ქსელებს". ეს მკვრივი ნერვული ქსელები გაერთიანებულია სხვადასხვა ქსელის არქიტექტურასთან, რომელიც სპეციალიზირებულია სხვადასხვა სახის მონაცემების ინტერპრეტაციაში.

რა არის RNN (განმეორებადი ნერვული ქსელები)?

მორეციდივე ნერვული ქსელები იღებენ მიმავალი ნერვული ქსელების ზოგად პრინციპს და საშუალებას აძლევს მათ აწარმოონ თანმიმდევრული მონაცემები აძლევს მოდელს შიდა მეხსიერებას. RNN სახელის "განმეორებადი" ნაწილი მოდის იმ ფაქტიდან, რომ შეყვანისა და გამომავალი მარყუჟი. ქსელის გამომავალი გამოშვების შემდეგ, გამომავალი კოპირდება და უბრუნდება ქსელს შეყვანის სახით. გადაწყვეტილების მიღებისას ანალიზდება არა მხოლოდ მიმდინარე შეყვანა და გამომავალი, არამედ გათვალისწინებულია წინა შეყვანაც. სხვაგვარად რომ ვთქვათ, თუ ქსელის საწყისი შეყვანა არის X და გამომავალი არის H, ორივე H და X1 (შემდეგი შეყვანა მონაცემთა თანმიმდევრობაში) იკვებება ქსელში სწავლის შემდეგი რაუნდისთვის. ამგვარად, მონაცემთა კონტექსტი (წინა შეყვანები) შენარჩუნებულია, როგორც ქსელის მატარებლები.

ამ არქიტექტურის შედეგია ის, რომ RNN-ებს შეუძლიათ თანმიმდევრული მონაცემების დამუშავება. თუმცა, RNN-ები განიცდიან რამდენიმე პრობლემას. RNN-ები განიცდიან გაქრობის გრადიენტი და აფეთქებული გრადიენტის პრობლემები.

თანმიმდევრობების სიგრძე, რომლის ინტერპრეტაციაც RNN-ს შეუძლია, საკმაოდ შეზღუდულია, განსაკუთრებით LSTM-ებთან შედარებით.

რა არის LSTM (გრძელვადიანი მოკლე მეხსიერების ქსელები)?

გრძელვადიანი მოკლევადიანი მეხსიერების ქსელები შეიძლება ჩაითვალოს RNN-ების გაფართოებებად, კიდევ ერთხელ გამოიყენებენ შეყვანის კონტექსტის შენარჩუნების კონცეფციას. თუმცა, LSTM-ები შეიცვალა რამდენიმე მნიშვნელოვანი გზით, რაც მათ საშუალებას აძლევს წარსული მონაცემების ინტერპრეტაცია უმაღლესი მეთოდებით. LSTM-ებში განხორციელებული ცვლილებები ეხება გაქრობის გრადიენტის პრობლემას და საშუალებას აძლევს LSTM-ებს განიხილონ უფრო გრძელი შეყვანის თანმიმდევრობები.

LSTM მოდელები შედგება სამი განსხვავებული კომპონენტი, ან კარიბჭე. არსებობს შეყვანის კარიბჭე, გამომავალი კარიბჭე და დავიწყებული კარიბჭე. RNN-ების მსგავსად, LSTM-ები ითვალისწინებენ შეყვანებს წინა დროის საფეხურიდან მოდელის მეხსიერების და შეყვანის წონის შეცვლისას. შეყვანის კარიბჭე იღებს გადაწყვეტილებებს იმის შესახებ, თუ რომელი მნიშვნელობებია მნიშვნელოვანი და უნდა დაუშვას მოდელი. სიგმოიდური ფუნქცია გამოიყენება შეყვანის კარიბჭეში, რომელიც განსაზღვრავს რომელი მნიშვნელობების გადაცემას განმეორებადი ქსელის მეშვეობით. ნული ამცირებს მნიშვნელობას, ხოლო 1 ინარჩუნებს მას. აქაც გამოიყენება TanH ფუნქცია, რომელიც წყვეტს, რამდენად მნიშვნელოვანია მოდელისთვის შეყვანის მნიშვნელობები, დაწყებული -1-დან 1-მდე.

მიმდინარე შეყვანებისა და მეხსიერების მდგომარეობის აღრიცხვის შემდეგ, გამომავალი კარი წყვეტს რომელი მნიშვნელობების გადატანას შემდეგ დროის საფეხურზე. გამომავალი კარიბჭეში, მნიშვნელობები გაანალიზებულია და ენიჭება მნიშვნელობა, რომელიც მერყეობს -1-დან 1-მდე. ეს არეგულირებს მონაცემებს, სანამ ისინი გადაიყვანენ დროის საფეხურის შემდეგ გამოთვლაზე. დაბოლოს, დავიწყების კარიბჭის ამოცანაა ჩამოაგდოს ინფორმაცია, რომელსაც მოდელი არააუცილებლად მიიჩნევს შეყვანის მნიშვნელობების ბუნების შესახებ გადაწყვეტილების მისაღებად. დავიწყების კარიბჭე იყენებს სიგმოიდურ ფუნქციას მნიშვნელობებზე, გამოაქვს რიცხვები 0 (დაივიწყეთ ეს) და 1 (შეინარჩუნეთ ეს).

LSTM ნერვული ქსელი შედგება როგორც სპეციალური LSTM ფენებისგან, რომლებსაც შეუძლიათ სიტყვების თანმიმდევრული მონაცემების ინტერპრეტაცია და ისე მჭიდროდ დაკავშირებული, როგორც ზემოთ აღწერილი. მას შემდეგ, რაც მონაცემები გადადის LSTM ფენებში, ის გადადის მჭიდროდ დაკავშირებულ ფენებში.