Τι είναι τα RNN και τα LSTM στη Βαθιά Μάθηση;

Recurrent neural networks (RNNs) επεξεργάζονται ακολουθίες ενημερώνοντας μια κρυφή κατάσταση με την πάροδο του χρόνου. Long short-term memory (LSTM) δίκτυα είναι πύλες RNN σχεδιασμένες να διατηρούν και να ελέγχουν τις πληροφορίες πιο αποτελεσματικά από μια βασική επαναλαμβανόμενη μονάδα.

Τα RNN και τα LSTM κάποτε κυριαρχούσαν σε πολλές εργασίες γλώσσας, αλλά τα σύγχρονα μεγάλα chatbot βασίζονται κυρίως σε transformers. Τα επαναλαμβανόμενα μοντέλα παραμένουν χρήσιμα για ροή, χρονοσειρές, ομιλία, έλεγχο και συστήματα με περιορισμένους πόρους όπου η σταδιακή κατάσταση και η χαμηλή καθυστέρηση είναι σημαντικές.

Κύρια σημεία

• Ένα RNN επαναχρησιμοποιεί τις ίδιες παραμέτρους σε κάθε βήμα της ακολουθίας και μεταφέρει μια κρυφή κατάσταση προς τα εμπρός.
• Η εκπαίδευση μέσω του χρόνου μπορεί να δημιουργήσει εξαφανιζόμενα ή εκρηκτικά gradients.
• Ένα LSTM προσθέτει μια κατάσταση κελιού και πύλες εισόδου, λήθης και εξόδου.
• Οι transformers χειρίζονται μακροπρόθεσμες σχέσεις και παράλληλη εκπαίδευση διαφορετικά· καμία αρχιτεκτονική δεν είναι η καλύτερη για κάθε εφαρμογή.

Πώς λειτουργεί ένα βασικό RNN

Στο βήμα t, μια απλή επαναλαμβανόμενη μονάδα συνδυάζει την τρέχουσα είσοδο xₜ με την προηγούμενη κρυφή κατάσταση hₜ₋₁:

hₜ = activation(Wₓxₜ + Wₕhₜ₋₁ + b)

Η κρυφή κατάσταση είναι μια μάγιστη σύνοψη που χρησιμοποιείται για το επόμενο βήμα και, ανάλογα με την εργασία, ως έξοδο. Ένα διάγραμμα «αποτυπώθηκε» σχεδιάζει ένα αντίγραφο ανά βήμα χρόνου, αλλά όλα τα αντίγραφα μοιράζονται τις παραμέτρους. Η έξοδος δεν αντιγράφεται απλώς πίσω ως νέα ακατέργαστη είσοδος· η επανάληψη περνά την κρυφή κατάσταση μέσω ενός ορισμένου μετασχηματισμού.

Οπισθοδιάδοση μέσω χρόνου

Τα RNN εκπαιδεύονται με backpropagation through time (BPTT). Η αποτυπωμένη ακολουθία σχηματίζει ένα βαθύ υπολογιστικό γράφημα, και η backpropagation υπολογίζει πώς η απώλεια εξαρτάται από τις κοινές επαναλαμβανόμενες παραμέτρους.

Η επαναλαμβανόμενη πολλαπλασιαστική διαδικασία μπορεί να κάνει τα gradients να μειώνονται προς το μηδέν ή να αυξάνονται χωρίς όριο. Τα εξαφανιζόμενα gradients εμποδίζουν τη μάθηση μακροπρόθεσμων εξαρτήσεων· τα εκρηκτικά gradients δημιουργούν ασταθείς ενημερώσεις. Η περικοπή gradients αντιμετωπίζει τα εκρηκτικά gradients, ενώ οι πύλες, η αρχικοποίηση, η κανονικοποίηση και τα μικρότερα παράθυρα εκπαίδευσης μπορούν να βοηθήσουν.

Μέσα σε ένα κελί LSTM

Ένα LSTM διατηρεί μια κατάσταση κελιού cₜ εκτός από την κρυφή κατάσταση hₜ. Οι πύλες του είναι μάγιστες, εξαρτημένες από τα δεδομένα έλεγχοι:

• Η πύλη λήθης ελέγχει πόση από την προηγούμενη κατάσταση κελιού διατηρείται.
• Η πύλη εισόδου ελέγχει πόση υποψήφια πληροφορία γράφεται.
• Η πύλη εξόδου ελέγχει πόση πληροφορία κελιού συμβάλλει στην κρυφή κατάσταση.

Οι έξοδοι sigmoid μεταξύ μηδέν και ένα λειτουργούν ως ήπιες πύλες, ενώ ένας υποψήφιος μετασχηματισμένος με tanh παρέχει νέο περιεχόμενο. Η προσθετική διαδρομή κατάστασης κελιού βοηθά τα gradients να παραμείνουν, αλλά τα LSTM δεν εγγυώνται απεριόριστη μνήμη ή εξαλείφουν όλα τα προβλήματα βελτιστοποίησης.

GRU και διπλής κατεύθυνσης επανάληψη

Μια μονάδα πύλης επαναλαμβανόμενου (GRU) συνδυάζει μηχανισμούς πυλών σε ένα απλούστερο επαναλαμβανόμενο κελί χωρίς ξεχωριστή κατάσταση κελιού τύπου LSTM. Τα GRU μπορούν να εκπαιδεύονται γρηγορότερα και να αποδίδουν παρόμοια σε ορισμένες εργασίες.

Ένα RNN διπλής κατεύθυνσης επεξεργάζεται μια ολοκληρωμένη ακολουθία και στις δύο κατευθύνσεις και συνδυάζει τις καταστάσεις. Μπορεί να χρησιμοποιήσει το μελλοντικό πλαίσιο για ετικετοθέτηση ή κωδικοποίηση, αλλά είναι ακατάλληλο για αιτιώδη ροή όταν οι μελλοντικές εισόδους δεν είναι ακόμη διαθέσιμες.

Μοντέλα ακολουθίας-προς-ακολουθία

Τα RNN κωδικοποιητή-αποκωδικοποιητή μετατρέπουν μια ακολουθία σε άλλη. Η προσοχή εισήχθη για να επιτρέπει σε έναν αποκωδικοποιητή να συμβουλεύεται διαφορετικές καταστάσεις κωδικοποιητή αντί να βασίζεται σε ένα σταθερό διάνυσμα. Αυτή η κατεύθυνση έδωσε το αρχιτεκτονικό μοντέλο transformer, που αντικατέστησε την επανάληψη με μπλοκ βασισμένα στην προσοχή.

RNN vs transformers

Οι transformers επεξεργάζονται τις θέσεις εκπαίδευσης παράλληλα και δημιουργούν σύντομες διαδρομές προσοχής μεταξύ απομακρυσμένων συμβόλων. Τα RNN επεξεργάζονται την κατάσταση διαδοχικά, περιορίζοντας το παράλληλο αλλά παρέχοντας κατάσταση σταθερού μεγέθους κατά τη ροή. Η εκτέλεση transformer μπορεί να απαιτεί αυξανόμενη κρυφή μνήμη κλειδιού-τιμής, ενώ ένα RNN συμπιέζει το ιστορικό στην κρυφή του κατάσταση και μπορεί να χάσει λεπτομέρειες.

Επιλέξτε με βάση το μήκος της ακολουθίας, το μέγεθος των δεδομένων, το υλικό, την καθυστέρηση, τη μνήμη και αν η εργασία είναι εκτός σύνδεσης ή ροή. Τα υβριδικά και τα αρχιτεκτονικά state-space παρέχουν πρόσθετες ανταλλαγές.

Τρέχουσες περιπτώσεις χρήσης

Τα RNN και τα LSTM παραμένουν σχετιζόμενα με πρόβλεψη, ανίχνευση ανωμαλιών, επεξεργασία αισθητήρων, στοιχεία ομιλίας, χειρόγραφη, ενσωματωμένο έλεγχο και μοντελοποίηση ακολουθιών χαμηλής καθυστέρησης. Δεν είναι η προεπιλεγμένη εξήγηση για τα τρέχοντα μεγάλα γλωσσικά μοντέλα ή τα AI chatbot.

Επανάληψη, πύλες και μνήμη ακολουθίας

Ένα επαναλαμβανόμενο νευρωνικό δίκτυο επεξεργάζεται μια ακολουθία συνδυάζοντας την τρέχουσα είσοδο με μια κρυφή κατάσταση που μεταφέρεται από προηγούμενα βήματα. Τα κοινά βάρη επιτρέπουν μεταβλητό μήκος ακολουθίας, και η αποτύπωση εκθέτει τον υπολογισμό μέσω του χρόνου για εκπαίδευση. Τα βασικά RNN μπορούν να αναπαραστήσουν χρονική εξάρτηση, αλλά τα gradients που πολλαπλασιάζονται επανειλημμένα σε μακρές ακολουθίες τείνουν να εξαφανίζονται ή να εκρήγνυνται. Η περικοπή backpropagation περιορίζει τη μνήμη και τον υπολογισμό, ενώ η περικοπή gradients ελέγχει ακραίες ενημερώσεις. Η κρυφή κατάσταση είναι μια μάγιστη σύνοψη, όχι μια πιστή αποθήκευση κάθε προηγούμενου συμβόλου.

Τα δίκτυα μνήμης μακράς βραχυπρόθεσμης προσθέτουν μια κατάσταση κελιού και πύλες εισόδου, λήθης και εξόδου που ρυθμίζουν τη γραφή, τη διατήρηση και την αποκάλυψη πληροφοριών. Οι μονάδες πύλης επαναλαμβανόμενου χρησιμοποιούν μια απλούστερη δομή επαναφοράς και ενημέρωσης. Οι παραλλαγές διπλής κατεύθυνσης χρησιμοποιούν το μελλοντικό πλαίσιο και επομένως δεν μπορούν να ρέουν αιτιώδως χωρίς καθυστέρηση. Τα στοίβα, residual και attention-augmented επαναλαμβανόμενα μοντέλα προσθέτουν χωρητικότητα. Η προσθήκη padding και masks πρέπει να αποτρέπει τεχνητά στοιχεία ακολουθίας από το να επηρεάζουν την κατάσταση ή την απώλεια, και η κατάσταση πρέπει να επαναρυθμίζεται στα πραγματικά όρια της ακολουθίας για να αποφεύγεται διαρροή μεταξύ παραδειγμάτων.

Εκπαίδευση, σύγκριση και εξυπηρέτηση με κατάσταση

Τα RNN και τα LSTM παραμένουν χρήσιμα για ροή, συμπαγή μοντέλα σε συσκευές, χρονοσειρές και φορτία εργασίας όπου η διαδοχική κατάσταση είναι αποδοτική. Οι transformers παραλληλοποιούν την εκπαίδευση και το μοντέλο μακροπρόθεσμων αλληλεπιδράσεων διαφορετικά, αλλά μπορεί να απαιτούν μεγαλύτερη μνήμη και cache. Συγκρίνετε τις αρχιτεκτονικές ως προς την ακρίβεια, την καθυστέρηση, το throughput, τη μνήμη, την ενέργεια και την απόδοση καθώς το μήκος της ακολουθίας μεταβάλλεται. Αξιολογήστε την πρόβλεψη με κυλιόμενα χρονικά splits, τη γλώσσα με μετρικές ευαισθησίας στην ακολουθία, και την ανίχνευση ανωμαλιών με μετρήσεις επιπέδου γεγονότος. Εξετάστε αποτυχίες μετά από μεγάλες κενές περιόδους, αλλαγές καθεστώτος, ελλιπή δείγματα και απότομα όρια ακολουθίας.

Η εξυπηρέτηση με κατάσταση πρέπει να συσχετίζει την κρυφή κατάσταση με τη σωστή συνεδρία, να την λήγει, να την κρυπτογραφεί εάν είναι ευαίσθητη, και να την επαναρυθμίζει μετά από σφάλματα ή αλλαγές μοντέλου. Συμβάντα εκτός σειράς ή διπλότυπα μπορούν να διαφθείσουν την κατάσταση· συμπεριλάβετε χρονικές σήμανσεις, αριθμούς ακολουθίας και αδιαπραγμάτευση. Παρακολουθήστε την ηλικία της κατάστασης, το μήκος της ακολουθίας, τις ελλείψεις, την απόκλιση εξόδου και την καθυστέρηση. Η κβαντοποίηση χρειάζεται επικύρωση ευαίσθητη στις πύλες επειδή μικρές αριθμητικές αλλαγές μπορούν να συσσωρευτούν με την πάροδο του χρόνου. Η μνήμη RNN επιτρέπει το πλαίσιο, αλλά μπορεί επίσης να διατηρήσει ιδιωτικές ή ξεπερασμένες πληροφορίες, επομένως η διατήρηση και οι έλεγχοι χρήστη ανήκουν στο σχεδιασμό.

Παραδειγματική εφαρμογή: ένα LSTM για ροές ακολουθιών αισθητήρων

Μια υπηρεσία χρησιμοποιεί ένα LSTM για πρόβλεψη βραχυπρόθεσμου φορτίου από πρόσφατες μετρήσεις, ημερολόγιο και καιρό. Οι ακολουθίες δημιουργούνται με αυστηρή χρονική σειρά· η κρυφή κατάσταση επαναρυθμίζεται στα όρια των τροφοδοτών, και το padding αποκρύπτεται. Τα εποχικά‑απλοϊκά και τα βασικά μοντέλα gradient‑boost συγκρίνονται με το LSTM σε κυλιόμενα παράθυρα. Τα τεστ καλύπτουν ελλιπείς περιόδους, καθυστερημένο καιρό, αργίες, διακοπές, και μήκη ακολουθίας πέρα από την τυπική εκπαίδευση.

Η υπηρεσία ροής συσχετίζει την κατάσταση με έναν τροφοδότη, απορρίπτει διπλότυπα εκτός σειράς και λήγει την κατάσταση μετά από μεγάλες κενές περιόδους ή ενημερώσεις μοντέλου. Μια ασφαλής στατιστική πρόβλεψη αντικαθιστά την έξοδο όταν οι αισθητήρες ή η κατάσταση είναι άκυρες. Η κβαντισμένη εκτέλεση ελέγχεται σε μακρές ακολουθίες για συσσωρευμένη απόκλιση. Η παρακολούθηση καταγράφει την ηλικία της κατάστασης, τις ελλείψεις, την καθυστέρηση, την προκατάληψη και το σφάλμα διαστήματος. Το μοντέλο επανεκπαιδεύεται μόνο μετά από αλλαγές στο δίκτυο και τα ανασκοπημένα αποτελέσματα δείχνουν ότι οι μάγιστες χρονικές σχέσεις δεν γενικεύονται πια.

Απόδειξη υλοποίησης και ετοιμότητα λειτουργίας

Μια απόφαση παραγωγής απαιτεί περισσότερα από μια επιτυχημένη επίδειξη. Ορίστε τους προοριζόμενους χρήστες, το λειτουργικό περιβάλλον, τις εισόδους, τις εξόδους, τις εξαρτήσεις, τον ιδιοκτήτη και τις συνέπειες κάθε σημαντικής αποτυχίας. Καθιερώστε μια αναπαραγώγιμη βάση και ένα εκδόσεων σύνολο αξιολόγησης πριν τη βελτιστοποίηση. Δοκιμάστε τυπικές περιπτώσεις, όρια, κατεστραμμένες ή ελλιπείς εισόδους, μεταβολή κατανομής, διακοπή εξαρτήσεων, κακή χρήση, και τις ομάδες ή τα περιβάλλοντα που είναι πιο πιθανό να υπολειτουργούν. Μετρήστε την ποιότητα της εργασίας μαζί με την βαθμονόμηση ή την αβεβαιότητα, την καθυστέρηση, το throughput, το κόστος πόρων, την προσβασιμότητα, την ιδιωτικότητα και την ασφάλεια. Καταγράψτε κάθε μετασχηματισμό και όριο ώστε ένας ανεξάρτητος ελεγκτής να μπορεί να αναπαράγει το αποτέλεσμα και να διακρίνει την απόδειξη από ένα ελκυστικό πρωτότυπο.

Πριν την κυκλοφορία, αναθέστε εξουσία για κυκλοφορία, εξαιρέσεις, αλλαγές, επαναφορά και παύση. Χρησιμοποιήστε σταδιακή κυκλοφορία, διατηρήστε ασφαλή εναλλακτική λύση, και επαληθεύστε την παρακολούθηση με σκόπιμα ενσωματωμένες αποτυχίες. Η λειτουργική τηλεμετρία πρέπει να αποκαλύπτει την ποιότητα εισόδου, τη συμπεριφορά εξόδου, την έκδοση μοντέλου ή κανόνα, την υγεία εξαρτήσεων, τις ανθρώπινες παρεμβάσεις και τα επιβεβαιωμένα αποτελέσματα χωρίς τη συλλογή περιττών ευαίσθητων δεδομένων. Ορίστε όρια ειδοποίησης και υπεύθυνο ανταπόκρισης, έπειτα ελέγξτε τα πραγματικά αποδεικτικά στοιχεία μετά την ανάπτυξη αντί να υποθέτετε ότι η εκτός σύνδεσης απόδοση θα παραμείνει. Επαναξιολογήστε όποτε αλλάζουν οι πηγές δεδομένων, οι χρήστες, τα μοντέλα, οι προμηθευτές, οι πολιτικές, το υλικό ή οι στόχοι. Ένα συντηρημένο σύστημα χρειάζεται επίσης τεκμηριωμένη αποκατάσταση, μάθηση από περιστατικά, διαδικασίες διαγραφής και διατήρησης, και ένα σαφές σημείο στο οποίο πρέπει να απενεργοποιηθεί ή να αντικατασταθεί.

Συχνές ερωτήσεις

Είναι το LSTM πάντα καλύτερο από ένα βασικό RNN;

Όχι. Οι πύλες βοηθούν σε πολλά προβλήματα μακράς εξάρτησης, αλλά προσθέτουν υπολογιστικό κόστος και παραμέτρους. Ένα βασικό RNN μπορεί να είναι επαρκές για σύντομες, απλές ακολουθίες, και μια άλλη αρχιτεκτονική μπορεί να είναι καλύτερη για πολύ μακρύ πλαίσιο.

Μπορεί ένα LSTM να επεξεργαστεί απεριόριστο ιστορικό;

Όχι. Η κατάσταση του έχει πεπερασμένη χωρητικότητα, τα gradients και τα δεδομένα εκπαίδευσης επιβάλλουν όρια, και σχετικές λεπτομέρειες μπορούν να αντικατασταθούν. Η απόδοση σε μακρύ πλαίσιο πρέπει να μετρηθεί αντί να υποτεθεί από το όνομα της αρχιτεκτονικής.

Βασικές αναφορές

• Hochreiter and Schmidhuber: Long Short-Term Memory
• PyTorch: LSTM
• Vasuki et al.: Attention Is All You Need