Τι είναι το Βαθύ Ενισχυμένο Μάθηση;

Τι είναι το Βαθύ Ενισχυμένο Μάθηση;

Μαζί με το μη επιτηρούμενο μάθηση μηχανής και το επιτηρούμενο μάθηση, μια άλλη κοινή μορφή δημιουργίας AI είναι το ενισχυμένο μάθηση. Πέρα από το κανονικό ενισχυμένο μάθηση, το βαθύ ενισχυμένο μάθηση μπορεί να οδηγήσει σε εξαιρετικά εντυπωσιακά αποτελέσματα, χάρη στο γεγονός ότι συνδυάζει τα καλύτερα χαρακτηριστικά και του βαθύ μάθησης και του ενισχυμένου μάθησης. Ας δούμε πώς λειτουργεί το βαθύ ενισχυμένο μάθηση.

Πριν εμβαθύνουμε στο βαθύ ενισχυμένο μάθηση, ίσως είναι καλή ιδέα να ανανεώσουμε τις γνώσεις μας για το πώς λειτουργεί το κανονικό ενισχυμένο μάθηση. Στο ενισχυμένο μάθηση, οι αλγόριθμοι που έχουν ως στόχο την επίτευξη ενός στόχου σχεδιάζονται μέσω μιας διαδικασίας δοκιμής και λάθους, βελτιώνοντας την ενέργεια που οδηγεί στο καλύτερο αποτέλεσμα/την ενέργεια που κερδίζει το μεγαλύτερο “επίβραβευσης”. Όταν οι αλγόριθμοι του ενισχυμένου μάθησης εκπαιδεύονται, τους δίνονται “επιβραβεύσεις” ή “τιμωρίες” που επηρεάζουν τις ενέργειες που θα thựcούν στο μέλλον. Οι αλγόριθμοι προσπαθούν να βρουν ένα σύνολο ενεργειών που θα παρέχουν στο σύστημα το μεγαλύτερο επίβραβευσης, ισορροπώντας τόσο τις άμεσες όσο και τις μελλοντικές επιβραβεύσεις.

Οι αλγόριθμοι του ενισχυμένου μάθησης είναι πολύ ισχυροί επειδή μπορούν να εφαρμοστούν几乎 σε οποιαδήποτε εργασία,能够 να μάθουν ευέλικτα και δυναμικά από το περιβάλλον και να ανακαλύψουν πιθανές ενέργειες.

Επισκόπηση του Βαθύ Ενισχυμένου Μάθησης

Φωτογραφία: Megajuice μέσω Wikimedia Commons, CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

Όταν πρόκειται για το βαθύ ενισχυμένο μάθηση, το περιβάλλον αντιπροσωπεύεται συνήθως με εικόνες. Μια εικόνα είναι μια στιγμιαία λήψη του περιβάλλοντος σε ένα συγκεκριμένο σημείο του χρόνου. Ο πράκτορας πρέπει να αναλύσει τις εικόνες και να εξάγει τις σχετικές πληροφορίες από αυτές, χρησιμοποιώντας τις πληροφορίες για να ενημερώσει ποια ενέργεια πρέπει να thựcούν. Το βαθύ ενισχυμένο μάθηση πραγματοποιείται συνήθως με μία από τις δύο διαφορετικές τεχνικές: αξιοκρατική μάθηση και πολιτική-βασισμένη μάθηση.

Οι τεχνικές της αξιοκρατικής μάθησης χρησιμοποιούν αλγόριθμους και αρχιτεκτονικές όπως τα συννευρωνικά νευρωνικά δίκτυα και τα Deep-Q-Δίκτυα. Αυτοί οι αλγόριθμοι λειτουργούν μετατρέποντας την εικόνα σε ασπρόμαυρο και αποκόπτοντας τις άσχετες partes της εικόνας. Μετά, η εικόνα υποβάλλεται σε διάφορες συννευρωνικές και πισινές λειτουργίες, εξάγοντας τις πιο σχετικές partes της εικόνας. Οι σημαντικές partes της εικόνας χρησιμοποιούνται στη συνέχεια για τον υπολογισμό της Q-τιμής για τις διάφορες ενέργειες που μπορεί να thựcούν ο πράκτορας. Οι Q-τιμές χρησιμοποιούνται για να καθορίσουν την καλύτερη πορεία ενέργειας για τον πράκτορα. Μετά τον αρχικό υπολογισμό των Q-τιμών, πραγματοποιείται η αντίστροφη διαδικασία για να καθοριστούν οι πιο ακριβείς Q-τιμές.

Οι πολιτική-βασισμένες μεθόδους χρησιμοποιούνται όταν ο αριθμός των πιθανών ενεργειών που μπορεί να thựcούν ο πράκτορας είναι εξαιρετικά υψηλός, το οποίο είναι συνήθως η περίπτωση σε πραγματικές καταστάσεις. Κατάσταση όπως αυτή απαιτεί μια διαφορετική προσέγγιση επειδή ο υπολογισμός των Q-τιμών για όλες τις μεμονωμένες ενέργειες δεν είναι πρακτικός. Οι πολιτική-βασισμένες προσεγγίσεις λειτουργούν χωρίς τον υπολογισμό των Q-τιμών για μεμονωμένες ενέργειες. Αντίθετα, υιοθετούν πολιτικές μάθησης της πολιτικής απευθείας, συχνά μέσω τεχνικών που ονομάζονται Πολιτικές-Παραγώγοι.

Οι πολιτικές-παραγώγοι λειτουργούν λαμβάνοντας μια κατάσταση και υπολογίζοντας τις πιθανότητες για ενέργειες με βάση τις προηγούμενες εμπειρίες του πράκτορα. Η πιο πιθανή ενέργεια επιλέγεται. Αυτή η διαδικασία επαναλαμβάνεται μέχρι το τέλος της περιόδου αξιολόγησης και οι επιβραβεύσεις δίνονται στον πράκτορα. Μετά την αντιμετώπιση των επιβραβεύσεων, τα παραμέτρα του δικτύου ενημερώνονται με την αντίστροφη διαδικασία.

Τι είναι το Q-Μάθηση;

Επειδή το Q-Μάθηση είναι ένα μεγάλο μέρος της διαδικασίας του βαθύ ενισχυμένου μάθησης, ας δούμε πώς λειτουργεί το σύστημα Q-μάθησης.

Η Διαδικασία Λήψης Απόφασης του Markov

Μια διαδικασία λήψης απόφασης του Markov. Φωτογραφία: waldoalvarez μέσω Pixabay, Pixbay License (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

Για να εκτελέσει ο πράκτορας μια σειρά από εργασίες και να φτάσει σε ένα στόχο, ο πράκτορας πρέπει να είναι σε θέση να αντιμετωπίσει μια σειρά από καταστάσεις και γεγονότα. Ο πράκτορας θα αρχίσει από μια κατάσταση και πρέπει να thựcούν μια σειρά από ενέργειες για να φτάσει σε μια τελική κατάσταση, και μπορεί να υπάρχει ένας τεράστιος αριθμός καταστάσεων μεταξύ της αρχικής και της τελικής κατάστασης. Η αποθήκευση πληροφοριών σχετικά με κάθε κατάσταση είναι ακαδημαϊκή ή αδύνατη, οπότε το σύστημα πρέπει να βρει έναν τρόπο να διατηρήσει μόνο τις πιο σχετικές πληροφορίες κατάστασης. Αυτό επιτυγχάνεται μέσω της χρήσης μιας Διαδικασίας Λήψης Απόφασης του Markov, η οποία διατηρεί μόνο τις πληροφορίες σχετικά με την τρέχουσα κατάσταση και την προηγούμενη κατάσταση. Κάθε κατάσταση ακολουθεί μια ιδιοκτησία του Markov, η οποία παρακολουθεί πώς ο πράκτορας αλλάζει από την προηγούμενη κατάσταση στην τρέχουσα κατάσταση.

Βαθύ Q-Μάθηση

Μόλις το μοντέλο έχει πρόσβαση σε πληροφορίες σχετικά με τις καταστάσεις του περιβάλλοντος, οι Q-τιμές μπορούν να υπολογιστούν. Οι Q-τιμές είναι το συνολικό επίβραβευμα που δίνεται στον πράκτορα στο τέλος μιας σειράς από ενέργειες.

Οι Q-τιμές υπολογίζονται με μια σειρά από επιβραβεύσεις. Υπάρχει μια άμεση επιβράβευση, υπολογισμένη στην τρέχουσα κατάσταση και εξαρτώμενη από την τρέχουσα ενέργεια. Η Q-τιμή για την επόμενη κατάσταση υπολογίζεται επίσης, μαζί με την Q-τιμή για την κατάσταση μετά από αυτή, και così μέχρι τις Q-τιμές για όλες τις καταστάσεις να υπολογιστούν. Υπάρχει επίσης ένας παράμετρος Γάμμα που χρησιμοποιείται για τον έλεγχο του πόσο βάρος έχουν οι μελλοντικές επιβραβεύσεις στις ενέργειες του πράκτορα. Οι πολιτικές υπολογίζονται συνήθως με την τυχαία αρχικοποίηση των Q-τιμών και αφήνοντας το μοντέλο να συγκλίνει προς τις βέλτιστες Q-τιμές κατά τη διάρκεια της εκπαίδευσης.

Βαθύ Q-Δίκτυα

Ένα από τα θεμελιώδη προβλήματα που αφορούν χρήση του Q-μάθησης για το ενισχυμένο μάθηση είναι ότι η ποσότητα της μνήμης που απαιτείται για την αποθήκευση δεδομένων αυξάνεται γρήγορα καθώς ο αριθμός των καταστάσεων αυξάνεται. Τα βαθιά Q-Δίκτυα λύνουν αυτό το πρόβλημα συνδυάζοντας νευρωνικά δίκτυα με Q-τιμές, επιτρέποντας στον πράκτορα να μάθει από την εμπειρία και να κάνει λογικές υποθέσεις για τις καλύτερες ενέργειες που πρέπει να thựcούν. Με το βαθύ Q-μάθηση, οι Q-τιμές υπολογίζονται με νευρωνικά δίκτυα. Το νευρωνικό δίκτυο λαμβάνει την κατάσταση ως είσοδο και το δίκτυο εξόδου Q-τιμές για όλες τις πιθανές ενέργειες που μπορεί να thựcούν ο πράκτορας.

Το βαθύ Q-μάθηση πραγματοποιείται αποθηκεύοντας όλες τις προηγούμενες εμπειρίες στη μνήμη, υπολογίζοντας τις μέγιστες εξόδους για το Q-δίκτυο, και στη συνέχεια χρησιμοποιώντας μια συνάρτηση απώλειας για τον υπολογισμό της διαφοράς μεταξύ των τρεχουσών τιμών και των θεωρητικών υψηλότερων πιθανών τιμών.

Βαθύ Ενισχυμένο Μάθηση vs Βαθύ Μάθηση

Μια σημαντική διαφορά μεταξύ του βαθύ ενισχυμένου μάθησης και του κανονικού βαθύ μάθησης είναι ότι στην περίπτωση του πρώτου οι εισόδους αλλάζουν συνεχώς, το οποίο δεν είναι η περίπτωση στο παραδοσιακό βαθύ μάθηση. Πώς μπορεί το μοντέλο μάθησης να λογαριασμό για τις εισόδους και τις εξόδους που αλλάζουν συνεχώς;

Ουσιαστικά, για να λογαριαστούν οι αποκλίσεις μεταξύ των προβλεπόμενων τιμών και των στόχων, μπορούν να χρησιμοποιηθούν δύο νευρωνικά δίκτυα αντί για ένα. Ένα δίκτυο υπολογίζει τις στόχους, ενώ το άλλο δίκτυο είναι υπεύθυνο για τις προβλέψεις. Οι παράμετροι του δίκτυου στόχου ενημερώνονται καθώς το μοντέλο μαθαίνει, μετά από einen επιλεγμένο αριθμό επαναλήψεων εκπαίδευσης. Οι εξόδους των αντίστοιχων δικτύων συνδυάζονται για να καθορίσουν τη διαφορά.

Πολιτική-Βασισμένη Μάθηση

Πολιτική-βασισμένη μάθηση προσεγγίσεις λειτουργούν διαφορετικά από τις προσεγγίσεις που βασίζονται στις Q-τιμές. Ενώ οι προσεγγίσεις που βασίζονται στις Q-τιμές δημιουργούν μια συνάρτηση αξίας που προβλέπει τις επιβραβεύσεις για τις καταστάσεις και τις ενέργειες, οι πολιτική-βασισμένες μεθόδους καθορίζουν μια πολιτική που θα χαρτογραφήσει τις καταστάσεις σε ενέργειες. Με άλλα λόγια, η συνάρτηση πολιτικής που επιλέγει τις ενέργειες βελτιώνεται απευθείας χωρίς να λαμβάνει υπόψη τη συνάρτηση αξίας.

Πολιτικές-Παραγώγοι

Μια πολιτική για το βαθύ ενισχυμένο μάθηση ανήκει σε μια από τις δύο κατηγορίες: στοχαστική ή детерμινιστική. Μια детерμινιστική πολιτική είναι αυτή όπου οι καταστάσεις χαρτογραφούνται σε ενέργειες, που σημαίνει ότι όταν η πολιτική λαμβάνει πληροφορίες για μια κατάσταση, μια ενέργεια επιστρέφεται. Εν τω μεταξύ, οι στοχαστικές πολιτικές επιστρέφουν μια πιθανότητα κατανομής για ενέργειες αντί για μια μεμονωμένη, διακριτή ενέργεια.

Οι детерμινιστικές πολιτικές χρησιμοποιούνται όταν δεν υπάρχει αβεβαιότητα σχετικά με τα αποτελέσματα των ενεργειών που μπορούν να thựcούν. Σε άλλες λέξεις, όταν το περιβάλλον είναι детерμινιστικό. Αντίθετα, οι στοχαστικές πολιτικές είναι κατάλληλες για περιβάλλοντα όπου το αποτέλεσμα των ενεργειών είναι αβέβαιο. Συνήθως, οι καταστάσεις του ενισχυμένου μάθησης περιλαμβάνουν κάποιο βαθμό αβεβαιότητας, οπότε οι στοχαστικές πολιτικές χρησιμοποιούνται.

Οι προσεγγίσεις των πολιτικών-παραγώγων έχουν quelques πλεονεκτήματα σε σχέση με τις προσεγγίσεις που βασίζονται στις Q-τιμές, καθώς και κάποια μειονεκτήματα. Σε ό,τι αφορά τα πλεονεκτήματα, οι πολιτική-βασισμένες μεθόδους συγκλίνουν στις βέλτιστες παραμέτρους πιο γρήγορα και πιο αξιόπιστα. Η πολιτική-παραγωγός μπορεί να ακολουθηθεί μέχρι να καθοριστούν οι καλύτερες παραμέτρους, ενώ με τις αξιοκρατικές μεθόδους μικρές αλλαγές στις εκτιμώμενες αξίες ενεργειών possono οδηγήσουν σε μεγάλες αλλαγές στις ενέργειες και τις αντίστοιχες παραμέτρους.

Οι πολιτικές-παραγώγοι λειτουργούν καλύτερα για υψηλοδιάστατους χώρους ενεργειών. Όταν υπάρχει ένας εξαιρετικά υψηλός αριθμός πιθανών ενεργειών που μπορεί να thựcούν ο πράκτορας, το βαθύ Q-μάθηση γίνεται απρακτικό επειδή πρέπει να ανατεθεί एक βαθμολογία σε κάθε πιθανή ενέργεια για όλες τις χρονικές στιγμές, το οποίο μπορεί να είναι αδύνατο υπολογιστικά. Ωστόσο, με τις πολιτική-βασισμένες μεθόδους, οι παράμετροι điều chỉnhονται με την πάροδο του χρόνου και ο αριθμός των πιθανών καλύτερων παραμέτρων μειώνεται γρήγορα καθώς το μοντέλο συγκλίνει.

Οι πολιτικές-παραγώγοι είναι επίσης ικανοί να υλοποιούν στοχαστικές πολιτικές, σε αντίθεση με τις αξιοκρατικές πολιτικές. Επειδή οι στοχαστικές πολιτικές παράγουν μια πιθανότητα κατανομής, δεν χρειάζεται να υλοποιηθεί μια εξισορρόπηση εξερεύνησης/εξμετάλλευσης.

Ως προς τα μειονεκτήματα, το κύριο μειονέκτημα των πολιτικών-παραγώγων είναι ότι possono να κολλήσουν ενώ αναζητούν τις βέλτιστες παραμέτρους, εστιάζοντας μόνο σε ένα στενό, τοπικό σύνολο βέλτιστων τιμών αντί για τις παγκόσμιες βέλτιστες τιμές.

Συνάρτηση Bewertung Πολιτικής

Οι πολιτικές που χρησιμοποιούνται για την βελτίωση της απόδοσης του μοντέλου στοχεύουν να μεγιστοποιήσουν μια συνάρτηση βαθμολογίας – J(θ). Αν J(θ) είναι ένα μέτρο πόσο καλή είναι η πολιτική μας για την επίτευξη του επιθυμητού στόχου, μπορούμε να βρούμε τις τιμές του “θ” που μας δίνει την καλύτερη πολιτική. Πρώτα, πρέπει να υπολογίσουμε μια αναμενόμενη πολιτική επιβράβευση. Υπολογίζουμε την πολιτική επιβράβευση για να έχουμε ένα αντικείμενο, κάτι να βελτιστοποιήσουμε. Η Συνάρτηση Bewertung Πολιτικής είναι το πώς υπολογίζουμε την αναμενόμενη πολιτική επιβράβευση, και υπάρχουν διαφορετικές Συνάρτηση Bewertung Πολιτικής που χρησιμοποιούνται συνήθως, όπως: αρχικές τιμές για επεισοδιακά περιβάλλοντα, η μέση τιμή για συνεχείς περιβάλλοντα, και η μέση επιβράβευση ανά χρονική στιγμή.

Ανάβαση Πολιτικής-Παραγώγου

Η ανάβαση πολιτικής-παραγώγου στοχεύει να μετακινήσει τις παραμέτρους μέχρι να είναι στο σημείο όπου η βαθμολογία είναι η υψηλότερη. Φωτογραφία: Public Domain (https://commons.wikimedia.org/wiki/File:Gradient_ascent_(surface).png)

Μετά τη χρήση της επιθυμητής Συνάρτησης Bewertung Πολιτικής και τον υπολογισμό της αναμενόμενης πολιτικής επιβράβευσης, μπορούμε να βρούμε μια τιμή για την παράμετρο “θ” που μεγιστοποιεί τη συνάρτηση βαθμολογίας J(θ). Για να μεγιστοποιήσουμε τη συνάρτηση βαθμολογίας J(θ), χρησιμοποιούμε μια τεχνική που ονομάζεται “ανάβαση πολιτικής-παραγώγου”. Η ανάβαση πολιτικής-παραγώγου είναι παρόμοια με την ανάβαση κλίσης στη βαθιά μάθηση, αλλά εδώ βελτιστοποιούμε για την απόκλιση της βαθμολογίας. Αυτό είναι因为 η βαθμολογία μας δεν είναι “σφάλμα”, όπως σε πολλά προβλήματα βαθιάς μάθησης. Η βαθμολογία μας είναι κάτι που θέλουμε να μεγιστοποιήσουμε. Μια έκφραση που ονομάζεται Θεώρημα Πολιτικής-Παραγώγου χρησιμοποιείται για να εκτιμήσει την κλίση σε σχέση με την πολιτική “θ”.

Σύνοψη του Βαθύ Ενισχυμένου Μάθησης

Σύνοψη, το βαθύ ενισχυμένο μάθηση συνδυάζει στοιχεία του ενισχυμένου μάθησης και των βαθιών νευρωνικών δικτύων. Το βαθύ ενισχυμένο μάθηση πραγματοποιείται με δύο διαφορετικές τεχνικές: βαθύ Q-μάθηση και πολιτική-παραγώγοι.

Οι μεθόδους του βαθύ Q-μάθησης στοχεύουν να προβλέψουν ποιες επιβραβεύσεις θα ακολουθήσουν bestimmtes ενέργειες που λαμβάνονται σε μια δεδομένη κατάσταση, ενώ οι πολιτική-βασισμένες προσεγγίσεις στοχεύουν να βελτιστοποιήσουν τον χώρο ενεργειών, προβλέποντας τις ενέργειες themselves. Οι πολιτική-βασισμένες προσεγγίσεις του βαθύ ενισχυμένου μάθησης είναι είτε детерμινιστικές είτε στοχαστικές φύσης. Οι детерμινιστικές πολιτικές χαρτογραφούν τις καταστάσεις απευθείας σε ενέργειες, ενώ οι στοχαστικές πολιτικές παράγουν πιθανότητες κατανομής για ενέργειες.