Η DeepMind Δημιουργεί Ενισχυμένο Νευρωνικό Δίκτυο που Αναπαράγει Μνήμες Όπως ο Ιππόκαμπος

Ο ανθρώπινος εγκέφαλος συχνά ανακαλεί προηγούμενες μνήμες (φαινομενικά) χωρίς προηγούμενη πρόκληση. Καθώς διασχίζουμε την ημέρα μας, έχουμε αυθόρμητες αναλαμπές μνήμης από τη ζωή μας. Ενώ η αυθόρμητη ανάκληση μνήμης έχει sido αντικείμενο ενδιαφέροντος για τους νευροεπιστήμονες για πολύ καιρό, η εταιρεία έρευνας τεχνητής νοημοσύνης DeepMind δημοσίευσε πρόσφατα ένα άρθρο που περιγράφει πώς ένα από τα νευρωνικά δίκτυα της αναπαράγει αυτό το περίεργο μοτίβο ανάκλησης.

Η ανάκληση μνήμης στον εγκέφαλο, η νευρωνική αναπαραγωγή, είναι στενά συνδεδεμένη με τον ιππόκαμπο. Ο ιππόκαμπος είναι μια σχηματισμός σε σχήμα ιππόκαμπου στον εγκέφαλο που ανήκει στο ληθαργικό σύστημα και είναι συνδεδεμένος με τη διαμόρφωση νέων μνημών, καθώς και με τις эмоции που προκαλούν οι μνήμες. Οι τρέχουσες θεωρίες για τον ρόλο των ιπποκάμπων (υπάρχει ένας σε κάθε ημισφαίριο του εγκεφάλου), αναφέρουν ότι διαφορετικές περιοχές του ιππόκαμπου είναι υπεύθυνες για την επεξεργασία διαφορετικών τύπων μνημών. Για παράδειγμα, η χωρική μνήμη πιστεύεται ότι χειρίζεται στην πίσω περιοχή του ιππόκαμπου.

Όπως αναφέρθηκε από τον Jesus Rodriguez, ο Δρ. John O’Keefe είναι υπεύθυνος για πολλές συνεισφορές στην κατανόηση του ιππόκαμπου, συμπεριλαμβανομένων των «τόπος» κυττάρων του ιππόκαμπου. Τα «τόπος» κύτταρα στον ιππόκαμπο ενεργοποιούνται από ερεθίσματα σε ένα συγκεκριμένο περιβάλλον. Για παράδειγμα, πειράματα σε αρουραίους έδειξαν ότι συγκεκριμένα νευρώνες θα ενεργοποιούνταν όταν οι αρουραίοι τρέχαναν μέσω συγκεκριμένων τμημάτων ενός δρόμου. Οι ερευνητές συνέχισαν να παρακολουθούν τους αρουραίους ακόμη και όταν ήταν σε ανάπαυση και βρήκαν ότι τα ίδια μοτίβα νευρώνων που υποδείκνυαν ένα τμήμα του λαβυρίνθου θα ενεργοποιούνταν, αν και με επιταχύνθηκε ταχύτητα. Οι αρουραίοι φαίνεται να αναπαράγουν τις μνήμες του λαβυρίνθου στο μυαλό τους.

Στους ανθρώπους, η ανάκληση μνήμης είναι ένα σημαντικό μέρος της διαδικασίας μάθησης, αλλά όταν προσπαθούμε να ενεργοποιήσουμε την τεχνητή νοημοσύνη να μάθει, είναι δύσκολο να αναπαράγουμε το φαινόμενο.

Η ομάδα της DeepMind προσπάθησε να αναπαράγει το φαινόμενο της ανάκλησης χρησιμοποιώντας ενισχυμένη μάθηση. Οι αλγόριθμοι ενισχυμένης μάθησης λειτουργούν λαμβάνοντας ανατροφοδότηση από τις αλληλεπιδράσεις τους με το περιβάλλον γύρω τους, λαμβάνοντας ανταμοιβή κάθε φορά που thựcουν ενέργειες που τους φέρνουν πιο κοντά στο επιθυμητό στόχο. Σε αυτό το πλαίσιο, ο एजέντας της ενισχυμένης μάθησης καταγράφει γεγονότα και στη συνέχεια τα αναπαράγει σε μεταγενέστερα χρονικά διαστήματα, με το σύστημα να ενισχύεται για να βελτιώσει την αποτελεσματικότητα με την οποία ανακαλεί προηγούμενες εμπειρίες.

Η DeepMind πρόσθεσε την αναπαραγωγή εμπειριών σε έναν αλγόριθμο ενισχυμένης μάθησης χρησιμοποιώντας một буφέ αναπαραγωγής που θα αναπαράγει μνήμες/καταγεγραμμένες εμπειρίες στο σύστημα σε συγκεκριμένα χρονικά διαστήματα. Κάποιες εκδόσεις του συστήματος είχαν τις εμπειρίες να αναπαράγονται σε τυχαίες σειρές, ενώ άλλα μοντέλα είχαν προεπιλεγμένες σειρές αναπαραγωγής. Ενώ οι ερευνητές πειραματίζονταν με τη σειρά αναπαραγωγής για τους एजέντες ενισχυμένης μάθησης, πειραματίζονταν επίσης με διαφορετικές μεθόδους αναπαραγωγής των εμπειριών τους.

Υπάρχουν δύο основные μέθοδοι που χρησιμοποιούνται για να παρέχουν στους αλγόριθμους ενισχυμένης μάθησης ανακληθείσες εμπειρίες. Αυτές οι μέθοδοι είναι η μέθοδος αναπαραγωγής φαντασίας και η μέθοδος αναπαραγωγής ταινίας. Το άρθρο της DeepMind χρησιμοποιεί μια αναλογία για να περιγράψει και τις δύο στρατηγικές: «Συμπεριφερθείτε σαν να επιστρέφετε στο σπίτι και, προς έκπληξή σας και λύπη, ανακαλύπτετε νερό που συσσωρεύεται στο όμορφο ξύλινο δάπεδό σας. Βάζοντας το πόδι σας στο δωμάτιο, βρίσκετε ένα σπασμένο βάζο. Τότε ακούτε ένα γαύγισμα και κοιτάζετε έξω από την πόρτα του πατιού και βλέπετε το σκύλο σας να φαίνεται πολύ ένοχος».

Όπως αναφέρθηκε από τον Rodriguez, η μέθοδος αναπαραγωγής φαντασίας δεν καταγράφει τα γεγονότα με τη σειρά που έγιναν. Αντίθετα, μια πιθανή αιτία μεταξύ των γεγονότων υποδηλώνεται. Τα γεγονότα υποδηλώνονται με βάση την κατανόηση του एजέντα για τον κόσμο. Εν τω μεταξύ, η μέθοδος αναπαραγωγής ταινίας αποθηκεύει τις μνήμες με τη σειρά που έγιναν και αναπαράγει την ακολουθία των ερεθισμάτων – «χυμένο νερό, σπασμένο βάζο, σκύλος». Η χρονολογική σειρά των γεγονότων διατηρείται.

Ερευνες από το πεδίο της νευροεπιστήμης υποδηλώνουν ότι η μέθοδος αναπαραγωγής ταινίας είναι ουσιαστική για τη δημιουργία συσχετίσεων μεταξύ εννοιών και τη σύνδεση νευρώνων μεταξύ γεγονότων. Ωστόσο, η μέθοδος αναπαραγωγής φαντασίας θα μπορούσε να βοηθήσει τον एजέντα να δημιουργήσει νέες ακολουθίες όταν συλλογιστεί με αναλογία. Για παράδειγμα, ο एजέντας θα μπορούσε να συλλογιστεί ότι αν ένα βαρέλι είναι στο λάδι όπως ένα βάζο είναι στο νερό, ένα βαρέλι θα μπορούσε να χυθεί από einen βιομηχανικό ρομπότ αντί για ένα σκύλο. Πράγματι, όταν η DeepMind έψαξε πιο sâu στις δυνατότητες της μεθόδου αναπαραγωγής φαντασίας, βρήκε ότι ο एजέντας της μάθησης ήταν σε θέση να δημιουργήσει εντυπωσιακές, καινοτόμες ακολουθίες λαμβάνοντας υπόψη προηγούμενες εμπειρίες.

Η περισσότερη πρόοδος που γίνεται στην περιοχή της ενισχυμένης μάθησης μνήμης γίνεται με τη στρατηγική της ταινίας, αν και οι ερευνητές έχουν πρόσφατα αρχίσει να κάνουν πρόοδο με τη στρατηγική της φαντασίας. Η έρευνα και στις δύο μεθόδους της τεχνητής νοημοσύνης μνήμης μπορεί να ενεργοποιήσει καλύτερη απόδοση από τους एजέντες ενισχυμένης μάθησης, αλλά επίσης να μας βοηθήσει να αποκτήσουμε νέα εικόνα για το πώς λειτουργεί ο ανθρώπινος νους.