Το όριο μνήμης του ChatGPT είναι απογοητευτικό — Ο εγκέφαλος δείχνει έναν καλύτερο τρόπο

Αν είστε χρήστης υψηλού επιπέδου του ChatGPT, ίσως να αντιμετωπίσατε πρόσφατα την τρομακτική οθόνη "Η μνήμη είναι πλήρης". Αυτό το μήνυμα εμφανίζεται όταν φτάσετε στο όριο των αποθηκευμένων μνημών του ChatGPT και μπορεί να αποτελέσει σημαντικό εμπόδιο κατά τη διάρκεια μακροπρόθεσμων έργων. Η μνήμη υποτίθεται ότι είναι ένα βασικό χαρακτηριστικό για σύνθετες, συνεχιζόμενες εργασίες - θέλετε η τεχνητή νοημοσύνη σας να μεταφέρει γνώσεις από προηγούμενες συνεδρίες σε μελλοντικά αποτελέσματα. Το να βλέπετε μια προειδοποίηση για πλήρη μνήμη στη μέση ενός έργου που απαιτεί χρόνο (για παράδειγμα, ενώ αντιμετώπιζα επίμονα σφάλματα διακομιστή HTTP 502 σε έναν από τους συνεργαζόμενους ιστότοπούς μας) μπορεί να είναι εξαιρετικά απογοητευτικό και ενοχλητικό.

Η απογοήτευση με το όριο μνήμης του ChatGPT

Το βασικό πρόβλημα δεν είναι ότι υπάρχει όριο μνήμης - ακόμη και οι χρήστες του ChatGPT Plus που πληρώνουν μπορούν να καταλάβουν ότι μπορεί να υπάρχουν πρακτικά όρια στο πόσο μπορεί να αποθηκευτεί. Το πραγματικό πρόβλημα είναι Αυτό που μπερδεύει, είναι το πώς. Πρέπει να διαχειρίζεστε τις παλιές αναμνήσεις μόλις φτάσετε στο όριο. Η τρέχουσα διεπαφή για τη διαχείριση μνήμης είναι κουραστική και χρονοβόρα. Όταν το ChatGPT σας ειδοποιεί ότι η μνήμη σας είναι 100% πλήρης, έχετε δύο επιλογές: να διαγράψετε προσεκτικά τις αναμνήσεις μία προς μία ή να τις σβήσετε όλες ταυτόχρονα. Δεν υπάρχει εργαλείο ενδιάμεσης ή μαζικής επιλογής για την αποτελεσματική περικοπή των αποθηκευμένων πληροφοριών σας.

Η διαγραφή μίας ανάμνησης κάθε φορά, ειδικά αν πρέπει να το κάνετε αυτό κάθε λίγες μέρες, μοιάζει με αγγαρεία που δεν ευνοεί τη μακροχρόνια χρήση. Άλλωστε, οι περισσότερες αποθηκευμένες αναμνήσεις διατηρήθηκαν για κάποιο λόγο - περιέχουν πολύτιμο περιεχόμενο που έχετε παράσχει στο ChatGPT σχετικά με τις ανάγκες ή την επιχείρησή σας. Φυσικά, θα προτιμούσατε να διαγράψετε τον ελάχιστο αριθμό στοιχείων που είναι απαραίτητο για να ελευθερώσετε χώρο, ώστε να μην εμποδίζετε την κατανόηση του ιστορικού σας από την Τεχνητή Νοημοσύνη. Ωστόσο, ο σχεδιασμός της διαχείρισης μνήμης επιβάλλει μια προσέγγιση "όλα ή τίποτα" ή μια αργή χειροκίνητη επιμέλεια. Προσωπικά έχω παρατηρήσει ότι κάθε διαγραμμένη ανάμνηση ελευθερώνει μόνο περίπου... 1% του χώρου μνήμης, γεγονός που υποδηλώνει ότι το σύστημα επιτρέπει μόνο περίπου 100 αναμνήσεις συνολικά πριν γεμίσει (χρήση 100%). Αυτό το αυστηρό όριο φαίνεται αυθαίρετο δεδομένης της κλίμακας των σύγχρονων συστημάτων τεχνητής νοημοσύνης και υπονομεύει την υπόσχεση του ChatGPT να γίνει ένας έμπειρος βοηθός που εξελίσσεται μαζί σας με την πάροδο του χρόνου.

Τι θα έπρεπε να συμβαίνει

Λαμβάνοντας υπόψη ότι το ChatGPT και η υποδομή πίσω από αυτό έχουν πρόσβαση σε σχεδόν απεριόριστους υπολογιστικούς πόρους, είναι εκπληκτικό το γεγονός ότι η λύση για τη μακροπρόθεσμη μνήμη είναι τόσο στοιχειώδης. Ιδανικά, Οι μακροπρόθεσμες μνήμες τεχνητής νοημοσύνης θα πρέπει να αναπαράγουν καλύτερα τον τρόπο λειτουργίας και χειρισμού των πληροφοριών του ανθρώπινου εγκεφάλου με την πάροδο του χρόνου. Ο ανθρώπινος εγκέφαλος έχει αναπτύξει αποτελεσματικές στρατηγικές για τη διαχείριση των αναμνήσεων – δεν καταγράφουμε απλώς κάθε γεγονός λέξη προς λέξη και το αποθηκεύουμε επ' αόριστον. Αντίθετα, ο εγκέφαλος έχει σχεδιαστεί για αποτελεσματικότητα: διατηρούμε λεπτομερείς πληροφορίες βραχυπρόθεσμα και στη συνέχεια σταδιακά. παγιώνω και κομπρέσα αυτές τις λεπτομέρειες στη μακροπρόθεσμη μνήμη.

Στη νευροεπιστήμη, ενοποίηση μνήμης αναφέρεται στη διαδικασία με την οποία οι ασταθείς βραχυπρόθεσμες μνήμες μετατρέπονται σε σταθερές, μακροχρόνιες. Σύμφωνα με το τυπικό μοντέλο ενοποίησης, οι νέες εμπειρίες αρχικά κωδικοποιούνται από το ιππόκαμπος, μια περιοχή του εγκεφάλου κρίσιμη για τον σχηματισμό επεισοδιακών μνημών, και με την πάροδο του χρόνου η γνώση «εκπαιδευμένοι» στον φλοιό για μόνιμη αποθήκευση. Αυτή η διαδικασία δεν συμβαίνει ακαριαία - απαιτεί το πέρασμα του χρόνου και συχνά συμβαίνει κατά τη διάρκεια περιόδων ανάπαυσης ή ύπνου. Ο ιππόκαμπος ουσιαστικά λειτουργεί ως ένα ενδιάμεσο μνήμης ταχείας μάθησης, ενώ ο φλοιός ενσωματώνει σταδιακά τις πληροφορίες σε μια πιο ανθεκτική μορφή σε διαδεδομένα νευρωνικά δίκτυα. Με άλλα λόγια, η «βραχυπρόθεσμη μνήμη» του εγκεφάλου (μνήμη εργασίας και πρόσφατες εμπειρίες) μεταφέρεται και αναδιοργανώνεται συστηματικά σε ένα κατανεμημένο αποθηκευτικό χώρο μακροπρόθεσμης μνήμης. Αυτή η μεταφορά πολλαπλών βημάτων καθιστά τη μνήμη πιο ανθεκτική στις παρεμβολές ή τη λήθη, παρόμοια με τη σταθεροποίηση μιας ηχογράφησης, ώστε να μην αντικαθίσταται εύκολα.

Το πιο σημαντικό είναι ότι ο ανθρώπινος εγκέφαλος δεν σπαταλούν πόρους αποθηκεύοντας κάθε λεπτομέρεια αυτολεξεί. Αντίθετα, τείνει να φιλτράρει τις ασήμαντες λεπτομέρειες και να διατηρεί ό,τι έχει το μεγαλύτερο νόημα από τις εμπειρίες μας. Οι ψυχολόγοι έχουν παρατηρήσει εδώ και καιρό ότι όταν ανακαλούμε ένα παρελθόν γεγονός ή πληροφορίες που έχουμε μάθει, συνήθως θυμήσου την ουσία του αντί για μια τέλεια, λέξη προς λέξη αφήγηση. Για παράδειγμα, αφού διαβάσετε ένα βιβλίο ή παρακολουθήσετε μια ταινία, θα θυμάστε τα κύρια σημεία και τα θέματα της πλοκής, αλλά όχι κάθε γραμμή διαλόγου. Με την πάροδο του χρόνου, η ακριβής διατύπωση και οι μικρές λεπτομέρειες της εμπειρίας ξεθωριάζουν, αφήνοντας πίσω μια πιο αφηρημένη περίληψη του τι συνέβη. Στην πραγματικότητα, η έρευνα δείχνει ότι η κατά λέξη μνήμη μας (ακριβείς λεπτομέρειες) ξεθωριάζει πιο γρήγορα από την κεντρική μνήμη μας (γενική έννοια) με την πάροδο του χρόνου. Αυτός είναι ένας αποτελεσματικός τρόπος αποθήκευσης γνώσης: απορρίπτοντας τις περιττές λεπτομέρειες, ο εγκέφαλος «συμπιέζει» τις πληροφορίες, διατηρώντας τα βασικά μέρη που είναι πιθανό να είναι χρήσιμα στο μέλλον.

Αυτός ο διαλογισμός στα νευρική συμπίεση μπορεί να παρομοιαστεί με τον τρόπο που οι υπολογιστές συμπιέζουν αρχεία, και μάλιστα οι επιστήμονες έχουν παρατηρήσει ανάλογες διεργασίες στον εγκέφαλο. Όταν αναπαράγουμε νοερά μια ανάμνηση ή φανταζόμαστε ένα μελλοντικό σενάριο, η νευρωνική αναπαράσταση ουσιαστικά επιταχύνεται και αφαιρείται κάποια λεπτομέρεια - πρόκειται για μια συμπιεσμένη εκδοχή της πραγματικής εμπειρίας. Νευροεπιστήμονες στο Πανεπιστήμιο του Τέξας, Όστιν ανακάλυψαν έναν μηχανισμό εγκεφαλικών κυμάτων που μας επιτρέπει να ανακαλούμε μια ολόκληρη ακολουθία γεγονότων (ας πούμε, ένα απόγευμα που περάσαμε στο παντοπωλείο) σε λίγα μόνο δευτερόλεπτα, χρησιμοποιώντας έναν ταχύτερο εγκεφαλικό ρυθμό που κωδικοποιεί λιγότερο λεπτομερείς, υψηλού επιπέδου πληροφορίες. Στην ουσία, ο εγκέφαλός μας μπορεί να προχωρήσει γρήγορα στις αναμνήσεις, διατηρώντας το περίγραμμα και τα κρίσιμα σημεία, παραλείποντας παράλληλα την πλούσια λεπτομέρεια, η οποία θα ήταν περιττή ή πολύ ογκώδης για να αναπαραχθεί πλήρως. Η συνέπεια είναι ότι τα φανταστικά σχέδια και οι αναμνήσεις που θυμόμαστε αποθηκεύονται σε συμπυκνωμένη μορφή - εξακολουθούν να είναι χρήσιμα και κατανοητά, αλλά πολύ πιο αποδοτικά από άποψη χώρου και χρόνου από την αρχική εμπειρία.

Μια άλλη σημαντική πτυχή της διαχείρισης της ανθρώπινης μνήμης είναι ιεράρχησηΔεν απαθανατίζονται όλα όσα εισέρχονται στη βραχυπρόθεσμη μνήμη στη μακροπρόθεσμη αποθήκευση. Ο εγκέφαλός μας υποσυνείδητα αποφασίζει τι αξίζει να θυμόμαστε και τι όχι, με βάση τη σημασία ή τη συναισθηματική μας σημασία. πρόσφατη μελέτη στο Πανεπιστήμιο Rockefeller απέδειξε αυτήν την αρχή χρησιμοποιώντας ποντίκια: τα ποντίκια εκτέθηκαν σε διάφορα αποτελέσματα σε έναν λαβύρινθο (μερικά ιδιαίτερα ικανοποιητικά, μερικά ελαφρώς ικανοποιητικά, μερικά αρνητικά). Αρχικά, τα ποντίκια έμαθαν όλες τις συσχετίσεις, αλλά όταν δοκιμάστηκαν ένα μήνα αργότερα, μόνο το πιο σημαντικό Η μνήμη υψηλής ανταμοιβής διατηρήθηκε, ενώ οι λιγότερο σημαντικές λεπτομέρειες εξαφανίστηκαν.

Με άλλα λόγια, ο εγκέφαλος φιλτράριζε τον θόρυβο και διατηρούσε τη μνήμη που είχε τη μεγαλύτερη σημασία για τους στόχους του ζώου. Οι ερευνητές εντόπισαν ακόμη και μια περιοχή του εγκεφάλου, την πρόσθιος θάλαμος, που λειτουργεί ως ένα είδος μεσολαβητή μεταξύ του ιππόκαμπου και του φλοιού κατά την ενοποίηση, σηματοδοτώντας ποιες αναμνήσεις είναι αρκετά σημαντικές για να «σωθούν» μακροπρόθεσμα. Ο θάλαμος φαίνεται να στέλνει συνεχή ενίσχυση για πολύτιμες αναμνήσεις - ουσιαστικά λέει στον φλοιό «κράτα αυτή» μέχρι να κωδικοποιηθεί πλήρως η μνήμη - ενώ επιτρέπει στις λιγότερο σημαντικές αναμνήσεις να ξεθωριάσουν. Αυτό το εύρημα υπογραμμίζει ότι Η λήθη δεν είναι απλώς μια αποτυχία της μνήμης, αλλά ένα ενεργό χαρακτηριστικό του συστήματος: Αποβάλλοντας ασήμαντες ή περιττές πληροφορίες, ο εγκέφαλος αποτρέπει την υπερφόρτωση της μνήμης του και διασφαλίζει ότι η πιο χρήσιμη γνώση είναι εύκολα προσβάσιμη.

Επαναπροσδιορίζοντας τη μνήμη της τεχνητής νοημοσύνης με ανθρώπινες αρχές

Ο τρόπος με τον οποίο ο ανθρώπινος εγκέφαλος χειρίζεται τη μνήμη προσφέρει ένα σαφές σχέδιο για το πώς το ChatGPT και παρόμοια συστήματα τεχνητής νοημοσύνης θα πρέπει να διαχειρίζονται μακροπρόθεσμες πληροφορίες. Αντί να αντιμετωπίζει κάθε αποθηκευμένη μνήμη ως ένα απομονωμένο σημείο δεδομένων που πρέπει είτε να διατηρείται για πάντα είτε να διαγράφεται χειροκίνητα, μια τεχνητή νοημοσύνη θα μπορούσε... ενοποίηση και σύνοψη παλαιότερων αναμνήσεων στο παρασκήνιο. Για παράδειγμα, εάν έχετε αποθηκευμένες δέκα σχετικές συνομιλίες ή γεγονότα σχετικά με το τρέχον έργο σας, η Τεχνητή Νοημοσύνη μπορεί να τα συγχωνεύσει αυτόματα σε μια συνοπτική περίληψη ή ένα σύνολο βασικών συμπερασμάτων – συμπιέζοντας αποτελεσματικά τη μνήμη διατηρώντας παράλληλα την ουσία της, όπως ακριβώς ο εγκέφαλος συμπυκνώνει τις λεπτομέρειες σε ουσία. Αυτό θα απελευθέρωνε χώρο για νέες πληροφορίες χωρίς να «ξεχνάει» πραγματικά τι ήταν σημαντικό στις παλιές αλληλεπιδράσεις. Πράγματι, η τεκμηρίωση του OpenAI υποδείξεις ότι τα μοντέλα του ChatGPT μπορούν ήδη να κάνουν κάποια αυτόματη ενημέρωση και συνδυασμό αποθηκευμένων λεπτομερειών, αλλά η τρέχουσα εμπειρία χρήστη υποδηλώνει ότι αυτό δεν είναι ακόμη απρόσκοπτο ή επαρκές.

Μια άλλη βελτίωση εμπνευσμένη από τον άνθρωπο θα ήταν η ιεράρχηση της διατήρησης μνήμης. Αντί για ένα αυστηρό όριο 100 στοιχείων, η Τεχνητή Νοημοσύνη θα μπορούσε να ζυγίσει ποιες αναμνήσεις ήταν πιο συχνά σχετικές ή πιο κρίσιμες για τις ανάγκες του χρήστη και να απορρίψει (ή να μειώσει το δείγμα) μόνο εκείνες που φαίνονται λιγότερο σημαντικές. Στην πράξη, αυτό θα μπορούσε να σημαίνει ότι το ChatGPT αναγνωρίζει ότι ορισμένα γεγονότα (π.χ. οι βασικοί στόχοι της εταιρείας σας, οι προδιαγραφές του τρέχοντος έργου, οι προσωπικές προτιμήσεις) είναι ιδιαίτερα σημαντικά και θα πρέπει πάντα να διατηρούνται, ενώ μεμονωμένα στοιχεία από μήνες πριν θα μπορούσαν να αρχειοθετηθούν ή να απορριφθούν πρώτα. Αυτή η δυναμική προσέγγιση είναι παράλληλη με τον τρόπο που ο εγκέφαλος... συνεχώς κλαδεύει τις αχρησιμοποίητες συνδέσεις και ενισχύει αυτά που χρησιμοποιούνται συχνά για τη βελτιστοποίηση της γνωστικής αποτελεσματικότητας.

Το συμπέρασμα είναι ότι ένα σύστημα μακροπρόθεσμης μνήμης για την Τεχνητή Νοημοσύνη θα πρέπει εξελίσσονται, όχι απλώς γεμίζει και σταματά. Η ανθρώπινη μνήμη είναι αξιοσημείωτα προσαρμοστική - μετασχηματίζεται και αναδιοργανώνεται με την πάροδο του χρόνου και δεν περιμένει από έναν εξωτερικό χρήστη να μικροδιαχειρίζεται κάθε θέση μνήμης. Αν η μνήμη του ChatGPT λειτουργούσε περισσότερο όπως η δική μας, οι χρήστες δεν θα αντιμετώπιζαν έναν απότομο τοίχο στις 100 καταχωρήσεις, ούτε την επώδυνη επιλογή μεταξύ του να σβήσουν τα πάντα ή να κάνουν κλικ σε εκατό στοιχεία ένα προς ένα. Αντ' αυτού, οι παλαιότερες αναμνήσεις συνομιλίας θα μεταμορφώνονταν σταδιακά σε μια αποσταγμένη βάση γνώσεων από την οποία μπορεί να αντλήσει η Τεχνητή Νοημοσύνη και μόνο τα πραγματικά παρωχημένα ή άσχετα κομμάτια θα εξαφανίζονταν. Η κοινότητα της Τεχνητής Νοημοσύνης, η οποία είναι το κοινό-στόχος εδώ, μπορεί να εκτιμήσει ότι η εφαρμογή ενός τέτοιου συστήματος μπορεί να περιλαμβάνει τεχνικές όπως η σύνοψη συμφραζομένων, διανυσματικές βάσεις δεδομένων για ανάκτηση γνώσηςή ιεραρχικά επίπεδα μνήμης σε νευρωνικά δίκτυα – όλα ενεργά πεδία έρευνας. Στην πραγματικότητα, το να δοθεί στην Τεχνητή Νοημοσύνη μια μορφή «επεισοδιακής μνήμης» που συμπιέζεται με την πάροδο του χρόνου είναι μια γνωστή πρόκληση και η επίλυσή της θα ήταν ένα άλμα προς την Τεχνητή Νοημοσύνη που μαθαίνει συνεχώς και κλιμακώνει τη βάση γνώσεών της με βιώσιμο τρόπο.

Συμπέρασμα

Ο τρέχων περιορισμός μνήμης του ChatGPT μοιάζει με μια προσωρινή λύση που δεν αξιοποιεί πλήρως τη δύναμη της Τεχνητής Νοημοσύνης. Εξετάζοντας την ανθρώπινη νόηση, βλέπουμε ότι η αποτελεσματική μακροπρόθεσμη μνήμη δεν αφορά την αποθήκευση απεριόριστων ακατέργαστων δεδομένων - πρόκειται για έξυπνη συμπίεση, ενοποίηση και λήθη των σωστών πραγμάτων. Η ικανότητα του ανθρώπινου εγκεφάλου να διατηρεί ό,τι έχει σημασία, ενώ παράλληλα εξοικονομεί χώρο αποθήκευσης, είναι ακριβώς αυτό που κάνει τη μακροπρόθεσμη μνήμη μας τόσο απέραντη και χρήσιμη. Για να γίνει η Τεχνητή Νοημοσύνη ένας πραγματικός μακροπρόθεσμος συνεργάτης, θα πρέπει να υιοθετήσει μια παρόμοια στρατηγική: να μετατρέπει αυτόματα τις προηγούμενες αλληλεπιδράσεις σε διαρκείς γνώσεις, αντί να μεταθέτει αυτό το βάρος στον χρήστη. Η απογοήτευση του να χτυπάς έναν τοίχο "γεμάτης μνήμης" θα μπορούσε να αντικατασταθεί από ένα σύστημα που αναπτύσσεται ομαλά με τη χρήση, τη μάθηση και την απομνημόνευση με έναν ευέλικτο, ανθρώπινο τρόπο. Η υιοθέτηση αυτών των αρχών όχι μόνο θα έλυνε το πρόβλημα της εμπειρίας χρήστη, αλλά θα ξεκλείδωνε και μια πιο ισχυρή και εξατομικευμένη εμπειρία Τεχνητής Νοημοσύνης για ολόκληρη την κοινότητα χρηστών και προγραμματιστών που βασίζονται σε αυτά τα εργαλεία.