Ενεργή και διατηρούμενη μνήμη στην ΤΝ: Πώς η ΤΝ θυμάται, ανακτά και ξεχνά

Ενεργή μνήμη είναι οι πληροφορίες που έχει στη διάθεσή του ένα σύστημα ΤΝ για την εργασία που εκτελεί εκείνη τη στιγμή. Διατηρούμενη μνήμη είναι οι πληροφορίες που κρατά η εφαρμογή στην οποία εντάσσεται το σύστημα, ώστε να μπορούν να χρησιμοποιηθούν ξανά αργότερα. Η σχέση ανάμεσά τους καθορίζει αν ένας βοηθός μπορεί να συνεχίσει ένα έργο, να εφαρμόσει μια προτίμηση, να διορθώσει μια παρωχημένη παραδοχή ή να πάψει να επαναφέρει κάτι που θα έπρεπε να έχει ξεχάσει.

Σκεφτείτε έναν βοηθό που σας βοηθά να ετοιμάσετε μια ερευνητική έκθεση. Στη διάρκεια μιας συνομιλίας, μπορεί να ανατρέχει στο περίγραμμα, στις πιο πρόσφατες αλλαγές σας και στις πηγές που μόλις του δώσατε. Αν ξεκινήσετε ξεχωριστή συνομιλία μία εβδομάδα αργότερα, η συνέχεια εξαρτάται από έναν διαφορετικό μηχανισμό: από το αν η εφαρμογή αποθήκευσε τις σχετικές πληροφορίες, μπορεί να τις εντοπίσει και τις παρέχει ξανά στο μοντέλο.

Γι’ αυτό μια ΤΝ μπορεί να φαίνεται ότι θυμάται μια λεπτομέρεια, ενώ ξεχνά μια άλλη από την ίδια συνομιλία. Η ανάκληση είναι μια αλληλουχία ενεργειών. Αστοχία μπορεί να προκύψει κατά τη συλλογή, αποθήκευση, αναζήτηση, επιλογή, ερμηνεία ή ενημέρωση των πληροφοριών.

Αυτός ο οδηγός εξετάζει αναλυτικά αυτή την αλληλουχία. Για μια ευρύτερη ταξινόμηση της επεισοδιακής, σημασιολογικής και διαδικαστικής μνήμης, δείτε την εισαγωγή μας στους τύπους μνήμης των πρακτόρων ΤΝ. Εδώ, εστιάζουμε στο όριο ανάμεσα σε όσα είναι ενεργά τώρα και σε όσα μπορούν να διατηρηθούν μετά την τρέχουσα εργασία.

Τι σημαίνουν στην πράξη η ενεργή και η διατηρούμενη μνήμη;

Οι όροι αυτοί περιγράφουν χρήσιμες αρχιτεκτονικές διακρίσεις, αλλά δεν αποτελούν ένα ζεύγος με καθολικά τυποποιημένη σημασία. Οι διεπαφές προϊόντων και οι ερευνητικές δημοσιεύσεις χρησιμοποιούν τους όρους «μνήμη εργασίας», «βραχυπρόθεσμη μνήμη», «πλαίσιο», «κατάσταση» και «μακροπρόθεσμη μνήμη» με επικαλυπτόμενες σημασίες. Επομένως, για να δοθεί μια ακριβής εξήγηση, πρέπει πρώτα να οριστούν οι όροι.

Σε αυτό το άρθρο, ενεργό πλαίσιο είναι οι πληροφορίες που παρέχονται στο μοντέλο για την τρέχουσα απόκρισή του: οδηγίες, μηνύματα, επιλεγμένα αποτελέσματα εργαλείων, ανακτημένο υλικό και άλλες εισροές που μπορεί να επεξεργαστεί το μοντέλο. Η ενεργή κατάσταση εργασίας έχει ευρύτερη έννοια. Μπορεί να περιλαμβάνει ένα σχέδιο, μια λίστα ελέγχου ή μεταβλητές που διατηρεί η εφαρμογή, αλλά δεν έχει ακόμη εντάξει στο πλαίσιο του μοντέλου. Χρησιμοποιούμε τον όρο ενεργή μνήμη ως πρακτική ομπρέλα για αυτό το τρέχον σύνολο εργασίας, διακρίνοντας τις δύο έννοιες όποτε χρειάζεται.

Διατηρούμενη μνήμη είναι οι πληροφορίες που διατηρούνται μετά το τέλος μιας απόκρισης ή μιας συνεδρίας και παραμένουν διαθέσιμες για μελλοντική χρήση. Μπορεί να είναι μια αποθηκευμένη προτίμηση, μια σημείωση για ένα έργο, μια καταγραφή συμβάντος, ένα δομημένο πεδίο βάσης δεδομένων ή ένα σημείο ελέγχου που επιτρέπει τη συνέχιση μιας ημιτελούς εργασίας. Η διατήρηση αφορά την αποθήκευση· δεν εγγυάται ότι οι πληροφορίες θα είναι διαθέσιμες σε κάθε συνομιλία.

Συνεπώς, υπάρχουν δύο ξεχωριστά ερωτήματα: Εξακολουθούν να υπάρχουν οι πληροφορίες; και Θα τις λάβει το μοντέλο όταν τις χρειαστεί; Ένα αποθηκευμένο ιστορικό συνομιλίας μπορεί να απαντά στο πρώτο ερώτημα χωρίς να λύνει το δεύτερο.

Η σημαντική εξαίρεση: η βραχυπρόθεσμη κατάσταση μπορεί να αποθηκευτεί

Ο όρος «βραχυπρόθεσμος» δεν σημαίνει πάντα «αποθηκευμένος μόνο σε πτητική μνήμη RAM». Η κατάσταση εργασίας μιας συνομιλίας μπορεί να αποθηκευτεί σε σημείο ελέγχου μιας βάσης δεδομένων και να ανακτηθεί μετά από διακοπή. Για παράδειγμα, η τεκμηρίωση μνήμης του LangChain διακρίνει την κατάσταση που περιορίζεται σε ένα νήμα συνομιλίας και διατηρείται μέσω σημείων ελέγχου από τη μακροπρόθεσμη μνήμη, η οποία οργανώνεται σε ξεχωριστούς χώρους ονομάτων.

Φανταστείτε έναν εκπρόσωπο υποστήριξης που διακόπτει προσωρινά την εργασία του όσο περιμένει έναν πελάτη να ανεβάσει μια απόδειξη. Το αποθηκευμένο σημείο ελέγχου αφορά τη συγκεκριμένη υπόθεση υποστήριξης. Είναι μόνιμο, αλλά δεν θα πρέπει να μετατρέπεται αυτόματα σε γενικό στοιχείο για τον πελάτη ούτε να εμφανίζεται σε άσχετα αιτήματα.

Ένας χρήσιμος τρόπος αξιολόγησης κάθε λειτουργίας μνήμης είναι να εξετάσετε τρεις διαστάσεις: τη διάρκειά της, το πεδίο εφαρμογής της και τη διαθεσιμότητά της στην τρέχουσα κλήση του μοντέλου. Μια ετικέτα όπως «μακροπρόθεσμη» δεν απαντά πλήρως σε κανένα από αυτά τα ερωτήματα.

Ενεργή και διατηρούμενη μνήμη με μια ματιά

Το ίδιο γεγονός μπορεί να εμφανίζεται και στις δύο στήλες. Μια αποθηκευμένη προτίμηση για ένα έργο είναι διαρκής· το αντίγραφό της που προστίθεται στη σημερινή προτροπή είναι ενεργό. Η αφαίρεση αυτού του αντιγράφου από την προτροπή δεν σημαίνει απαραίτητα ότι διαγράφεται και το αποθηκευμένο πρωτότυπο.

Τι συμβαίνει κατά τη διάρκεια μιας μεμονωμένης απάντησης AI;

Σε μια τυπική εφαρμογή γλωσσικού μοντέλου, το περιβάλλον λογισμικό συγκεντρώνει μια είσοδο, το μοντέλο παράγει μια έξοδο και το λογισμικό αποφασίζει τι θα συμβεί στη συνέχεια. Η είσοδος μπορεί να περιλαμβάνει τη συνομιλία που είναι ορατή στον χρήστη, αλλά και οδηγίες συστήματος, περιγραφές εργαλείων, σημειώσεις που ανακτήθηκαν και πληροφορίες που ο χρήστης δεν βλέπει στο ιστορικό της συνομιλίας.

Αυτό το συγκεντρωμένο πλαίσιο αποτελεί τα άμεσα τεκμήρια του μοντέλου. Αν ένα παλαιότερο μήνυμα δεν περιλαμβάνεται πλέον, το μοντέλο δεν μπορεί να ανακτήσει αξιόπιστα το ακριβές περιεχόμενό του απλώς και μόνο επειδή η εφαρμογή το είχε εμφανίσει κάποτε. Μπορεί να συναγάγει μια εύλογη απάντηση από τα συμφραζόμενα, αλλά η συναγωγή δεν είναι το ίδιο με την ανάκληση.

Ένα εργαλείο διευρύνει όσα μπορεί να προσπελάσει το σύστημα. Το μοντέλο μπορεί να ζητήσει ένα αρχείο έργου, να λάβει το περιεχόμενό του και να το χρησιμοποιήσει σε μια επόμενη απάντηση. Το αρχείο ήταν διαθέσιμο στην εφαρμογή πριν καταστεί ενεργό τεκμήριο. Αυτή η διάκριση εξηγεί πώς ένας πράκτορας μπορεί να έχει πρόσβαση σε ένα μεγάλο αρχείο χωρίς να το διαβάζει ολόκληρο σε κάθε γύρο.

Στο εσωτερικό τους, οι υλοποιήσεις μετασχηματιστών διατηρούν επίσης υπολογιστική κατάσταση, μεταξύ άλλων προσωρινές μνήμες που χρησιμοποιούνται για να αποφεύγεται η επανάληψη εργασιών. Αυτοί οι μηχανισμοί είναι χρήσιμοι για αποδοτική συναγωγή, αλλά δεν πρέπει να συγχέονται με ένα επεξεργάσιμο αρχείο που λαμβάνει υπόψη τα δικαιώματα πρόσβασης και καταγράφει τις προτιμήσεις ή το ιστορικό έργων ενός χρήστη. Μια ταχύτερη απάντηση δεν αποδεικνύει ότι έχει δημιουργηθεί προσωπική μνήμη.

Γιατί ένα μεγαλύτερο παράθυρο συμφραζομένων δεν λύνει το πρόβλημα της μνήμης

Ένα μεγαλύτερο παράθυρο συμφραζομένων επιτρέπει στην εφαρμογή να παρέχει περισσότερο υλικό κάθε φορά. Αυτό μπορεί να είναι πολύτιμο όταν η απάντηση εξαρτάται από σχέσεις που εκτείνονται σε ένα μεγάλο έγγραφο ή σε πολλές συναφείς πηγές. Ωστόσο, δεν καθορίζει ποιο υλικό αξίζει να διατηρηθεί, ποια έκδοση είναι η έγκυρη ή αν ένας χρήστης έχει δικαίωμα πρόσβασης σε αυτό.

Ούτε και η εισαγωγή πληροφοριών σε ένα παράθυρο συμφραζομένων εγγυάται ότι το μοντέλο θα τις χρησιμοποιήσει σωστά. Η μελέτη Χαμένοι στη μέση έδειξε ότι τα μοντέλα που εξετάστηκαν μπορούσαν να έχουν διαφορετικές επιδόσεις, ανάλογα με το σημείο των μεγάλων εισόδων στο οποίο εμφανίζονταν τα σχετικά τεκμήρια. Το εύρημα προειδοποιεί ότι πρέπει να αξιολογείται η αποτελεσματική χρήση των συμφραζομένων, αντί η διαφημιζόμενη χωρητικότητα να εκλαμβάνεται ως εγγύηση ανάκλησης· δεν αποτελεί σταθερή πρόβλεψη επιδόσεων για κάθε νεότερο μοντέλο.

Ας υποθέσουμε ότι το αρχείο ενός έργου περιέχει σαράντα συζητήσεις για μια ημερομηνία κυκλοφορίας. Στις τριάντα εννέα αναφέρεται η αρχική ημερομηνία, ενώ η τελευταία εγκεκριμένη αλλαγή τη μεταθέτει. Η παροχή και των σαράντα συζητήσεων δημιουργεί πρόβλημα ανάγνωσης και προσδιορισμού της έγκυρης πληροφορίας. Ένα προσεκτικά συντηρημένο αρχείο της τρέχουσας κατάστασης, με σύνδεσμο προς την εγκεκριμένη αλλαγή, μπορεί να διευκολύνει τον προσδιορισμό της σχετικής απάντησης.

Επομένως, το εκτεταμένο πλαίσιο και η επιλεκτική ανάκτηση μπορούν να λειτουργούν συμπληρωματικά. Η ανάκτηση εντοπίζει ένα χρήσιμο σύνολο τεκμηρίων· ένα αρκετά μεγάλο πλαίσιο επιτρέπει στο μοντέλο να εξετάσει αυτά τα τεκμήρια από κοινού. Η επιλογή σχεδιασμού εξαρτάται από την εργασία, το μέγεθος του υλικού πηγής και τις συνέπειες της παράλειψης μιας επιφύλαξης.

Πώς οι πληροφορίες μετατρέπονται σε διαρκή μνήμη

Η διαρκής μνήμη ξεκινά με μια απόφαση αποθήκευσης. Μια εφαρμογή μπορεί να αποθηκεύσει μια ρητή οδηγία του χρήστη, να συναγάγει ένα πιθανό γεγονός από μια συνομιλία, να διατηρήσει ένα συμβάν ή να δημιουργήσει μια σύνοψη. Κάθε τρόπος παράγει διαφορετικό είδος τεκμηρίου.

«Για το Έργο Cedar, χρησιμοποιήστε μετρικές μονάδες» είναι μια ρητή προτίμηση για το έργο. «Ο χρήστης φαίνεται να προτιμά τις μετρικές μονάδες» είναι ένα συμπέρασμα. «Οι τρεις τελευταίες αναφορές του Cedar χρησιμοποίησαν μετρικές μονάδες» είναι μια παρατήρηση. Μια χρήσιμη εγγραφή διατηρεί αυτές τις διαφορές, αντί να τις συγχωνεύει σε έναν ανεπιφύλακτο ισχυρισμό για κάθε μελλοντική εργασία.

Τι περιλαμβάνει μια χρήσιμη εγγραφή

Για έναν υποθετικό βοηθό έργου, μια εγγραφή θα μπορούσε να περιλαμβάνει τη δήλωση, το αναγνωριστικό του έργου, τον χρήστη ή τον οργανισμό στον οποίο αφορά, την αλληλεπίδραση από την οποία προέρχεται, μια χρονική σήμανση, την κατάσταση ισχύος της και τυχόν εξαιρέσεις. Αυτά τα πεδία καθιστούν δυνατό να αναζητηθεί από πού προήλθαν οι πληροφορίες και αν εξακολουθούν να ισχύουν.

{
  "scope": "project:cedar",
  "statement": "Use metric units in project reports",
  "source_type": "explicit_user_instruction",
  "source_ref": "conversation_17/message_8",
  "status": "current",
  "exception": "Client edition may require dual units"
}

Πρόκειται για ένα ενδεικτικό σχήμα, όχι για καθολικό πρότυπο. Σκοπός του είναι να δείξει γιατί μια μνήμη πρέπει να περιέχει περισσότερα από μία πρόταση. Η αναφορά στην πηγή διευκολύνει την επαλήθευση· το πεδίο εφαρμογής αποτρέπει τις υπεργενικεύσεις· και ένα πεδίο κατάστασης καθιστά δυνατή τη διόρθωση.

Άμεσες εγγραφές και επεξεργασία στο παρασκήνιο

Μια άμεση εγγραφή μπορεί να καταστήσει μια ρητή διόρθωση διαθέσιμη ήδη στο αμέσως επόμενο αίτημα. Η επεξεργασία στο παρασκήνιο μπορεί να εξετάσει μια ολοκληρωμένη αλληλεπίδραση, να συνδυάσει διπλότυπες εγγραφές ή να δημιουργήσει μια πιο μελετημένη σύνοψη. Η τεκμηρίωση του LangChain περιγράφει και τις δύο προσεγγίσεις και τους συμβιβασμούς τους, συμπεριλαμβανομένης της πρόσθετης εργασίας που επιβαρύνει τη διαδρομή άμεσης απόκρισης.

Ένας πρακτικός σχεδιασμός θα μπορούσε να αποθηκεύει αμέσως μια επιβεβαιωμένη προτίμηση και να επεξεργάζεται αργότερα μια μακρά ερευνητική συνεδρία. Ωστόσο, πρέπει να διαχειρίζεται και το χρονικό διάστημα ανάμεσα σε αυτά τα δύο βήματα. Αν το σύστημα ενημερώσει τον χρήστη ότι αποθήκευσε μια προτίμηση προτού ολοκληρωθεί επιτυχώς η εγγραφή, η επόμενη συνομιλία μπορεί να αποκαλύψει ασυνέχεια.

Οι εγγραφές στη μνήμη χρειάζονται επίσης πολιτική αντιμετώπισης αποτυχιών. Αν η αποθήκευση δεν είναι προσωρινά διαθέσιμη, η εφαρμογή μπορεί να αναφέρει ότι η αποθήκευση δεν ολοκληρώθηκε ή να διατηρήσει μια εκκρεμή ενέργεια με σαφή σχετική επισήμανση. Αντιμετωπίζοντας μια απόπειρα εγγραφής ως επιτυχημένη αποθήκευση στη μνήμη, δημιουργείται μια παραπλανητική εμπειρία για τον χρήστη.

Πώς η διαρκής μνήμη επανέρχεται στο ενεργό πλαίσιο

Η ανάκτηση περιλαμβάνει μια σειρά αποφάσεων σχετικά με την επιλεξιμότητα, τη συνάφεια και τα αποδεικτικά στοιχεία. Αρχικά, το σύστημα πρέπει να προσδιορίσει τον χρήστη, τον μισθωτή, το έργο ή την εργασία, τα αρχεία των οποίων μπορεί να συμβουλευτεί. Στη συνέχεια, εντοπίζει υποψήφιες εγγραφές και επιλέγει ποιες θα συμπεριλάβει στο πλαίσιο της απόκρισης.

Η μέθοδος ανάκτησης πρέπει να ταιριάζει στο ερώτημα. Η ερώτηση «Ποια είναι η εγκεκριμένη προθεσμία του Cedar;» μπορεί να απαντηθεί καλύτερα με ακριβή αναζήτηση σε πεδίο του έργου. Η ερώτηση «Έχουμε αντιμετωπίσει ξανά αυτό το σφάλμα ανάπτυξης;» μπορεί να ωφεληθεί από αναζήτηση λέξεων-κλειδιών και σημασιολογικής ομοιότητας σε παλαιότερα περιστατικά. Μια διανυσματική βάση δεδομένων είναι μία επιλογή σε αυτήν τη διαδικασία, όχι απαίτηση για κάθε είδος μνήμης.

Η σημασιολογική αναζήτηση είναι ιδιαίτερα χρήσιμη όταν αλλάζει η διατύπωση. Ένα ερώτημα σχετικά με το «να διατηρούνται οι αναφορές σύντομες» μπορεί να αντιστοιχιστεί με μια αποθηκευμένη προτίμηση για «σύντομες εκτελεστικές συνόψεις». Ωστόσο, μια σχετική δήλωση μπορεί να αφορά διαφορετικό πελάτη ή μια εγκαταλειμμένη έκδοση του έργου. Η ομοιότητα εντοπίζει υποψήφιες εγγραφές· δεν αποδεικνύει ότι είναι αληθείς ούτε ότι υπάρχει άδεια χρήσης τους.

Η ανάκτηση χρειάζεται και έκβαση «δεν βρέθηκε»

Σκεφτείτε την ερώτηση «Ποιο όριο δαπανών ενέκρινα τον περασμένο μήνα;». Αν δεν εντοπιστεί εγκεκριμένο ποσό, μια χρήσιμη απάντηση επισημαίνει τα αποδεικτικά στοιχεία που λείπουν και ζητά διευκρινίσεις. Η επινόηση ενός εύλογου αριθμού μετατρέπει την απουσία μνήμης σε ανύπαρκτη εξουσιοδότηση.

Η διεπαφή μνήμης θα πρέπει, επομένως, να διακρίνει ανάμεσα σε επιβεβαιωμένη αντιστοιχία, αβέβαιη αντιστοιχία, σύγκρουση και απουσία τεκμηρίωσης. Κάθε περίπτωση μπορεί να οδηγεί σε διαφορετική συμπεριφορά: άμεση απάντηση, απάντηση με επιφύλαξη, αίτημα για διευκρινίσεις ή άρνηση ενεργειών που βασίζονται σε μη τεκμηριωμένη υπόθεση.

Μετά την ανάκτηση, εξακολουθεί να έχει σημασία η ερμηνεία. Μια καταχώριση που αναφέρει «μέγιστος προτεινόμενος προϋπολογισμός: 5.000 δολάρια, εκκρεμεί έγκριση» δεν πρέπει να μετατραπεί σε «εγκεκριμένος προϋπολογισμός: 5.000 δολάρια». Η διατήρηση των επιφυλάξεων στην αποθηκευμένη αναπαράσταση και στο παρεχόμενο πλαίσιο είναι εξίσου σημαντική με τον εντοπισμό του σωστού εγγράφου.

Ένα αναλυτικό παράδειγμα: πώς διατηρείται στη μνήμη ένα έργο με την πάροδο του χρόνου

Ας φανταστούμε έναν βοηθό που υποστηρίζει μια ομάδα στη σύνταξη της ερευνητικής έκθεσης Cedar. Το ακόλουθο παράδειγμα είναι υποθετικό, αλλά αναδεικνύει ορισμένες συνήθεις επιλογές σχεδιασμού της μνήμης.

Συνεδρία πρώτη: Καθορισμός του έργου

Ο χρήστης ζητά μια έκθεση, ορίζει ότι οι μονάδες πρέπει να είναι μετρικές, παραθέτει τρεις πηγές και αναφέρει ότι το προσχέδιο πρέπει να είναι έτοιμο την Παρασκευή. Το ενεργό πλαίσιο περιλαμβάνει αυτές τις οδηγίες και αποσπάσματα από τις πηγές. Η ενεργή κατάσταση της εργασίας καταγράφει ποιες ενότητες έχουν ολοκληρωθεί και ποιοι ισχυρισμοί χρειάζονται ακόμη επαλήθευση.

Οι ενδεχόμενες μόνιμες καταχωρίσεις εξυπηρετούν διαφορετικούς σκοπούς. Η προτίμηση για μετρικές μονάδες αφορά το έργο. Η προθεσμία του προσχεδίου αφορά το τρέχον ορόσημο. Οι πηγές που παρασχέθηκαν ανήκουν στο αρχείο τεκμηρίωσης του έργου. Οι μη επαληθευμένοι ισχυρισμοί ανήκουν σε έναν κατάλογο εκκρεμούς έρευνας, με την αβεβαιότητά τους να διατηρείται.

Συνεδρία δεύτερη: Συνέχιση με τα κατάλληλα τεκμήρια

Τρεις ημέρες αργότερα, ο χρήστης ζητά να ολοκληρωθεί η ενότητα των μεθόδων. Ο βοηθός χρειάζεται το πιο πρόσφατο περίγραμμα, τις σχετικές πηγές, την τρέχουσα κατάσταση της εργασίας και τον ισχύοντα κανόνα μορφοποίησης. Δεν χρειάζεται απαραίτητα κάθε πρόταση που απορρίφθηκε κατά την προηγούμενη συνεδρία καταιγισμού ιδεών.

Αν το σημείο ελέγχου αναφέρει ότι η βιβλιογραφική ανασκόπηση έχει ολοκληρωθεί, ο βοηθός θα πρέπει και πάλι να ανοίξει το αποθηκευμένο αρχείο πριν κάνει αλλαγές γύρω από αυτήν. Η ένδειξη «ολοκληρώθηκε» είναι ένας ισχυρισμός για την πρόοδο· το ίδιο το έγγραφο αποτελεί τεκμήριο του τι ολοκληρώθηκε. Οι μόνιμοι σύνδεσμοι προς τα αρχεία μπορεί να είναι χρησιμότεροι από μια σύνοψη που προσπαθεί να αναπαράγει ολόκληρο το περιεχόμενό τους.

Συνεδρία τρίτη: Εφαρμογή μιας εξαίρεσης χωρίς συνολική αναδιατύπωση

Ο χρήστης ζητά μια έκδοση για πελάτες με μετρικές και αυτοκρατορικές μονάδες. Η τρέχουσα εργασία θα πρέπει να χρησιμοποιεί και τα δύο συστήματα μονάδων. Το αν αλλάζει ο γενικός κανόνας του έργου εξαρτάται από τη διατύπωση και το εύρος του αιτήματος του χρήστη: το «για αυτή την έκδοση» έχει στενότερο πεδίο εφαρμογής από το «από εδώ και πέρα, να χρησιμοποιούνται και τα δύο».

Ένας προσεκτικός βοηθός καταγράφει μια εξαίρεση που αφορά τη συγκεκριμένη έκδοση. Ένας βοηθός που γενικεύει υπερβολικά τροποποιεί την καθολική προτίμηση και εισάγει σφάλματα σε μεταγενέστερες εκθέσεις. Πρόκειται για αστοχία της μνήμης, ακόμη κι αν κάθε εγγραφή και ανάκτηση δεδομένων από τη βάση δεδομένων ολοκληρώνεται με επιτυχία.

Συνεδρία τέταρτη: Ολοκλήρωση και απόσυρση της προσωρινής κατάστασης

Μετά την παράδοση, το ορόσημο θα πρέπει να επισημανθεί ως ολοκληρωμένο. Μια οδηγία όπως «συνέχισε την έκθεση» θα πρέπει να οδηγεί τον βοηθό στην παραδοθείσα έκδοση και να τον κάνει να ρωτήσει ποια αναθεώρηση χρειάζεται, αντί να συνεχίσει από μια παρωχημένη λίστα ελέγχου. Οι προσωρινές σημειώσεις εργασίας μπορούν να λήγουν σύμφωνα με την πολιτική του έργου, ενώ η τελική έκθεση και οι σημαντικές αποφάσεις παραμένουν διαθέσιμες.

Εδώ φαίνεται η αξία της μόνιμης μνήμης: λιγότερες επαναλαμβανόμενες εξηγήσεις και καλύτερη συνέχεια. Φαίνεται επίσης το κόστος της: η εφαρμογή πρέπει να διατηρεί τις σχέσεις ανάμεσα στις προτιμήσεις, τις εξαιρέσεις, τα αρχεία και τις μεταβαλλόμενες καταστάσεις των εργασιών.

Σύνοψη, συμπύκνωση και ο κίνδυνος να χαθεί η εξαίρεση

Οι μακροσκελείς αλληλεπιδράσεις μπορεί να συσσωρεύσουν περισσότερο υλικό απ’ όσο είναι χρήσιμο για την επόμενη απάντηση. Η συμπύκνωση αντικαθιστά μέρος αυτού του ιστορικού με μια πιο σύντομη αναπαράσταση. Μια σύνοψη μπορεί να διατηρεί τον στόχο, τις αποφάσεις, τα εκκρεμή ερωτήματα και τις παραπομπές στο υποκείμενο έργο.

Οι κατευθυντήριες οδηγίες της Anthropic για τη διαμόρφωση του πλαισίου περιγράφουν τη συμπύκνωση και τις σημειώσεις που αποθηκεύονται εκτός του παραθύρου πλαισίου ως προσεγγίσεις για τη διατήρηση της συνέχειας σε εργασίες μεγάλης διάρκειας. Και οι δύο τεχνικές μεταβάλλουν το υλικό που είναι διαθέσιμο στις μελλοντικές απαντήσεις, επομένως η ποιότητά τους έχει σημασία.

Η συμπίεση είναι επιλεκτική. Μια σύνοψη όπως «Χρησιμοποίησε μετρικές μονάδες» είναι συντομότερη από τη διατύπωση «Χρησιμοποίησε μετρικές μονάδες, εκτός από την έκδοση για πελάτες, όπου απαιτούνται και τα δύο συστήματα». Είναι, όμως, λανθασμένη σε μία από τις σημαντικές περιπτώσεις του έργου. Η παράλειψη της εξαίρεσης μπορεί να διαιωνίζεται σιωπηρά σε επόμενες συνόψεις και να γίνεται δύσκολο να εντοπιστεί η προέλευσή της.

Για τον βοηθό Cedar, μια πιο ολοκληρωμένη παράδοση θα διατηρούσε τον γενικό κανόνα, την εξαίρεσή του, τις ενότητες που έχουν ολοκληρωθεί, τις εκκρεμείς εργασίες επαλήθευσης και τις παραπομπές στα πιο πρόσφατα αρχεία. Ακριβή στοιχεία, όπως εγκεκριμένα ποσά ή αναγνωριστικά, θα πρέπει να παραμένουν σε δομημένες καταχωρίσεις ή έγγραφα πηγών, όταν η προσέγγιση θα μπορούσε να προκαλέσει ζημιά.

Οι συνόψεις θα πρέπει επίσης να διατηρούν την αβεβαιότητα. Το «Εξετάσαμε το ενδεχόμενο να χρησιμοποιήσουμε την Έρευνα B» δεν πρέπει να μετατραπεί σε «Επιλέχθηκε η Έρευνα B». Αν το συμπυκνωμένο ιστορικό παρουσιάζει τις προσωρινές αποφάσεις ως οριστικές, το σύστημα έχει δημιουργήσει μια ψευδή ανάμνηση προσπαθώντας να εξοικονομήσει χώρο στο πλαίσιο.

Πώς πρέπει η μνήμη της τεχνητής νοημοσύνης να διαχειρίζεται τις διορθώσεις και τις αντικρουόμενες πληροφορίες

Η επίμονη μνήμη γίνεται λιγότερο χρήσιμη αν δεν μπορεί να αλλάξει. Τα έργα εξελίσσονται, οι προτιμήσεις μεταβάλλονται και παλαιότερες πληροφορίες αποδεικνύονται λανθασμένες. Αν προστεθεί μια διόρθωση ως ακόμη μία εγγραφή χωρίς ειδική επισήμανση, το σύστημα ανάκτησης μπορεί να βρεθεί να επιλέγει ανάμεσα σε δύο αντικρουόμενες δηλώσεις.

Μια πιο χρήσιμη ενημέρωση προσδιορίζει ποια στοιχεία αντικαθιστά η νέα τεκμηρίωση. Αν ο υπεύθυνος του έργου μεταθέσει την ημερομηνία έναρξης από τις 15 Νοεμβρίου στις 29 Νοεμβρίου, η παλιά εγγραφή μπορεί να σημειωθεί ως αντικατασταθείσα και να συνδεθεί με τη νέα απόφαση. Για ερωτήσεις σχετικά με την τρέχουσα προθεσμία χρησιμοποιείται η νέα εκδοχή· για ερωτήσεις σχετικά με το αρχικό σχέδιο μπορεί να ανατρέξει κανείς στην ιστορική εκδοχή.

Η πρόσφατη ημερομηνία από μόνη της δεν αρκεί για την επίλυση κάθε σύγκρουσης. Μια πρόσφατη σημείωση σε προσχέδιο μπορεί να έχει μικρότερη ισχύ από μια παλαιότερη εγκεκριμένη πολιτική. Ένας χρήστης μπορεί να έχει εξουσιοδότηση να αλλάξει μια προσωπική προτίμηση, χωρίς όμως να έχει εξουσιοδότηση να αλλάξει έναν κανόνα που ισχύει για ολόκληρο τον οργανισμό. Η πολιτική ενημερώσεων πρέπει να λαμβάνει υπόψη το είδος του στοιχείου και την αρμοδιότητα της πηγής του.

Ορισμένες αντιφάσεις πρέπει να παραμένουν άλυτες έως ότου τις διευκρινίσει κάποιος. Αν δύο υπεύθυνοι έργου δώσουν ασύμβατες ημερομηνίες χωρίς να δηλώσουν ρητά ότι η μία αντικαθιστά την άλλη, ο βοηθός μπορεί να παρουσιάσει και τις δύο πηγές και να ρωτήσει ποια υπερισχύει. Αν επιλέξει σιωπηρά την πιο παρόμοια ή την πιο πρόσφατη εγγραφή, αποκρύπτει μια απόφαση που ενδέχεται να μην έχει την αρμοδιότητα να λάβει.

Τι σημαίνει να ξεχνά η ΤΝ;

Η λήθη δεν ενεργοποιείται με έναν μόνο διακόπτη. Ένα προϊόν μπορεί να σταματήσει να εισάγει ένα στοιχείο στις προτροπές, να το εξαιρέσει από τις συνήθεις αναζητήσεις, να το χαρακτηρίσει παρωχημένο, να διαγράψει την εγγραφή μνήμης του ή να αφαιρέσει άλλα διατηρημένα αντίγραφα. Αυτές οι ενέργειες έχουν διαφορετικές επιπτώσεις στη μελλοντική συμπεριφορά και στα δεδομένα που διατηρούνται.

Έξοδος από το ενεργό πλαίσιο

Ένα στοιχείο μπορεί να απουσιάζει από την επόμενη είσοδο του μοντέλου, επειδή παραλείφθηκαν ή συνοψίστηκαν παλαιότερα μηνύματα. Έτσι περιορίζονται όσα μπορεί να αξιοποιήσει άμεσα το μοντέλο. Η αρχική απομαγνητοφώνηση ή η εγγραφή μνήμης μπορεί να εξακολουθεί να υπάρχει και να ανακτηθεί αργότερα.

Λήξη ή καταστολή της ανάκλησης

Μια προθεσμία που έχει λήξει μπορεί να παραμείνει σε αρχείο, ενώ εξαιρείται από τις αναζητήσεις για τρέχουσες εργασίες. Η καταστολή είναι χρήσιμη όταν υπάρχει λόγος διατήρησης ιστορικών στοιχείων, αλλά δεν πρέπει να περιγράφεται ως πλήρης διαγραφή. Η εγγραφή μπορεί να εξακολουθεί να είναι προσβάσιμη μέσω ιστορικής αναζήτησης ή διοικητικής ροής εργασιών.

Διαγραφή αποθηκευμένης μνήμης

Η διαγραφή μιας μόνιμης εγγραφής πρέπει να καλύπτει και τις αναπαραστάσεις ανάκτησης που προκύπτουν από αυτήν. Αν μια πρόταση αφαιρεθεί από ένα προφίλ αλλά παραμείνει σε μια αναζητήσιμη περίληψη, ο βοηθός μπορεί αργότερα να ανασυνθέσει την ίδια προτίμηση. Ανάλογα με την αρχιτεκτονική, οι εγγραφές πηγής, τα διανύσματα ενσωμάτωσης, οι περιλήψεις, οι κρυφές μνήμες και τα αντίγραφα μπορεί να απαιτούν ξεχωριστές ενέργειες αφαίρεσης.

Τα αντίγραφα ασφαλείας και τα αρχεία καταγραφής ενδέχεται να ακολουθούν τα δικά τους χρονοδιαγράμματα διατήρησης. Ένα προϊόν πρέπει να εξηγεί με σαφήνεια αυτούς τους περιορισμούς και να αποτρέπει την επανενεργοποίηση διαγραμμένου υλικού κατά την επαναφορά. Οι δεσμεύσεις «Δεν θα χρησιμοποιούμε πλέον αυτή τη μνήμη» και «Έχουν αφαιρεθεί όλα τα διατηρημένα αντίγραφα» δεν είναι ίδιες.

Αλλαγή των βαρών του μοντέλου

Η διαγραφή εξωτερικής μνήμης δεν αλλάζει από μόνη της τις παραμέτρους του μοντέλου. Αν κάποια πληροφορία χρησιμοποιήθηκε στην εκπαίδευση, η αντιμετώπισή της στο μοντέλο είναι ξεχωριστό ζήτημα που αφορά τη διαδικασία εκπαίδευσης και ανάπτυξης. Αντίστοιχα, η διαγραφή μιας προσωπικής μνήμης δεν εγγυάται ότι το μοντέλο δεν θα παράγει ποτέ ξανά ένα παρόμοιο στοιχείο αντλώντας από γενικές γνώσεις ή από ενδείξεις που θα δοθούν σε μια νέα προτροπή.

Ένα ουσιαστικό τεστ λήθης εξετάζει, επομένως, τόσο αν το σύστημα εξακολουθεί να αποθηκεύει την πληροφορία όσο και αν οι συνήθεις διαδρομές ανάκτησης μπορούν να την επαναφέρουν. Μια μεμονωμένη απάντηση σε συνομιλία που λέει «Το ξέχασα» δεν αποδεικνύει τίποτα από τα δύο.

Μνήμη, RAG, εκπαίδευση και προσωρινή αποθήκευση: πού βρίσκονται τα όρια

Η παραγωγή με επαύξηση ανάκτησης (RAG) παρέχει εξωτερικά τεκμήρια σε ένα μοντέλο κατά τη δημιουργία απαντήσεων. Η αρχική έρευνα για το RAG συνδύασε τις παραμέτρους του μοντέλου με ένα ευρετήριο εγγράφων από το οποίο ήταν δυνατή η ανάκτηση. Ένα σύστημα προσωπικής μνήμης μπορεί επίσης να χρησιμοποιεί ανάκτηση, αλλά χρειάζεται και πολιτικές για τη δημιουργία, την ενημέρωση και την απόσυρση αρχείων που προκύπτουν από τις αλληλεπιδράσεις.

Ένα εταιρικό εγχειρίδιο μπορεί να ανακτηθεί χωρίς να αποτελεί μνήμη του χρήστη. Μια σημείωση για προηγούμενη αλληλεπίδραση μπορεί να ανακτηθεί από ένα απλό αρχείο, χωρίς ευρετήριο διανυσμάτων. Η ανάκτηση είναι ένας μηχανισμός· ο σκοπός και ο κύκλος ζωής των υποκείμενων αρχείων καθορίζουν το είδος του συστήματος που δημιουργείται.

Η εκπαίδευση και η λεπτομερής ρύθμιση τροποποιούν τις παραμέτρους του μοντέλου. Αντίθετα, η συνήθης εξωτερική μνήμη αλλάζει τα τεκμήρια που παρέχονται στο μοντέλο. Ένας βοηθός που ακολουθεί μια νέα, αποθηκευμένη προτίμηση μπορεί να συμπεριφέρεται διαφορετικά, παρότι τα βάρη του μοντέλου του παραμένουν αμετάβλητα.

Η προσωρινή αποθήκευση προτροπών και διεργασιών συμπερασματολογίας επαναχρησιμοποιεί προηγούμενους υπολογισμούς, όπου αυτό υποστηρίζεται. Μπορεί να βελτιώσει την αποδοτικότητα, αλλά από μόνη της δεν εξακριβώνει αν ένας ισχυρισμός που ανακαλείται από τη μνήμη είναι επίκαιρος, εγκεκριμένος ή κατάλληλος για μελλοντικές εργασίες. Αυτά τα επίπεδα μπορούν να συνυπάρχουν, και η αντιμετώπιση προβλημάτων προϋποθέτει να εντοπιστεί ποιο επίπεδο ευθύνεται για την παρατηρούμενη συμπεριφορά.

Το MemGPT αποτελεί ένα σημαντικό παράδειγμα αρχιτεκτονικής: διερεύνησε τη μεταφορά πληροφοριών ανάμεσα σε ένα περιορισμένο πλαίσιο και εξωτερικά επίπεδα μνήμης, χρησιμοποιώντας ως αναλογία ένα λειτουργικό σύστημα. Το χρήσιμο δίδαγμα είναι η ρητή διαχείριση της μετακίνησης πληροφοριών, αντί της υπόθεσης ότι η αποθήκευση διευρύνει αυτομάτως, χωρίς όρια, το άμεσα διαθέσιμο πλαίσιο του μοντέλου.

Γιατί η διαρκής μνήμη μπορεί να κάνει τα λάθη πιο ανθεκτικά στον χρόνο

Μια λανθασμένη απάντηση μπορεί να επηρεάσει μία αλληλεπίδραση. Μια λανθασμένη μνήμη μπορεί να επηρεάσει πολλές. Αν ένας βοηθός συμπεράνει ότι ο χρήστης ενέκρινε μια απόφαση, αποθηκεύσει αυτό το συμπέρασμα ως γεγονός και αργότερα παραπέμψει στην αποθηκευμένη εγγραφή, το δικό του προηγούμενο λάθος μπορεί να αποκτήσει την όψη ανεξάρτητου τεκμηρίου.

Για τον βοηθό του έργου μας, η αρχική πηγή πρέπει να παραμένει διακριτή από την ερμηνεία του μοντέλου. Μια σύνοψη μιας απόφασης μπορεί να διευκολύνει την πλοήγηση, αλλά κάθε ενέργεια με σημαντικές συνέπειες πρέπει να βασίζεται στην ίδια την εγκεκριμένη απόφαση. Η επανάληψη σε αρκετές σημειώσεις που δημιουργήθηκαν από το μοντέλο δεν μετατρέπει ένα μη τεκμηριωμένο συμπέρασμα σε πολλές ανεξάρτητες επιβεβαιώσεις.

Η διαρκής μνήμη δημιουργεί επίσης μια οδό για τη μόλυνση από οδηγίες. Ένα μη έμπιστο έγγραφο μπορεί να περιέχει μια πρόταση που ζητά από τον βοηθό να αλλάξει τη μελλοντική συμπεριφορά του. Αν αποθηκευτεί ως κανόνας λειτουργίας, αυτή η πρόταση θα μετέφερε εξωτερικό περιεχόμενο πέρα από ένα όριο εξουσιοδότησης. Η εφαρμογή πρέπει να το διαχειρίζεται ανάλογα με την πηγή του, αντί να το αναβαθμίζει σε έμπιστη οδηγία απλώς και μόνο επειδή εμφανίζεται σε χώρο αποθήκευσης μνήμης.

Τα κοινόχρηστα περιβάλλοντα προσθέτουν ένα ακόμη όριο. Ένα γεγονός μπορεί να είναι σχετικό με μια ερώτηση, αλλά να αφορά άλλον πελάτη ή έργο. Οι έλεγχοι πρόσβασης πρέπει να περιορίζουν την ανάκτηση πριν φτάσουν οι πληροφορίες στο μοντέλο. Το να ζητηθεί από το μοντέλο να αγνοήσει μη εξουσιοδοτημένες εγγραφές αφού αυτές έχουν ήδη δοθεί σε αυτό αποτελεί ασθενέστερο σχεδιασμό.

Πώς να αξιολογήσετε αν η μνήμη λειτουργεί πραγματικά

Σε μια πειστική επίδειξη, συχνά ζητείται από τον βοηθό να επαναλάβει μία αποθηκευμένη προτίμηση. Μια σοβαρή αξιολόγηση παρακολουθεί τις αλλαγές των πληροφοριών σε πολλές συνεδρίες και ελέγχει αν η μνήμη βελτιώνει την ολοκλήρωση της εργασίας.

Το LongMemEval αξιολογεί την εξαγωγή πληροφοριών, τη συλλογιστική μεταξύ συνεδριών, τη χρονική συλλογιστική, τις ενημερώσεις γνώσεων και την αποχή από απάντηση. Αυτές οι κατηγορίες δείχνουν γιατί η ποιότητα της μακροπρόθεσμης μνήμης υπερβαίνει κατά πολύ την ανάκτηση μίας μόνο πρότασης που ταιριάζει. Τα δημοσιευμένα αποτελέσματα των συγκριτικών αξιολογήσεων πρέπει να ερμηνεύονται με βάση τα συστήματα και τις ρυθμίσεις που δοκιμάστηκαν, και όχι να θεωρούνται ότι περιγράφουν κάθε τρέχον προϊόν.

Για τη ροή εργασίας Cedar, μια αξιολόγηση θα μπορούσε να εισαγάγει μια προτίμηση, να επαναφέρει το έργο σε εξέλιξη, να προσθέσει μια εξαίρεση, να αναθεωρήσει μια προθεσμία, να διαγράψει μια σημείωση και στη συνέχεια να θέσει ερωτήσεις σχεδιασμένες να αποκαλύψουν παρωχημένες ή ατεκμηρίωτες ανακλήσεις. Το ίδιο μοντέλο πρέπει επίσης να δοκιμαστεί χωρίς τη λειτουργία μνήμης, ώστε να εξακριβωθεί αν το πρόσθετο σύστημα βελτιώνει τα αποτελέσματα.

• Ακρίβεια καταγραφής: Αποθήκευσε το σύστημα τη δήλωση που έπρεπε, μαζί με το πεδίο εφαρμογής και τις επιφυλάξεις της;
• Χρησιμότητα ανάκτησης: Εντόπισε τα τεκμήρια που χρειάζονταν για την εργασία, χωρίς να γεμίσει το πλαίσιο με άσχετο ιστορικό;
• Διαχείριση ενημερώσεων: Αντικατέστησε μια διόρθωση το τρέχον γεγονός, διατηρώντας παράλληλα χρήσιμες ιστορικές διακρίσεις;
• Αποχή από απάντηση: Αναγνώρισε ο βοηθός ότι δεν υπήρχε σχετική τεκμηρίωση;
• Απομόνωση: Παρέμειναν οι εγγραφές περιορισμένες στον σωστό χρήστη, μισθωτή και έργο;
• Λήθη: Εμπόδισε η διαγραφή ή η λήξη ισχύος την προβλεπόμενη μελλοντική ανάκληση, ακόμη και μέσω παράγωγων συνόψεων;
• Λειτουργικό κόστος: Δικαιολογούσαν οι βελτιώσεις την πρόσθετη καθυστέρηση, τις κλήσεις μοντέλου, τον αποθηκευτικό χώρο και τη συντήρηση;

Οι αστοχίες πρέπει να εντοπίζονται στο αντίστοιχο στάδιο. Μια απάντηση που λείπει μπορεί να οφείλεται σε αποτυχημένη εγγραφή, λανθασμένο εύρος αναζήτησης, κακή κατάταξη, παράλειψη μιας επιφύλαξης ή σε μοντέλο που παρερμήνευσε ορθά τεκμήρια. Η αύξηση του μεγέθους του πλαισίου συμφραζομένων δεν θα διορθώσει όλες αυτές τις αστοχίες.

Επιλογή του κατάλληλου σχεδιασμού μνήμης

Μια μεμονωμένη σύνοψη εγγράφου μπορεί να χρειάζεται μόνο το τρέχον έγγραφο και τις οδηγίες. Μια ανάλυση που διακόπηκε ωφελείται από ένα σημείο ελέγχου της εργασίας. Ένας βοηθός για ένα επαναλαμβανόμενο έργο μπορεί να χρειάζεται αποφάσεις με διαχείριση εκδόσεων και αναφορές σε τεχνουργήματα. Ένας βοηθός που λειτουργεί σε πολλές συνεδρίες χρηστών μπορεί να χρειάζεται έναν ξεχωριστό χώρο αποθήκευσης προτιμήσεων, τον οποίο οι χρήστες να μπορούν να επεξεργάζονται.

Ξεκινήστε προσδιορίζοντας ποιο μελλοντικό ερώτημα προορίζεται να απαντήσει η μνήμη. Το «Τι απομένει να ολοκληρωθεί;» απαιτεί την κατάσταση της εργασίας. Το «Ποια μορφή απαιτεί αυτός ο πελάτης;» απαιτεί μια προτίμηση με συγκεκριμένο πεδίο εφαρμογής. Το «Γιατί απορρίψαμε αυτή την προσέγγιση;» απαιτεί ένα αρχείο απόφασης με υποστηρικτικά τεκμήρια. Διαφορετικά ερωτήματα απαιτούν διαφορετικές αναπαραστάσεις.

Προτιμήστε έναν μικρό αριθμό σαφών αρχείων με τεκμηριωμένη προέλευση αντί για ένα αδιακρίτως συγκεντρωμένο αρχείο που παρουσιάζεται ως εξατομίκευση. Διατηρήστε την τρέχουσα κατάσταση χωριστά από τα ιστορικά γεγονότα, κρατήστε τους συνδέσμους προς τα πρωτογενή τεχνουργήματα και εντάξτε τις διορθώσεις και τη διαγραφή στον σχεδιασμό εξαρχής.

Η ενεργή μνήμη προσφέρει σε ένα σύστημα ΤΝ μια συνεκτική εικόνα του παρόντος. Η επίμονη μνήμη μπορεί να του προσφέρει συνέχεια στον χρόνο. Η ποιότητα αυτής της συνέχειας εξαρτάται από τις αποφάσεις που λαμβάνονται ανάμεσα στις δύο: τι αποθηκεύεται, τι ανακαλείται, ποια έκδοση υπερισχύει και τι επιτρέπεται να χαθεί.