Το Πρόβλημα Μνήμης του AI: Γιατί η Αποτελεσματική Μακρά Παράμετρος Αλλάζει τα Πάντα και Τι Χρειάζεται για να Κάνει Σωστά

Ένας συνάδελφος που ξέχναγε κάθε προηγούμενη συνομιλία την στιγμή που τελείωνε δεν θα διαρκούσε πολύ σε meisten δουλειές. Ωστόσο, πολλά επιχειρηματικά AI λειτουργούν ακριβώς με αυτόν τον τρόπο. Η συνεδρία κλείνει και ο контекст εξαφανίζεται μαζί της. Ένας καταναλωτής που στέλνει ερωτήσεις μιας φοράς μπορεί να μην παρατηρήσει, αλλά μια εταιρεία που εκτελεί μια διαδικασία που διαρκεί περισσότερο από μια συνεδρία φτάνει στο όριο σχεδόν αμέσως.

Η πραγματική δουλειά μεταφέρεται από μια συνεδρία στην επόμενη, και μια απόφαση που λαμβάνεται την Πέμπτη συνήθως βασίζεται σε μια απόφαση που λήφθηκε τη Δευτέρα, με τη σκέψη πίσω της να χρειάζεται να επιβιώσει στο μεταξύ. Ένα AI που σβήνει τον εαυτό του όταν μια συνεδρία τελειώνει μπορεί να εκτελέσει καλά μέσα σε αυτήν τη συνεδρία και να συνεισφέρει τίποτα σε μια εργασία που διαρκεί περισσότερο από μια εβδομάδα.

Η επιχειρηματική AI έχει σιγά-σιγά αλλάξει αυτό που απαιτεί από ένα μοντέλο. Για χρόνια, τα μοντέλα αξιολογούνταν κυρίως με βάση τη γνώση που είχαν απορροφήσει. Οι επιχειρήσεις τώρα χρειάζονται να διατηρούν τη σωστή πληροφορία στην όραση καθώς η δουλειά εξελίσσεται, μια ικανότητα που απαιτεί einen διαφορετικό τύπο αποτελεσματικής μηχανικής. Μέχρι σήμερα, η ικανότητα να διατηρείται αυτή η επίπεδο μνήμης δεν έχει επιτευχθεί λόγω του μεγάλου όγκου μνήμης (GPU), υπολογισμού και κόστους που απαιτείται για να κλιμακωθεί αυτή η ικανότητα. Η διατήρηση μιας αποδεκτής υστέρησης και επιπέδου ψευδούς ερμηνείας του μοντέλου γίνεται μια πρόκληση με την ταυτόχρονη χρήση όταν χρησιμοποιείται μεγάλος контекστ. Υπάρχει αυξανόμενη ζήτηση για τέτοιες ικανότητες γνώσης και δεν υπάρχει αρκετή μνήμη και υπολογισμός για να τις καλύψει. Αυτό μας οδηγεί στο ερώτημα: πώς να επιτύχετε πιο ακριβή νοημοσύνη σε κλίμακα με λιγότερη υποδομή και αποτύπωση;

Το Γραφείο και το Αρχείο

Δυο πράγματα συνδυάζονται υπό τον τίτλο της μνήμης, και συμπεριφέρονται αρκετά διαφορετικά ώστε το υπόλοιπο να εξαρτάται από το να τα διατηρήσουμε χωριστά.

Ξεκινήστε με το παράθυρο контекστ, το οποίο είναι πόσο ένα μοντέλο μπορεί να λάβει και να συλλογιστεί σε μια seule διαδρομή. Λειτουργεί όπως η επιφάνεια ενός γραφείου. Ένα μικρό γραφείο λαμβάνει quelques σελίδες κάθε φορά, ώστε όλα τα άλλα να περιμένουν σε ένα συρτάρι και να ανακτώνται και να καθαρίζονται καθώς προχωράτε, ενώ ένα μεγαλύτερο γραφείο αφήνει το όλο αρχείο να ανοίξει同時ως εργάζεστε πάνω του. Ό,τι το γραφείο κρατάει, σβήνεται στο τέλος της ημέρας, κάθε ημέρα.

Η μνήμη που διατηρείται είναι το αρχείο δίπλα στο γραφείο. Το σύστημα επιλέγει τι να αποθηκεύσει και το ανακτά όταν γίνει σχετικό, ώστε κάτι που συνέβη αυτή την εβδομάδα να μπορεί να ενημερώσει τι κάνει την επόμενη εβδομάδα. Αυτή η αποθήκευση διαρκεί πάνω από τις συνεδρίες και χρειάζεται τις δικές της αποφάσεις για τι να αποθηκεύσει, πώς να το οργανώσει και πότε να το ανακτά.

Πολύ από την ορατή μηχανική αγωνία έχει πηγαίνει στο γραφείο. Τα παράθυρα που κάποτε κρατούσαν quelques χιλιάδες tokens τώρα φτάνουν σε εκατοντάδες χιλιάδες, και τα μεγαλύτερα μοντέλα από το OpenAI και το Anthropic φτάνουν μέχρι ένα εκατομμύριο.

Ο όρος για αυτή τη δουλειά, «μηχανική контекστ», προήλθε από τον Tobi Lutke της Shopify και ήταν δημοσιευμένος από τον Andrej Karpathy στο μέσο του 2025. Η βασική ικανότητα σε οποιαδήποτε σοβαρή εφαρμογή AI, έγραψε ο Karpathy, είναι να γεμίσει το παράθυρο με τη σωστή πληροφορία για το επόμενο βήμα. Η αναλογία του ήταν η υλική – το μοντέλο ως επεξεργαστής, το παράθυρο ως η εργαζόμενη μνήμη του. Οι praktikoi υιοθέτησαν τον όρο γρήγορα, επειδή είχαν κυκλοφορήσει γύρω από την ιδέα χωρίς einen τίτλο για αυτό.

Ένα Μεγαλύτερο Γραφείο Δεν Λύνει το Πρόβλημα της Μνήμης

Εδώ είναι όπου η προφανής κίνηση – να συνεχίσετε να μεγεθύνετε το γραφείο – συναντά προβλήματα.

Ερευνητές του Stanford έδειξαν το 2024 ότι όταν η πληροφορία που χρειάζεται ένα μοντέλο βρίσκεται στο μέσο μιας μακράς εισόδου, η ακρίβεια του μοντέλου πέφτει απότομα ενάντια στην ίδια πληροφορία που τοποθετείται στην αρχή ή το τέλος. Το ονόμασαν «χαμένο στο μέσο», και αυτό ίσχυε ακόμη και για μοντέλα που είχαν κατασκευαστεί ειδικά για μακρά контекστ. Το να τοποθετήσετε περισσότερα μπροστά σε ένα μοντέλο, αποδείχθηκε, δεν είναι το ίδιο με το μοντέλο να κάνει έμπιστη χρήση αυτής της πληροφορίας.

Η επίδραση έχει διατηρηθεί καθώς άλλες ομάδες έχουν ψάξει για αυτό, και μια μελέτη του 2025 που έτρεξε 18 μοντέλα με προηγμένη τεχνολογία ενάντια σε προοδευτικά μεγαλύτερες εισόδους βρήκε την απόδοση του μοντέλου να χειροτερεύει πολύ πριν το παράθυρο ήταν ακόμη πλήρες, ένα μοτίβο που οι συγγραφείς του ονόμασαν περιστροφή контекστ. Το να μεγεθύνετε το γραφείο και να κάνετε ένα μοντέλο να συλλογιστεί καθαρά πάνω σε όλα όσα βρίσκονται σε αυτό είναι δύο ξεχωριστά προβλήματα, και το πρώτο δεν κάνει τίποτα για να λύσει το δεύτερο.

Η Επιλογή Κερδίζει Περισσότερο από την Ικανότητα

Η μηχανική контекστ έχει μεγεθύνει σε μια дисциплина στην πλάτη αυτού, με μια μελέτη του 2025 που βασίζεται σε περισσότερα από 1.400 έγγραφα που καθορίζει τις μεθόδους της και την Gartner να συμβουλεύει τους πελάτες της τον Ιούλιο του 2025 να προτεραιοποιήσουν το контекστ hơn από τις προτροπές. Η τέχνη μετακινήθηκε από το να γράφει μια πιο οξεία οδηγία στο να συναρμολογήσει μια πιο οξεία σειρά εισόδων για το μοντέλο να εργαστεί από.

Ένα μεγαλύτερο γραφείο αυξάνει τα στοιχήματα για τι να τοποθετήσετε πάνω του. Να ρίχνετε ολόκληρο ένα αποθετήριο εγγράφων στην επιφάνεια και οι λίγες σελίδες που μετράνε θα χαθούν ανάμεσα σε θόρυβο, αντίφασεις και υπερκερασμένες εκδόσεις, ενώ μια στενότερη επιλογή του τι πραγματικά επηρεάζει την εργασία αφήνει το ίδιο μοντέλο να εκτελεστεί αξιοσημείωτα καλύτερα. Η κρίση лежει στο τι ανήκει μπροστά στο μοντέλο, πώς τοποθετείται, πότε εμφανίζεται και τι μένει στο αρχείο.

Αυτό είναι για τι χτίστηκε η RAG (ανακτηση-Ενισχυμένη Γενεση): κοπώντας έγγραφα σε θραύσματα και ανακτώντας τα θραύσματα που φαίνονται σχετικά, για να εργαστεί γύρω από ένα παράθυρο που είναι πολύ μικρό για να κρατήσει ολόκληρο το έγγραφο. Πείτε ότι μια διαμάχη συμβατικού δικαίου βασίζεται σε μια κλάση στη σελίδα 200. Η συνήθης προσέγγιση κοπεί το συμβόλαιο σε θραύσματα και αφήνει ένα σύστημα ανακτήσεων να ανακτά τα θραύσματα που φαίνονται σχετικά. Να βαθμολογήσετε τη σελίδα 200 ως μη σχετική και το μοντέλο δεν βλέπει ποτέ την κλάση.

Ένα παράθυρο που έχει διασταλθεί για ολόκληρο το συμβόλαιο παραλείπει το βήμα ανακτήσεων και δίνει στο μοντέλο την κλάση μαζί με όλα τα γύρω. Εάν το μοντέλο διαβάζει καλά μια μακρά εισόδο είναι το πρόβλημα της αξιοπιστίας από την προηγούμενη ενότητα, και είναι ένα καλύτερο πρόβλημα να μείνει από το να έχει ένα σύστημα ανακτήσεων που quyếtίζει σιωπηλά ότι η κλάση δεν ήταν αξιοθέαστη για να την περάσει.

Μέσα σε μια Συνεδρία και Μετά

Η μακρά контекστ είναι αυτό που επιτρέπει σε ένα AI να εργαστεί πάνω σε μια μακρά εργασία και όχι σε μια seule ανταλλαγή. Ένα πράγμα που χειρίζεται μια πολλαπλή ημερήσια ανασκόπηση συμμόρφωσης ή einen προμηθευτή που ενεργοποιείται διατηρεί ολόκληρη την εργασία στο παράθυρο καθώς εκτελείται, ώστε κάθε βήμα να βασίζεται στην πλήρη κατάσταση της εργασίας. Ένα αρκετά μεγάλο παράθυρο μπορεί να αντικαταστήσει τη μνήμη μέσα σε μια συνεδρία.

Αυτή είναι επίσης η στιγμή όπου η ομοιότητα σταματά. Ό,τι το σύστημα πρέπει να θυμάται την επόμενη εβδομάδα, μια φορά που αυτή η συνεδρία έχει κλείσει, πρέπει να ζήσει κάπου που το παράθυρο δεν είναι.

Η κατασκευή αυτού του είδους μνήμης φέρνει ένα διαφορετικό σύνολο προβλημάτων, πολλά από τα οποία η βιομηχανία έχει μόλις αρχίσει να αντιμετωπίζει. Η εκπαίδευσή μου στην ψυχολογία και τις νευροεπιστήμες κάνει τη σύγκριση με την ανθρώπινη μνήμη δύσκολο να αγνοηθεί. Δεν ανακτούμε μια τέλεια εγγραφή ενός γεγονότος. Κάθε φορά που το θυμόμαστε, το ξαναχτίζουμε, και μικρά λάθη μπορούν να γίνουν μέρος της αποδεκτής εκδοχής. Μια μηχανική μνήμη μπορεί να αναπτύξει ένα παρόμοιο πρόβλημα όταν αποθηκευμένη πληροφορία ανακτάται, συνδυάζεται ή ξαναγράφεται. Με τον καιρό, το αρχείο μπορεί να μετακινηθεί μακρύτερα από το αρχικό γεγονός, trừ εάν κάποιος το ελέγχει, διορθώνει λάθη και αφαιρεί πληροφορίες που έχουν γίνει αξιόπιστες.

Πολυάριθμες εταιρείες που αναπτύσσουν αυτά τα συστήματα δεν έχουν ακόμη αντιμετωπίσει αυτά τα προβλήματα, και λίγες είναι κοντά στο να τα λύσουν. Τι θα παρακολουθούσα σε einen προμηθευτή δεν είναι το μέγεθος του παραθύρου που διαφημίζει. Ένα μοντέλο που κρατάει 10 εκατομμύρια tokens αξίζει λίγο αν το μεγαλύτερο μέρος του είναι ξεπερασμένο, μη σχετικό ή λάθος. Οι απαντήσεις του μπορούν να φαίνονται καλά ενημερωμένες ενώ βασίζονται σε υλικό που η επιχείρηση δεν θα έπρεπε ποτέ να εμπιστεύεται. Αυτό που κερδίζει τα χρήματα είναι η κρίση για τι να κρατήσετε και η ικανότητα να συλλογιστείτε ακριβώς πάνω σε όλες τις πληροφορίες, σε μια κλάση της υποδομής κόστους και αποτυπώματος. Αυτό είναι το να κάνετε περισσότερα με λιγότερα, και δεν όλα τα μεγαλύτερα παράθυρα έρχονται με αυτή τη真ική ικανότητα.