Το πρόβλημα μνήμης της AI: γιατί η αποδοτική χρήση μεγάλου πλαισίου αλλάζει τα πάντα και τι απαιτείται για να λειτουργήσει σωστά

Ένας συνάδελφος που ξεχνούσε κάθε προηγούμενη συζήτηση μόλις τελείωνε δεν θα έμενε για πολύ στις περισσότερες δουλειές. Κι όμως, μεγάλο μέρος της εταιρικής AI λειτουργεί ακριβώς έτσι. Η συνεδρία κλείνει και μαζί της χάνεται το πλαίσιο. Ένας καταναλωτής που υποβάλλει μεμονωμένες ερωτήσεις μπορεί να μην το προσέξει, αλλά μια εταιρεία που εκτελεί διαδικασία μεγαλύτερης διάρκειας από μία συνεδρία συναντά σχεδόν αμέσως το όριο.

Η πραγματική δουλειά συνεχίζεται από τη μία συνεδρία στην επόμενη. Μια απόφαση της Πέμπτης συνήθως βασίζεται σε απόφαση της Δευτέρας και το σκεπτικό πρέπει να διατηρείται στο μεταξύ. Μια AI που τα διαγράφει όλα όταν τελειώνει η συνεδρία μπορεί να αποδίδει καλά μέσα σε αυτήν και παρ’ όλα αυτά να μη συνεισφέρει τίποτα σε εργασία που διαρκεί μία εβδομάδα.

Η εταιρική AI έχει αλλάξει αθόρυβα τις απαιτήσεις της από ένα μοντέλο. Για χρόνια τα μοντέλα κρίνονταν κυρίως από τη γνώση που είχαν απορροφήσει. Οι επιχειρήσεις πλέον χρειάζονται να διατηρούν τις σωστές πληροφορίες διαθέσιμες καθώς εξελίσσεται η δουλειά, κάτι που απαιτεί διαφορετική και αποδοτική τεχνική σχεδίαση. Μέχρι σήμερα, η διατήρηση γνώσης σε αυτό το επίπεδο δεν έχει επιτευχθεί λόγω των μεγάλων απαιτήσεων σε μνήμη GPU, υπολογιστική ισχύ και κόστος για την κλιμάκωσή της. Όταν πολλοί χρήστες χρησιμοποιούν ταυτόχρονα μεγάλο πλαίσιο, είναι δύσκολο να διατηρηθούν αποδεκτός χρόνος απόκρισης και αποδεκτό επίπεδο ανακριβών επινοήσεων του μοντέλου. Η ζήτηση αυξάνεται και η διαθέσιμη μνήμη και υπολογιστική ισχύς δεν επαρκούν. Το ερώτημα λοιπόν είναι: πώς πετυχαίνουμε ακριβέστερη νοημοσύνη σε μεγάλη κλίμακα, με λιγότερη υποδομή και μικρότερες απαιτήσεις πόρων;

Το γραφείο και η αρχειοθήκη

Δύο διαφορετικά πράγματα ονομάζονται «μνήμη». Η συμπεριφορά τους διαφέρει τόσο ώστε, για όσα ακολουθούν, πρέπει να τα ξεχωρίσουμε.

Αρχικά υπάρχει το παράθυρο πλαισίου: πόση πληροφορία μπορεί να δεχτεί και να επεξεργαστεί συλλογιστικά ένα μοντέλο σε ένα πέρασμα. Μοιάζει με την επιφάνεια ενός γραφείου. Ένα μικρό γραφείο χωρά λίγες σελίδες κάθε φορά· οι υπόλοιπες περιμένουν σε συρτάρι και τις φέρνουμε ή τις απομακρύνουμε όσο δουλεύουμε. Ένα μεγάλο επιτρέπει να απλωθεί ολόκληρος ο φάκελος ταυτόχρονα. Ό,τι βρίσκεται πάνω του απομακρύνεται στο τέλος της ημέρας, κάθε ημέρα.

Η μνήμη που διατηρείται μεταξύ συνεδριών είναι η αρχειοθήκη δίπλα στο γραφείο. Το σύστημα επιλέγει τι θα αποθηκεύσει και το ανακτά όταν είναι σχετικό, ώστε κάτι που συνέβη αυτή την εβδομάδα να επηρεάζει όσα κάνει την επόμενη. Αυτή η αποθήκευση συνεχίζεται πέρα από τις συνεδρίες και απαιτεί ξεχωριστές αποφάσεις για το τι θα κρατηθεί, πώς θα οργανωθεί και πότε θα επανέλθει.

Μεγάλο μέρος του ορατού τεχνικού ανταγωνισμού έχει επικεντρωθεί στο γραφείο. Παράθυρα που κάποτε χωρούσαν λίγες χιλιάδες token φτάνουν τώρα σε εκατοντάδες χιλιάδες, ενώ τα μεγαλύτερα μοντέλα των OpenAI και Anthropic φτάνουν περίπου το ένα εκατομμύριο.

Ο όρος γι’ αυτή τη δουλειά, «μηχανική πλαισίου» (context engineering), προήλθε από τον Tobi Lutke της Shopify (SHOP ) και διαδόθηκε από τον Andrej Karpathy στα μέσα του 2025. Η βασική δεξιότητα σε κάθε σοβαρή εφαρμογή AI, έγραψε ο Karpathy, είναι να γεμίζεις το παράθυρο με τις σωστές πληροφορίες για το επόμενο βήμα. Η αναλογία του ήταν με το υλικό υπολογιστών: το μοντέλο ως επεξεργαστής και το παράθυρο ως μνήμη εργασίας. Οι επαγγελματίες υιοθέτησαν γρήγορα τον όρο επειδή ήδη προσέγγιζαν την ιδέα, χωρίς να έχουν όνομα γι’ αυτήν.

Ένα μεγαλύτερο γραφείο δεν λύνει το πρόβλημα της μνήμης

Εδώ η προφανής κίνηση —να μεγαλώνουμε συνεχώς το γραφείο— συναντά δυσκολίες.

Ερευνητές του Stanford έδειξαν το 2024 ότι όταν η πληροφορία που χρειάζεται ένα μοντέλο βρίσκεται στη μέση μιας μεγάλης εισόδου, η ακρίβειά του πέφτει απότομα σε σχέση με την ίδια πληροφορία στην αρχή ή στο τέλος. Ονόμασαν το φαινόμενο «lost in the middle», δηλαδή «χαμένο στη μέση», και ίσχυε ακόμη και για μοντέλα σχεδιασμένα ειδικά για μεγάλο πλαίσιο. Αποδεικνύεται ότι η παρουσίαση περισσότερων πληροφοριών σε ένα μοντέλο δεν ισοδυναμεί με αξιόπιστη αξιοποίησή τους.

Το φαινόμενο επιβεβαιώθηκε και από άλλες ομάδες. Μελέτη του 2025, που δοκίμασε 18 μοντέλα αιχμής με σταδιακά μεγαλύτερες εισόδους, διαπίστωσε υποβάθμιση των επιδόσεων πολύ πριν γεμίσει το παράθυρο. Οι συγγραφείς ονόμασαν αυτό το μοτίβο «context rot», δηλαδή φθορά της αποτελεσματικής χρήσης του πλαισίου. Η διεύρυνση του γραφείου και η ικανότητα του μοντέλου να συλλογίζεται σωστά πάνω σε όλα όσα περιέχει είναι δύο ξεχωριστά προβλήματα. Η πρώτη δεν λύνει το δεύτερο.

Η σωστή επιλογή πληροφοριών αποδίδει περισσότερο από τη χωρητικότητα

Πάνω σε αυτή τη διαπίστωση, η μηχανική πλαισίου εξελίχθηκε σε ξεχωριστό πεδίο. Μια ανασκόπηση του 2025 που βασίστηκε σε περισσότερες από 1.400 ερευνητικές εργασίες κατέγραψε τις μεθόδους της, ενώ η Gartner συμβούλευσε τους πελάτες της τον Ιούλιο του 2025 να δώσουν προτεραιότητα στο πλαίσιο έναντι των προτροπών. Η πρακτική μετακινήθηκε από τη διατύπωση μιας καλύτερης οδηγίας στη συγκρότηση καλύτερου συνόλου πληροφοριών εισόδου.

Όσο μεγαλώνει το γραφείο, τόσο σημαντικότερο γίνεται τι επιλέγουμε να βάλουμε πάνω του. Αν αδειάσουμε ολόκληρο αποθετήριο εγγράφων στην επιφάνεια, οι λίγες σελίδες που μετράνε χάνονται μέσα σε θόρυβο, αντιφάσεις και εκδόσεις που έχουν αντικατασταθεί. Μια πιο προσεκτική επιλογή των πληροφοριών που αφορούν πραγματικά την εργασία επιτρέπει στο ίδιο μοντέλο να αποδίδει αισθητά καλύτερα. Η κρίση αφορά το τι πρέπει να βρίσκεται μπροστά στο μοντέλο, πώς παρουσιάζεται, πότε εμφανίζεται και τι παραμένει στην αρχειοθήκη.

Γι’ αυτό δημιουργήθηκε η RAG, δηλαδή η παραγωγή ενισχυμένη με ανάκτηση: χωρίζει έγγραφα σε αποσπάσματα και ανακτά όσα φαίνονται σχετικά, παρακάμπτοντας τον περιορισμό ενός παραθύρου που δεν χωρά ολόκληρο το υλικό. Ας υποθέσουμε ότι μια συμβατική διαφορά εξαρτάται από μία ρήτρα στη σελίδα 200. Η συνήθης προσέγγιση τεμαχίζει τη σύμβαση και αφήνει το σύστημα ανάκτησης να φέρει τα αποσπάσματα που φαίνονται σχετικά. Αν η σελίδα 200 κριθεί άσχετη, το μοντέλο δεν θα δει ποτέ τη ρήτρα.

Ένα παράθυρο που χωρά ολόκληρη τη σύμβαση παραλείπει εντελώς αυτό το βήμα και δίνει στο μοντέλο τη ρήτρα μαζί με όσα την περιβάλλουν. Το αν το μοντέλο διαβάζει σωστά τη μεγάλη είσοδο παραμένει το πρόβλημα αξιοπιστίας της προηγούμενης ενότητας. Είναι όμως προτιμότερο να μείνει αυτό το πρόβλημα από το να αποφασίζει σιωπηλά ένα σύστημα ανάκτησης ότι δεν άξιζε να προωθήσει τη ρήτρα.

Μέσα στη συνεδρία και μετά το τέλος της

Το μεγάλο πλαίσιο επιτρέπει σε έναν πράκτορα AI να εργάζεται σε μια μακρά εργασία και όχι μόνο σε μία ανταλλαγή μηνυμάτων. Ένας πράκτορας που αναλαμβάνει πολυήμερο έλεγχο συμμόρφωσης ή ένταξη προμηθευτή διατηρεί ολόκληρη την εργασία στο παράθυρο όσο εκτελείται, ώστε κάθε βήμα να βασίζεται στην πλήρη κατάστασή της. Ένα αρκετά μεγάλο παράθυρο μπορεί να υποκαταστήσει τη μνήμη μέσα στην ίδια συνεδρία.

Εκεί όμως σταματά η ομοιότητα. Όσα πρέπει να θυμάται το σύστημα την επόμενη εβδομάδα, αφού κλείσει αυτή η συνεδρία, πρέπει να αποθηκεύονται κάπου έξω από το παράθυρο.

Η δημιουργία τέτοιας μνήμης φέρνει διαφορετικά προβλήματα, πολλά από τα οποία ο κλάδος μόλις άρχισε να αντιμετωπίζει. Η εκπαίδευσή μου στην ψυχολογία και τις νευροεπιστήμες κάνει δύσκολο να αγνοήσω τη σύγκριση με την ανθρώπινη μνήμη. Δεν ανακτούμε τέλεια καταγραφή ενός γεγονότος. Κάθε φορά που το θυμόμαστε το ανασυνθέτουμε και μικρά λάθη μπορούν σταδιακά να γίνουν μέρος της αποδεκτής εκδοχής. Η μνήμη μιας μηχανής μπορεί να εμφανίσει παρόμοιο πρόβλημα όταν οι αποθηκευμένες πληροφορίες συνοψίζονται, συγχωνεύονται ή ξαναγράφονται επανειλημμένα. Με τον χρόνο, η καταγραφή μπορεί να απομακρύνεται όλο και περισσότερο από το αρχικό γεγονός, εκτός αν κάποιος την ελέγχει, διορθώνει λάθη και αφαιρεί πληροφορίες που έχουν πάψει να είναι αξιόπιστες.

Πολλές εταιρείες που εγκαθιστούν αυτά τα συστήματα δεν έχουν ακόμη συναντήσει τα προβλήματα και λίγα από αυτά πλησιάζουν σε λύση. Σε έναν προμηθευτή δεν θα κοιτούσα το διαφημιζόμενο μέγεθος του παραθύρου. Ένα μοντέλο που χωρά 10 εκατ. token αξίζει λίγο αν το μεγαλύτερο μέρος όσων κρατά είναι παρωχημένο, άσχετο ή λάθος. Οι απαντήσεις του μπορεί να φαίνονται καλά τεκμηριωμένες ενώ στηρίζονται σε υλικό που η επιχείρηση δεν έπρεπε ποτέ να εμπιστευτεί. Αυτό που αποδίδει οικονομικά είναι η κρίση για το τι πρέπει να διατηρηθεί και η δυνατότητα ακριβούς συλλογιστικής πάνω σε όλες τις πληροφορίες, με ένα κλάσμα του κόστους υποδομής και των απαιτούμενων πόρων. Αυτό σημαίνει περισσότερα με λιγότερα· δεν προσφέρει κάθε μεγαλύτερο παράθυρο αυτή την πραγματική δυνατότητα.