Διδάσκοντας τον Ληθάργικο AI να «Κρατήσει τη Σκέψη» για Περισσότερο

Τα μοντέλα γλωσσών συχνά δεν μπορούν να θυμηθούν την αρχή μιας συνομιλίας. Μια νέα μέθοδος συμπίεσης κειμένου μπορεί να αλλάξει αυτό και να κάνει τις συνομιλίες AI πολύ λιγότερο ενοχλητικές.

Τα συστήματα συνομιλίας AI όπως το ChatGPT συχνά χάνουν την πηγή των προηγούμενων μερών μιας συνομιλίας, επαναλαμβάνοντας τον εαυτό τους ή δίνοντας απαντήσεις που αγνοούν τις προηγουμένως συμφωνημένες κανόνες.

Αυτό συμβαίνει επειδή τα Μεγάλα Μοντέλα Γλωσσών (LLMs) έχουν μια περιορισμένη ικανότητα να εστιάσουν, που ορίζεται ως ‘παράθυρο περιεχομένου’ προσοχής – όπως ένα φακό που μπορεί να φωτίσει μόνο αυτό που στοχεύει直接 και quelques liền kề αντικείμενα.

Η διόρθωση τέτοιων «αμνησιακών» τάσεων, οι οποίες οφείλονται σε αυτές τις περιορισμούς στην προσοχή, είναι μεταξύ των πιο σημαντικών κατευθύνσεων της έρευνας για τα μοντέλα γλωσσών AI – όχι τουλάχιστον επειδή αυτό το σύνδρομο περιορίζει nghiêm trọng τη δυνατότητα χρήσιμων και συνεπούς πολυ-στροφικής συνομιλίας και εμποδίζει τη χρησιμότητα των LLMs σε μια ποικιλία ακριβειακών περιβαλλόντων, όπως η ιατρική και το δίκαιο.

Κρατώντας το

Νέα έρευνα από την Κίνα^† προτείνει μια νέα μέθοδο για να κάνει ένα σημαντικά μεγαλύτερο ποσό κειμένου να ταιριάζει στα περιορισμένα πόρους ενός GPU που εκτελεί ένα μοντέλο AI – με αποτελέσματα που επιτυγχάνουν μια βελτίωση συμπίεσης 20 φορές ενώ διατηρούνται 98% ακρίβεια:

Η Συμπίεση Κατακλυσμού Πραγματοποιεί μια πιο ακριβή ανακατασκευή μακρών εγγράφων από τις οπτικές μεθόδους συμπίεσης όπως το DeepSeek-OCR, ακόμη και όταν μειώνεται η είσοδος μέχρι και σαράντα φορές. Σε μια σειρά από μήκη εγγράφων και ρυθμίσεις συμπίεσης, η νέα μέθοδος διατηρεί μια σχεδόν τέλεια πιστότητα, ενώ η οπτική προσέγγιση χειροτερεύει δραματικά υπό υψηλότερη συμπίεση. Πηγή

Αυτό σημαίνει ότι όλη η συνομιλία, ακόμη και μια πολύ μακρά, μπορεί να συμπιεστεί και να επανα-εισαχθεί (ενημερωθεί) σε τακτά χρονικά διαστήματα ως背景 περιεχομένου, αργότερα στη συνομιλία – όταν το LLM θα ήταν συνήθως ξεχνώντας τις προηγούμενες πληροφορίες και γλιστράει σε «αμνησιακή» συμπεριφορά.

Αν και αυτή είναι μια απολεπτική μέθοδος συμπίεσης, ακόμη και ο τρόπος με τον οποίο η απώλεια συμβαίνει είναι χρήσιμος: με τη νέα μέθοδο, η μνήμη χειροτερεύει στο τέλος μιας πρότασης, και όχι ομοιόμορφα σε όλη τη διάρκεια, όπως με το DeepSeek-OCR αρχιτεκτονική που ενέπνευσε τη νέα προσέγγιση: στην πραγματικότητα, οι ερευνητές πίσω από τη νέα εργασία προτείνουν ότι η μέθοδός τους χειροτερεύει με τον ίδιο τρόπο που η ανθρώπινη μνήμη, και όχι τυχαία:

Πάνω, η ανθρώπινη μνήμη χειροτερεύει στο τέλος της ροής δεδομένων: μεσαία: το DeepSeek-OCR χειροτερεύει τυχαία, αφήνοντας keine άγκυρες που θα μπορούσαν να βοηθήσουν στη διόρθωση του προβλήματος: κάτω: η νέα μέθοδος χειροτερεύει με τον ίδιο τρόπο που η ανθρώπινη μνήμη, προς το τέλος της ροής δεδομένων, προσφέροντας δείκτες που μπορούν να βοηθήσουν στη βελτίωση της ακρίβειας μέσω της μετα-επεξεργασίας.

Αυτό σημαίνει ότι μπορείτε να προβλέψετε πού τα αποθηκευμένα δεδομένα μπορεί να είναι λιγότερο αξιόπιστα, και να χρησιμοποιήσετε αυτή τη γνώση για να αντιμετωπίσετε το πρόβλημα – потенτικά προσφέροντας μια τεράστια βελτίωση στη συνομιλιακή ανάκληση και συνεκτικότητα, με 100% ακρίβεια μετά τη διόρθωση.

Η νέα προσέγγιση ονομάζεται Συμπίεση Κατακλυσμού (C3), και είναι εμπνευσμένη από τον τρόπο με τον οποίο το DeepSeek-OCR συμπιέζει κείμενο ως εικόνες, επιτυγχάνοντας μεγάλα επίπεδα συμπίεσης. Ωστόσο, χρησιμοποιώντας δύο (μεσαία και μεγάλη) γλωσσικά μοντέλα για να συμπιέσουν μακρά κείμενο απευθείας σε λατινικές ενσωματώσεις, η νέα προσέγγιση κόβει την αντίσταση που προκαλείται από τη χρήση ραστών εικόνων, επιτυγχάνοντας τη βελτιωμένη απόδοση.

Η εργασία αναφέρει:

‘Η υπεροχή της C3 μπορεί να αποδοθεί στη θεμελιώδη αρχιτεκτονική της σχεδίασης. Η ανάλυση DeepSeek-OCR υποθέτει ότι η πτώση της απόδοσής της οφείλεται σε παράγοντες όπως “σύνθετο layout” και “blur εικόνας σε χαμηλότερες αναλύσεις” – εγγενείς περιορισμοί του οπτικού μονοπατιού.

‘Η παραδειγματική μας C3, λειτουργώντας απευθείας στο κείμενο-περιβάλλον, είναι εντελώς απαλλαγμένη από αυτές τις οπτικές-περιοριστικές ανωμαλίες. Αποφεύγει την απώλεια πληροφοριών που συνδέεται με την απόδοση κειμένου σε pixels και στη συνέχεια την κωδικοποίηση αυτών των pixels. Αντίθετα, αξιοποιεί την ισχυρή σεματική κατανόηση ενός προ-εκπαιδευμένου LLM για να αποσπάσει πληροφορίες κειμένου απευθείας σε μια αποτελεσματική λατινική αναπαράσταση.’

Η νέα εργασία ονομάζεται Συμπίεση Κατακλυσμού: Εξερεύνηση των Άνω Ορίων της Συμπίεσης Κειμένου, και προέρχεται από δύο συγγραφείς^†, οι οποίοι φαίνεται* να προσφέρουν επίσης την C3 ως ανοικτό αποθετήριο στο GitHub.

Μέθοδος

Για να κατανοήσετε τη νέα προσέγγιση, είναι χρήσιμο να γνωρίζετε τι οπτική αναγνώριση χαρακτήρων (OCR) είναι, επειδή αυτή είναι η πηγή της όλης ιδέας.

Η OCR είναι μια αλγοριθμική μέθοδος που χρονολογείται πίσω στο 1920, αν και δημοσιεύθηκε στις δεκαετίες του 1990, όπου η ανίχνευση μοτίβων επιτρέπει σε ένα πρόγραμμα υπολογιστή να μετατρέψει ραστώδες κείμενο (δηλαδή, κείμενο μέσα σε εικόνες, που δεν μπορεί να επιλεγεί και που υπάρχει μόνο ως φωτογραφικό περιεχόμενο) σε επεξεργάσιμο κείμενο.

Οι δημιουργοί του DeepSeek-OCR ανακάλυψαν ότι το κείμενο μπορούσε να συμπιεστεί πολύ περισσότερο από τις τυπικές διαδικασίες χρησιμοποιώντας την OCR ως ενδιάμεσο στάδιο. Με άλλα λόγια, αντί να συμπιέζουν το κείμενο σε αυτόเอง, θα μπορούσαν να επιτύχουν μια μεγαλύτερη πυκνότητα λατινικών ενσωματώσεων (δηλαδή, περισσότερες πληροφορίες αποθηκευμένες) συμπιέζοντας μια ραστωμένη εκδοχή του κειμένου:

Από το έγγραφο της DeepSeekOCR, ένα σχήμα για τη διαδικασία συμπίεσης, που περιλαμβάνει 16×16 ραστωμένα τμήματα ως το OCR συστατικό. Πηγή

Η νέα εργασία υποδηλώνει ότι οι οπτικές προσεγγίσεις όπως το DeepSeek-OCR μπορεί να αποδίδουν λανθασμένα την πηγή των κερδών συμπίεσης. Αντί να είναι η μετατόπιση από το κείμενο στην εικόνα ο πρωταρχικός παράγοντας, οι συγγραφείς υποθέτουν ότι το κλειδί της βελτίωσης έρχεται από τη μετατροπή των περίπλοκων συμβόλων κειμένου σε πιο αποτελεσματικές λατινικές αναπαραστάσεις.

Για να ελέγξουν这一 υποθέσεων, δημιούργησαν μια διαδικασία που αξιοποιεί δύο γλωσσικά μοντέλα: το μικρότερο Qwen2.5 1.5B, το οποίο λειτουργεί ως ο κωδικοποιητής, συμπιέζοντας μακρά κείμενα σε μια μικρή σειρά λατινικών συμβόλων: και το μεγαλύτερο Qwen2.5 3B, το οποίο λειτουργεί ως ο αποκωδικοποιητής, ανακατασκευάζοντας το αρχικό κείμενο από αυτά τα σύμβολα:

<img class=" wp-image-226086" src="https://www.unite.ai/wp-content/uploads/2025/11/deepseekocr.jpg" alt="Στο νέο σύστημα C3, το μικρότερο μοντέλο Qwen2.5 1.5B συμπιέζει μια μακρά είσοδο σε μια σταθερή σειρά λατινικών συμβόλων, χρησιμοποιώντας εκπαιδεύσιμες ενσωματώσεις ερωτημάτων. Αυτά τα σύμβολα, μαζί με μια πρόταση, μεταφέρονται στο μεγαλύτερο μοντέλο Qwen2.5 3B, το οποίο ανακατασκευάζει το αρχικό κείμενο. Αυτή η αρχιτεκτονική επιτρέπει την υψηλή-πιστότητα ανάκληση μακρών ακολουθιών χρησιμοποιώντας μόνο μια μικρή parte του αρχικού συμβόλου.

Για να χειριστεί το στάδιο της συμπίεσης, οι ερευνητές προσάρμοσαν το προ-εκπαιδευμένο μοντέλο Qwen2.5 1.5B εισάγοντας εκπαιδεύσιμες ενσωματώσεις ερωτημάτων: αφηρημένες προτάσεις που οδηγούν το μοντέλο να αποσπάσει την εισερχόμενη μακρά περιέχομενο σε μια πολύ μικρότερη λατινική αναπαράσταση.

Αντί να τροποποιήσουν την αρχιτεκτονική, η μέθοδος απλώς τροφοδοτεί το μακρό κείμενο και τις ενσωματώσεις ερωτημάτων μαζί ως μια seule είσοδο. Το μηχανισμό αυτο-προσοχής του μοντέλου αντιμετωπίζει αυτά τα στοιχεία ιδιαίτερα, επιτρέποντας στο μοντέλο να εξαγάγει μια σταθερή-μήκος λατινική περιέχομενο χωρίς να χρειάζεται νέες στρώσεις ή αλλαγές σχεδίασης: και αυτή η έξοδος στη συνέχεια μεταφέρεται στο μεγαλύτερο μοντέλο για ανακατασκευή.

Για να αξιολογήσουν πόσο πληροφορίες επιβίωσαν της συμπίεσης, οι ερευνητές οδήγησαν το μοντέλο Qwen2.5 3B να ανακατασκευάσει το αρχικό κείμενο χρησιμοποιώντας μόνο τα λατινικά σύμβολα και την πρόταση ‘επαναλάβετε το κείμενο’. Καθώς η εργασία περιελάμβανε ακριβή αναπαραγωγή, και όχι περίληψη ή παραφράση, οποιαδήποτε αποκλίση από το αρχικό κείμενο θα μπορούσε να ανιχνευθεί απευθείας στην απώλεια πληροφοριών κατά τη συμπίεση, προσφέροντας μια καθαρή και αντικειμενική δοκιμή της πιστότητας κατά μήκος της διαδικασίας κωδικοποίησης-αποκωδικοποίησης.

Δεδομένα και Δοκιμές

Η εργασία αναφέρει ότι οι συγγραφείς συνέλεξαν ένα πρωτότυπο σύνολο δεδομένων OCR, που αποτελείται από ένα εκατομμύριο σελίδες που προέρχονται από το διαδίκτυο. Δεν υπάρχει περαιτέρω λεπτομέρεια για αυτή τη πηγή, και οι συγγραφείς φαίνεται να είναι故意 ασαφείς σε αυτό το σημείο.

Παρά ταύτα, παρατηρούν ότι η μηχανική των δεδομένων και η επιμέλεια δεν ήταν απαραίτητες για τους σκοπούς τους, και ότι μπόρεσαν να εκπαιδεύσουν το μοντέλο τους αποτελεσματικά σε δείγματα “ποικίλων μήκων”: και δηλώνουν ότι αυτό δείχνει την αρχιτεκτονική τους να είναι ανθεκτική (και, κατά συνέπεια, καλά γενικευμένη, ανάλογα με τις ρυθμίσεις εκπαίδευσης).

Το μοντέλο εκπαιδεύτηκε σε ένα cluster υψηλής απόδοσης που αποτελείται από οκτώ NVIDIA H800 GPUs, κάθε一个 από τα οποία ήταν εξοπλισμένο με 80GB VRAM, για一个 συνολικό VRAM πόρο 640GB. Κάθε GPU φιλοξενούσε ένα μέγεθος batch 2, αποκτώντας ένα συνολικό παγκόσμιο μέγεθος batch 256, όταν ληφθούν υπόψη τα 16 βήματα συσσώρευσης που προγραμματίστηκαν. Ο βελτιστοποιητής ήταν AdamW, σε ένα σύνολο 40.000 βημάτων.

Για να ελέγξουν την αποτελεσματικότητα της αρχιτεκτονικής C3, οι ερευνητές ακολούθησαν την ίδια διαμόρφωση αξιολόγησης που χρησιμοποιήθηκε στην αρχική εργασία DeepSeek-OCR, χρησιμοποιώντας το βENCHMARK Fox για να μετρήσουν τη συμπίεση και την ακρίβεια ανακατασκευής σε μια σειρά από μήκη εγγράφων.

Επιλέχθηκαν κείμενα στην αγγλική γλώσσα, με περικοπές που κυμαίνονταν από 600 έως 1300 συμβόλων, με τον τομεασμό που πραγματοποιήθηκε χρησιμοποιώντας τον τομεαστή Qwen.

Για να επιτρέψουν μια δίκαιη σύγκριση, χρησιμοποιήθηκαν ισοδύναμα επίπεδα συμπίεσης από την (DeepSeek-OCR) οπτική βάση, με 64 και 100 λατινικά σύμβολα. Για να εξερευνήσουν τα όρια της μεθόδου, πραγματοποιήθηκαν πρόσθετες δοκιμές χρησιμοποιώντας μόνο 32 λατινικά σύμβολα. Σε κάθε περίπτωση, η ανακατασκευή ξεκίνησε με την οδηγία ‘επαναλάβετε το κείμενο:’:

Αποτελέσματα από την αρχική δοκιμή. Η ακρίβεια ανακατασκευής και οι αναλογίες συμπίεσης μετρήθηκαν σε επτά σειρές συμβόλων χρησιμοποιώντας 64 και 100 λατινικά σύμβολα, δείχνοντας συνεχή υπερβολή της C3 над το DeepSeek-OCR, ιδιαίτερα σε υψηλότερα επίπεδα συμπίεσης.

Συζητώντας τα αρχικά αποτελέσματα που απεικονίζονται παραπάνω, η εργασία αναφέρει:

‘Τα δεδομένα αποδεικνύουν ανεπιφύλακτα ότι η C3 με την άμεση συμπίεση κειμένου σε λατινική αναπαράσταση υπερβαίνει σημαντικά την οπτική προσέγγιση σε όλες τις δοκιμές, καθιερώνοντας ένα νέο state-of-the-art στη συμπίεση περιεχομένου υψηλής πιστότητας.’

Όταν και τα δύο συστήματα δοκιμάστηκαν σε μακρύτερα έγγραφα, το DeepSeek-OCR άρχισε να χάνει ακρίβεια καθώς η συμπίεση αυξανόταν, πέφτοντας κάτω από 60% στην πιο ακραία περίπτωση. Η C3 χειρίστηκε το ίδιο επίπεδο συμπίεσης με πολύ λιγότερη απώλεια, κρατώντας σταθερά κοντά στο 98%, ακόμη και όταν η είσοδος μειώθηκε στο ένα-twentieth του αρχικού μεγέθους.

Στην πιο απαιτητική δοκιμή, τα πλήρη κείμενα συμπιέστηκαν σε μόνο 32 σύμβολα. Ακόμη και τότε, το μοντέλο μπόρεσε να ανακατασκευάσει σχεδόν όλο το αρχικό περιεχόμενο, κρατώντας την ακρίβεια κοντά στο 99% σε πολλές περιπτώσεις:

Ακρίβεια ανακατασκευής και αναλογίες συμπίεσης σε 32 λατινικά σύμβολα, δείχνοντας ότι ακόμη και σε ακραίες μειώσεις (μέχρι σχεδόν 40x) η ακρίβεια παραμένει πάνω από 93%.

Στο πιο ακραίο ρύθμιση, όπου η είσοδος συμπιέστηκε σχεδόν στο ένα-σαράντατο του αρχικού μεγέθους, ακόμη και τότε το μοντέλο θυμήθηκε πάνω από 93%. Σε σύγκριση, οι προηγούμενες οπτικές μεθόδους έπεσαν σε περίπου 60% ακρίβεια σε μισό αυτό το επίπεδο συμπίεσης.

Οι συγγραφείς αναφέρουν^††:

‘Αυτά τα ευρήματα αποδεικνύουν ανεπιφύλακτα το πλεονέκτημα της αρχιτεκτονικής C3. Αποφεύγοντας τις πληροφοριακές στενώσεις και τις потенτικές ανωμαλίες που είναι εγγενείς στη οπτική μονοπατία (π.χ. περιορισμοί ανάλυσης εικόνας, σύνθετο layout), η μέθοδός μας χειρίζεται την ακραία συμπίεση με ελάχιστη απώλεια πληροφοριών.

‘Τα αποτελέσματα από αυτή τη δραστική δοκιμή solidify την αξίωση μας ότι η άμεση συμπίεση κειμένου σε λατινική αναπαράσταση είναι μια θεμελιωδώς πιο αποτελεσματική και ισχυρή παραδειγματική παρά τις οπτικές της αντίστοιχες.’

Επίσης, συμπεραίνουν ότι η C3 μπορεί να «ανοίξει νέες ικανότητες στην επεξεργασία ολόκληρων βιβλίων, εκτενών νομικών εγγράφων ή μεγάλων κωδικών για εργασίες όπως η απάντηση σε ερωτήσεις, η περίληψη και η ανάλυση».

Συμπέρασμα

Αυτή είναι μια από τις πιο καθαρές και προσιτές εργασίες που έχω συναντήσει πρόσφατα, με μια αξιοσημείωτη κεντρική ιδέα που μπορεί να αποδειχθεί τουλάχιστον μια πρόσθετη γραμμή επίθεσης κατά του «προβλήματος του παραθύρου περιεχομένου».

Πολλοί χρήστες των LLMs θα έχουν μάθει μέχρι τώρα να «ανανεώνουν» κρίσιμες πληροφορίες ή οδηγίες περιοδικά καθ’ όλη τη διάρκεια μιας μακράς συνομιλίας, έχοντας ανακαλύψει με τον σκληρό τρόπο ότι τα likes του ChatGPT δεν μπορούν να θυμηθούν αυτές τις πληροφορίες για πολύ καιρό. Συνεχίζοντας αυτή την ορμή, η ιδέα που υπάρχει στην καινούργια εργασία είναι ότι μια πολύ συμπιεσμένη εκδοχή μιας μακράς συνομιλίας θα μπορούσε να επανα-εισαχθεί αυτόματα σε τακτά χρονικά διαστήματα στο παράθυρο περιεχομένου του τρέχοντος LLM instance, ουσιαστικά «θυμούμενος με μεσάζοντα».

Σε ένα κλίμα όπου η σπανιότητα των GPU οδηγεί σε μια αύξηση τιμών ακόμη και στην παραδοσιακή υπολογιστική μνήμη (όπως η DRAM, όπου πολλές προηγούμενες εργασίες GPU έχουν μεταφερθεί για να υποστηρίξουν μεγαλύτερα μοντέλα), φαίνεται απίθανο ότι ο υλικός εξοπλισμός του AI θα γίνει σημαντικά πιο ικανός στο άμεσο μέλλον:因此, καινοτόμες προσεγγίσεις όπως αυτή, οι οποίες είναι σχεδόν μια νοσταλγική επανάληψη της έvolution της συμπίεσης αρχείων της δεκαετίας του 1990, μπορεί να αποδειχθούν απαραίτητες για να ωθήσουν την απόδοση προς τα εμπρός.

Περισσότερο, θα ήταν υπέροχο αν τα LLMs θα μπορούσαν να διατηρήσουν μια συνεχή συνομιλία για μια ώρα ή περισσότερο, και να θυμηθούν πραγματικά τι ήταν η συνομιλία από την αρχή.

* Οι οδηγίες εγκατάστασης CLI δίνονται, αλλά δεν έχω χρόνο να προσπαθήσω να εγκαταστήσω, και δεν είμαι βέβαιος ότι το αποθετήριο είναι code-πλήρες.

^† Οι δύο συγγραφείς αναφέρονται ως Fanfan Liu και Haibo Qiu. Όσο η εύκολη έρευνα δείχνει, ο Qiu είναι τώρα ερευνητής στην κινεζική εταιρεία τεχνολογίας Meituan, και ο Liu είναι φοιτητής MS στο Κινεζικό Ακαδημαϊκό Ίδρυμα. Κανείς από τους δύο δεν έχει την εργασία σε Frage στο ιστορικό τους. Αν οποιαδήποτε από αυτές τις αναφορές είναι λανθασμένες, παρακαλώ επικοινωνήστε μαζί μου μέσω του προφίλ μου.

^†† Αν και οι συγγραφείς κρατούν την формуλα παρέχοντας πρόσθετες ποιοτικές δοκιμές, αυτές είναι μη-αποκαλυπτικές σε σύγκριση με τον προηγούμενο γύρο των δοκιμών συμπίεσης, και δεν τις έχω καλύψει εδώ.

Πρώτη δημοσίευση την Παρασκευή, 21 Νοεμβρίου 2025