Insegnare all’AI dimentica a ‘tenere quel pensiero’ per più tempo

I modelli linguistici spesso non possono ricordare l’inizio di una conversazione. Un nuovo metodo di compressione del testo potrebbe cambiare questo e rendere le sessioni di chat dell’AI molto meno infurianti.

I sistemi di AI conversazionale come ChatGPT spesso perdono traccia delle parti precedenti di una conversazione, ripetendosi o dando risposte che ignorano le regole precedentemente concordate.

Questo è perché i Large Language Models (LLM) hanno una capacità limitata di focalizzazione, definita come una ‘finestra di contesto’ di attenzione – come una torcia che può illuminare solo ciò che è direttamente puntato e alcuni oggetti adiacenti.

Risolvere tali tendenze ‘amnesiche’, che sono dovute a queste limitazioni dell’attenzione, è tra le direzioni di ricerca più importanti nei modelli di AI basati sul linguaggio – non meno perché questa sindrome limita gravemente la possibilità di conversazioni utili e coerenti a più turni e limita l’utilità dei LLM in una varietà di contesti critici per l’accuratezza, come la medicina e il diritto.

Crushing It

Una nuova ricerca dalla Cina^† propone un metodo innovativo per far entrare una quantità significativamente maggiore di testo nelle risorse limitate di una GPU che esegue un modello di AI – con risultati che raggiungono un miglioramento della compressione del 20x mentre mantengono il 98% di accuratezza:

La compressione a cascata del contesto (C3) ricostruisce documenti lunghi con maggiore accuratezza dei metodi di compressione ottica come DeepSeek-OCR, anche quando si riduce l’input di fino a quaranta volte. In una gamma di lunghezze di documenti e impostazioni di compressione, il nuovo metodo mantiene una fedeltà quasi perfetta, mentre l’approccio ottico si degrada bruscamente con una maggiore compressione. Fonte

Con un’accuratezza del 93% – che è all’interno dei parametri lavorabili – la compressione del testo può anche raggiungere un rapporto di compressione di 40x:

Tre approcci alla compressione di testi lunghi per l’input del modello linguistico: il metodo di base (sinistra) tokenizza il testo direttamente, producendo un grande numero di token; l’approccio ottico (centro) converte il testo in un’immagine ed estrae embedding visivi utilizzando un Vision Transformer, raggiungendo una compressione di 10x; e il nuovo metodo C3 (destra) utilizza un modello linguistico piccolo per comprimere il testo in solo 32 token latenti, ottenendo una compressione di 40x senza affidarsi a codici visivi.

Questo significa che l’intera conversazione, anche se molto lunga, può essere compressa e reiniettata (aggiornata) a intervalli nella discussione come informazione di contesto di sfondo, più tardi nella chat – quando il LLM avrebbe normalmente dimenticato i fatti precedenti e scivolato in un comportamento ‘amnesico’.

Sebbene questo sia un metodo di compressione lossy, anche il modo in cui si verifica la perdita è utile: con il nuovo metodo, la memoria si degrada alla fine di una frase, e non uniformemente in tutta la frase, come con l’architettura DeepSeek-OCR che ha ispirato il nuovo approccio; in realtà, i ricercatori dietro il nuovo articolo suggeriscono che il loro metodo si degrada nello stesso modo della memoria umana, invece di degradarsi casualmente:

In alto, la memoria umana si degrada alla fine del flusso di dati; al centro: DeepSeek-OCR si degrada casualmente, lasciando nessun ancoraggio che potrebbe aiutare a risolvere il problema; in basso: il nuovo metodo si degrada nello stesso modo della memoria umana, verso la fine del flusso di dati, offrendo marcatori che possono aiutare a migliorare l’accuratezza attraverso l’elaborazione post-fatto.

Questo significa che si può prevedere dove i dati memorizzati potrebbero essere meno affidabili e utilizzare questa conoscenza per affrontare il problema – potenzialmente offrendo un miglioramento massiccio nella coerenza e nel richiamo conversazionale, con un’accuratezza del 100% dopo la risoluzione.

Il nuovo approccio si chiama Compressione a cascata del contesto (C3) e si ispira al modo in cui DeepSeek-OCR comprime il testo come immagini, raggiungendo grandi livelli di compressione. Tuttavia, utilizzando due modelli linguistici (medio e grande) per comprimere direttamente il testo lungo in embedding latenti, il nuovo approccio elimina la resistenza causata dall’utilizzo di immagini raster, raggiungendo così le prestazioni migliorate.

L’articolo afferma:

‘La prestazione superiore di C3 può essere attribuita al suo design architettonico fondamentale. L’analisi DeepSeek-OCR ipotizza che il suo declino delle prestazioni sia dovuto a fattori come “layout complesso” e “sfocatura dell’immagine a risoluzioni più basse” – limitazioni innate del percorso ottico.

‘Il nostro paradigma C3, operando direttamente nel dominio testuale, è completamente immune a questi artefatti del dominio visivo. Evita la perdita di informazioni associata alla rappresentazione del testo in pixel e alla codifica di quei pixel. Invece, sfrutta la comprensione semantica potente di un modello linguistico pre-addestrato per distillare le informazioni testuali direttamente in una rappresentazione latente efficiente.’

Il nuovo articolo si intitola Compressione a cascata del contesto: esplorare i limiti superiori della compressione del testo e proviene da due autori^†, che sembrano offrire anche C3 come repository open source su GitHub.

Metodo

Per comprendere il nuovo approccio, è utile sapere cosa sia il riconoscimento ottico dei caratteri (OCR), poiché è da qui che deriva l’intera idea.

L’OCR è un metodo algoritmico che risale agli anni ’20, sebbene sia stato popolarizzato negli anni ’90, dove il riconoscimento dei modelli consente a un programma computerizzato di trasformare il testo raster (ad esempio, il testo all’interno delle immagini, che non può essere selezionato e che esiste solo come contenuto fotografico) in testo modificabile.

I creatori di DeepSeek-OCR hanno scoperto che il testo poteva essere compresso molto più dei pipeline standard utilizzando l’OCR come stadio intermedio. In altre parole, invece di comprimere il testo in sé, si poteva ottenere una maggiore densità di embedding latenti (cioè, più informazioni salvate) comprimendo una versione rasterizzata di quel testo:

Dallo schema del rilascio di DeepSeek-OCR, un schema per la pipeline di compressione, che include patch rasterizzate 16×16 come componente OCR. Fonte

Il nuovo articolo suggerisce che gli approcci ottici come DeepSeek-OCR potrebbero attribuire erroneamente la fonte dei loro guadagni di compressione. Invece di spostare il testo in un’immagine, gli autori ipotizzano che il beneficio principale derivi dal convertire i token di testo verbosi in rappresentazioni latenti più efficienti.

Per testare ciò, hanno creato una pipeline che sfrutta due modelli linguistici: il più piccolo Qwen2.5 1.5B, che funge da encoder, comprimendo passaggi lunghi in un piccolo set di token latenti; e il più grande Qwen2.5 3B, che funge da decoder, ricostruendo il testo originale da quei token:

Nel nuovo sistema C3, il modello Qwen2.5 1.5B più piccolo comprime un input lungo in un set di token latenti a lunghezza fissa, utilizzando embedding di query addestrabili. Questi token, insieme a un prompt, vengono passati al modello Qwen2.5 3B più grande, che ricostruisce il testo originale. Questa architettura consente un richiamo ad alta fedeltà di sequenze lunghe utilizzando solo una frazione del conteggio dei token originale.

Per gestire la fase di compressione, i ricercatori hanno adattato il modello Qwen2.5 1.5B pre-addestrato introducendo embedding di query addestrabili: prompt astratti che guidano il modello nel distillare il contesto lungo in ingresso in una rappresentazione latente molto più piccola.

Invece di modificare l’architettura, il metodo semplicemente alimenta il testo lungo e gli embedding di query insieme come un unico input. Il meccanismo di auto-attenzione del modello tratta questi elementi in modo identico, consentendogli di produrre un contesto latente a lunghezza fissa senza necessità di nuovi strati o modifiche progettuali; e questo output viene quindi passato al modello più grande per la ricostruzione.

Per valutare quanto informazioni sopravvivono alla compressione, i ricercatori hanno istruito il decoder Qwen2.5 3B a ricostruire l’input originale utilizzando solo i token latenti e il prompt ‘ripeti il testo’. Poiché il compito coinvolgeva la riproduzione esatta, anziché la sintesi o la parafrasi, qualsiasi deviazione dall’originale poteva essere direttamente ricondotta alle informazioni perse nella compressione, offrendo un test pulito e oggettivo della fedeltà attraverso la pipeline di encode-decode.

Dati e test

L’articolo afferma che gli autori hanno compilato un set di dati originali di materiale OCR, pari a un milione di pagine ottenute da Internet. Non è presente ulteriore dettaglio sulla fonte di questi dati e gli autori sembrano essere deliberatamente vaghi su questo punto.

Tuttavia, osservano che l’ingegneria dei dati e la cura non sono state necessarie per i loro scopi e che sono stati in grado di addestrare il loro modello in modo efficace su campioni di “lunghezza diversa”; e affermano che ciò indica che la loro architettura sia resiliente (e, per inferenza, ben generalizzata, a seconda delle impostazioni di addestramento).

Il modello è stato addestrato su un cluster ad alte prestazioni costituito da otto GPU NVIDIA H800, ciascuna dotata di 80GB di VRAM, per una risorsa di VRAM totale di 640GB. Ciascuna GPU ha ospitato un batch size di 2, ottenendo un batch size globale di 256, considerando i 16 passi di accumulazione pianificati. L’ottimizzatore è stato AdamW, su un totale di 40.000 passi.

Per testare l’efficacia dell’architettura C3, i ricercatori hanno seguito la stessa impostazione di valutazione utilizzata nel paper originale di DeepSeek-OCR, utilizzando il benchmark Fox per misurare la compressione e l’accuratezza della ricostruzione su una gamma di lunghezze di documenti.

Sono stati selezionati testi in lingua inglese, con passaggi che vanno da 600 a 1300 token, con la tokenizzazione eseguita utilizzando il tokenizer Qwen.

Per consentire un confronto equo, sono stati utilizzati livelli di compressione equivalenti del baseline ottico (DeepSeek-OCR), con 64 e 100 token latenti. Per esplorare i limiti del metodo, sono stati eseguiti test aggiuntivi utilizzando solo 32 token latenti. In ogni caso, la ricostruzione è stata avviata con l’istruzione ‘ripeti il testo: ‘:

Risultati dal test iniziale. La precisione della ricostruzione e i rapporti di compressione sono stati misurati su sette gamme di token utilizzando 64 e 100 token latenti, mostrando una costante superiorità di C3 rispetto a DeepSeek-OCR, soprattutto ai livelli di compressione più elevati.

Discutendo i risultati iniziali visualizzati sopra, l’articolo afferma:

‘I dati dimostrano inequivocabilmente che il paradigma di compressione diretta del testo di C3 supera notevolmente l’approccio di compressione ottica in tutte le condizioni testate, stabilendo un nuovo stato dell’arte nella compressione del contesto ad alta fedeltà.’

Quando entrambi i sistemi sono stati testati su documenti più lunghi, DeepSeek-OCR ha iniziato a perdere accuratezza man mano che la compressione aumentava, scendendo al di sotto del 60% nel caso più estremo. C3 ha gestito lo stesso livello di compressione con una perdita molto minore, mantenendosi stabile vicino al 98%, anche quando l’input è stato ridotto a un ventesimo della sua dimensione originale.

Nel test più impegnativo, i testi completi sono stati ridotti a soli 32 token. Anche allora, il modello è riuscito a recuperare quasi tutto il contenuto originale, mantenendo un’accuratezza vicina al 99% in molti casi:

L’accuratezza della ricostruzione e i rapporti di compressione a 32 token latenti, mostrando che anche con riduzioni estreme (fino a quasi 40x) la precisione rimane al di sopra del 93%.

Al livello di impostazione più estremo, in cui l’input è stato compresso a quasi un quarantesimo della sua dimensione originale, ha ancora ricordato oltre il 93%. In confronto, i metodi ottici precedenti scendevano a circa il 60% di accuratezza a metà di quel livello di compressione.

Gli autori affermano^††:

‘Questi risultati dimostrano conclusivamente il vantaggio dell’architettura C3. Evitando le bottiglie di collo dell’informazione e gli artefatti potenziali inerenti alla modalità visiva (ad esempio, limiti di risoluzione dell’immagine, complessità del layout), il nostro metodo gestisce la compressione estrema con una perdita di informazioni minima.

‘I risultati di questo test aggressivo consolidano la nostra affermazione che la compressione diretta del testo in rappresentazioni latenti è un paradigma fondamentalmente più efficiente e potente dei suoi omologhi ottici.’

Concludono anche che C3 può ‘sbloccare nuove capacità nel trattamento di interi libri, documenti legali estensivi o grandi codebase per compiti come la risposta alle domande, la sintesi e l’analisi’.

Conclusione

Questo è uno degli articoli più chiari e accessibili che ho incontrato di recente, con un’idea centrale commendevolmente chiara che potrebbe dimostrarsi almeno un’ulteriore linea di attacco contro il ‘problema della finestra di contesto’.

Molti utenti di LLM hanno imparato ormai a ‘ricaricare’ le informazioni cruciali o le linee guida periodicamente durante una lunga discussione, avendo scoperto a modo loro che ChatGPT e simili non possono mantenere quelle informazioni per molto tempo. Seguendo questo istinto di rapido fix, l’idea in questione nel nuovo articolo è che una versione altamente compressa di una lunga conversazione potrebbe essere reiniettata a intervalli nella finestra di contesto dell’istanza LLM attuale, essenzialmente ‘ricordando per procura’.

In un clima in cui la scarsità di GPU sta portando a un rally dei prezzi anche sulla memoria informatica tradizionale (come la DRAM, dove molti carichi di lavoro delle GPU vengono ora scaricati per supportare modelli più grandi), sembra improbabile che l’hardware host dell’AI diventi significativamente più capiente nel prossimo futuro; pertanto, approcci innovativi come questo, che sono quasi una riproposta nostalgica dell’evoluzione della compressione dei file degli anni ’90, potrebbero rivelarsi necessari per spingere le prestazioni in avanti.

Ma soprattutto, sarebbe fantastico se gli LLM potessero mantenere una conversazione coerente per un’ora o più e ricordare effettivamente di cosa parlava la conversazione in primo luogo.

* Le istruzioni per l’installazione da riga di comando sono fornite, ma non ho avuto il tempo di tentare un’installazione e non sono sicuro che il repository sia completo.

^† I due autori sono indicati come Fanfan Liu e Haibo Qiu. Come indica la ricerca casuale, Qiu è attualmente un ricercatore presso l’azienda tecnologica cinese Meituan, e Liu è uno studente di master all’Accademia cinese delle scienze. Nessuno dei due ha attualmente il paper in questione elencato nella loro storia. Se una di queste attribuzioni è errata, si prega di contattarmi tramite il mio profilo.

^††  Sebbene gli autori seguano la formula fornendo test qualitativi aggiuntivi, questi sono poco illuminanti rispetto al precedente round di test di compressione e non li ho trattati qui.

Pubblicato per la prima volta venerdì, 21 novembre 2025