Învățarea unui AI uituc să „țină gândul” pentru mai mult timp

Modelele de limbaj adesea nu-și pot aminti începutul unei conversații. O nouă metodă de comprimare a textului ar putea schimba acest lucru și face sesiunile de chat AI mult mai puțin frustrante.

Sistemele de inteligență conversațională, cum ar fi ChatGPT, adesea pierd urma părților anterioare ale unei conversații, repetându-se sau oferind răspunsuri care ignoră regulile convenite anterior.

Acest lucru se datorează faptului că Modelele de Limbaj Mare (MLL) au o capacitate limitată de a se concentra, definită ca o fereastră de context de atenție – ca o lanternă care poate lumina doar ceea ce este direct îndreptat spre ea și câteva obiecte adiacente.

Fixarea unor astfel de tendințe „amnezice”, care se datorează acestor constrângeri asupra atenției, este printre cele mai importante direcții de cercetare în modelele de limbaj – nu în ultimul rând pentru că acest sindrom limitează puternic posibilitatea de conversații utile și coerente cu mai multe ture și împiedică utilitatea MLL într-o varietate de contexte critice pentru acuratețe, cum ar fi medicina și dreptul.

Crushing It

O nouă cercetare din China^† propune o metodă nouă de a face ca o cantitate semnificativ mai mare de text să se potrivească în resursele limitate ale unui GPU care rulează un model AI – cu rezultate care ating o îmbunătățire a comprimării de 20 de ori, păstrând 98% din acuratețe:

Comprimarea Cascade a Contextului reconstruiește documente lungi mai precis decât metodele de comprimare optică, cum ar fi DeepSeek-OCR, chiar și atunci când se micșorează intrarea de până la patruzeci de ori. Pe o gamă de lungimi de document și setări de comprimare, noua metodă menține o fidelitate aproape perfectă, în timp ce abordarea optică se degradează puternic sub comprimarea mai mare. Sursă

Cu o acuratețe de 93% – care se află în parametri funcționali – comprimarea textului poate chiar atinge un raport de comprimare de 40 de ori:

Trei abordări pentru comprimarea textului lung pentru intrarea modelului de limbaj: metoda de bază (stânga) tokenizează textul direct, dând un număr mare de tokeni; calea optică (centru) convertește textul în imagine și extrage încorporări vizuale folosind un Transformator de Viziune, atingând o comprimare de 10 ori; și noua metodă C3 (dreapta) folosește un model de limbaj mic pentru a comprima textul în doar 32 de tokeni latenti, obținând o comprimare de 40 de ori fără a se baza pe încorporări vizuale.

Acest lucru înseamnă că întreaga conversație, chiar și una foarte lungă, poate fi comprimată și reinjectată (actualizată) la intervale în schimburile de context, mai târziu în conversație – atunci când MLL ar uita normal fapte anterioare și ar aluneca în comportament „amneziac”.

Deși aceasta este o metodă de comprimare cu pierderi, chiar modul în care are loc pierderea este util: sub noua metodă, memoria se degradează la sfârșitul unei propoziții, și nu în mod uniform pe tot parcursul, ca în cazul arhitecturii DeepSeek-OCR care a inspirat abordarea nouă; de fapt, cercetătorii din spatele noului articol sugerează că metoda lor se degradează în același mod ca și memoria umană reală, și nu în mod aleatoriu:

Sus, memoria umană se degradează la sfârșitul fluxului de date; mijloc: DeepSeek-OCR se degradează aleatoriu, lăsând niciun reper care ar putea ajuta la corectarea problemei; jos: noua metodă se degradează în același mod ca memoria umană, spre sfârșitul fluxului de date, oferind repere care pot ajuta la îmbunătățirea acurateței prin procesare ulterioară.

Acest lucru înseamnă că se poate prevedea unde datele memorate pot fi mai puțin fiabile, și se poate folosi această cunoaștere pentru a aborda problema – oferind potențial o îmbunătățire masivă a reamintirii conversației și a coerenței, cu o acuratețe de 100% după remediere.

Noua abordare se numește Comprimarea Cascade a Contextului (C3), și este inspirată de modul în care DeepSeek-OCR comprimă textul ca imagini, atingând niveluri mari de comprimare. Cu toate acestea, prin utilizarea a două modele de limbaj (mediu și mare) pentru a comprima textul lung direct în încorporări latente, noua abordare elimină rezistența cauzată de utilizarea imaginilor raster, atingând astfel o performanță îmbunătățită.

Articolul afirmă:

‘Performanța superioară a C3 poate fi atribuită proiectării sale arhitecturale fundamentale. Analiza DeepSeek-OCR presupune că declinul său se datorează factorilor precum “layout complex” și “estomparea imaginii la rezoluții mai mici” – limitări inerente ale căii optice.

‘Paradigma noastră C3, prin funcționarea direct în domeniul textual, este complet imună la aceste artefacte din domeniul vizual. Evită pierderea de informații asociată cu redarea textului în pixeli și apoi încodarea acestor pixeli. În schimb, folosește o înțelegere semantică puternică a unui model de limbaj preantrenat pentru a distila informația textuală direct într-o reprezentare latentă eficientă.’

Noul articol se numește Comprimarea Cascade a Contextului: Explorarea limitelor superioare ale comprimării textului, și provine de la doi autori^†, care par* să ofere și C3 ca depozit deschis pe GitHub.

Metoda

Pentru a înțelege noua abordare, este util să știți ce este recunoașterea optică a caracterelor (OCR), deoarece aceasta este sursa întregii idei.

OCR este o metodă algoritmică care datează din anii 1920, deși a fost popularizată în anii 1990, unde detectarea modelului permite unui program de calculator să transforme textul raster (adică textul din imagini, care nu poate fi selectat și care există doar ca conținut fotografic) în text editabil.

Creatorii DeepSeek-OCR au descoperit că textul poate fi comprimat mult mai mult decât conductele standard prin utilizarea OCR ca etapă intermediară. Cu alte cuvinte, în loc de a comprima textul în sine, se poate obține o densitate mai mare de încorporări latente (adică mai multă informație salvată) prin comprimarea unei versiuni rasterizate a textului:

Din articolul de lansare al DeepSeek-OCR, o schemă pentru pipeline-ul de comprimare, incluzând patch-uri rasterizate 16×16 ca componentă OCR. Sursă

Noul articol sugerează că abordările optice, cum ar fi DeepSeek-OCR, ar putea atribui în mod greșit sursa câștigurilor de comprimare. În loc de a fi schimbarea de la text la imagine factorul principal, autorii susțin că beneficiul cheie provine din conversia tokenilor de text verbos în reprezentări latente mai eficiente.

Pentru a testa acest lucru, ei au creat un pipeline care folosește două modele de limbaj: modelul mai mic Qwen2.5 1.5B, care funcționează ca encoder, comprimând treceri lungi într-un set mic de tokeni latenti; și modelul mai mare Qwen2.5 3B, care funcționează ca decodificator, reconstruind textul original din acei tokeni:

În noul sistem C3, modelul mai mic Qwen2.5 1.5B comprimă o intrare lungă într-un set fix de tokeni latenti, folosind încorporări de interogare antrenabile. Acești tokeni, împreună cu o prompt, sunt transmiși modelului mai mare Qwen2.5 3B, care reconstruiește textul original. Această arhitectură permite o reamintire de înaltă fidelitate a secvențelor lungi, folosind doar o fracțiune din numărul de tokeni original.

Pentru a gestiona etapa de comprimare, cercetătorii au adaptat modelul preantrenat Qwen2.5 1.5B prin introducerea încorporărilor de interogare antrenabile: prompturi abstracte care ghidează modelul în a distila contextul lung de intrare într-o reprezentare latentă mult mai mică.

În loc de a modifica arhitectura, metoda doar alimentează textul lung și încorporările de interogare împreună ca o singură intrare. Mecanismul de atenție de sine al modelului tratează aceste elemente identic, permițându-i să producă o reprezentare latentă fixă fără a necesita straturi noi sau modificări de proiectare; și această ieșire este apoi transmisă modelului mai mare pentru reconstruire.

Pentru a evalua câtă informație a supraviețuit comprimării, cercetătorii au instruit decodificatorul Qwen2.5 3B să reconstruiească intrarea originală folosind doar tokenii latenti și promptul ‘repete textul’. Deoarece sarcina a implicat reproducerea exactă, și nu rezumarea sau parafrazarea, orice deviație de la original putea fi urmărită direct la informația pierdută în comprimare, oferind un test curat și obiectiv al fidelității de-a lungul pipeline-ului de codificare-decodificare.

Date și Teste

Articolul afirmă că autorii au compilat o bază de date originală de material OCR, însumând un milion de pagini obținute de pe internet. Nu există detalii suplimentare despre această sursă, și autorii par a fi intenționat vagi pe acest punct.

În orice caz, ei observă că ingineria și curățarea datelor nu au fost necesare pentru scopurile lor, și că au putut antrena modelul lor în mod eficient pe mostre de “lungimi diverse”; și ei afirmă că acest lucru indică arhitectura lor ca fiind robustă (și, prin inferență, bine generalizată, în funcție de setările de antrenare).

Modelul a fost antrenat pe un cluster de înaltă performanță alcătuit din opt GPU-uri NVIDIA H800, fiecare echipat cu 80GB de VRAM, pentru o resursă totală de VRAM de 640GB. Fiecare GPU a găzduit o dimensiune de lot de 2, obținând o dimensiune globală de lot de 256, atunci când se iau în considerare cele 16 pași de acumulare programate. Optimizatorul a fost AdamW, pe o perioadă totală de 40.000 de pași.

Pentru a testa eficacitatea arhitecturii C3, cercetătorii au urmat aceeași configurație de evaluare folosită în articolul original DeepSeek-OCR, folosind benchmark-ul Fox pentru a măsura comprimarea și acuratețea reconstruirii pe o gamă de lungimi de document.

Textele în limba engleză au fost selectate, cu pasaje care variază de la 600 la 1300 de tokeni, cu tokenizarea efectuată folosind tokenizatorul Qwen.

Pentru a permite o comparație corectă, niveluri de comprimare echivalente de la linia de bază optică (DeepSeek-OCR) au fost folosite, cu 64 și 100 de tokeni latenti. Pentru a explora limitele metodei, teste suplimentare au fost efectuate folosind doar 32 de tokeni latenti. În fiecare caz, reconstruirea a fost inițiată cu instrucțiunea ‘repete textul:’:

Rezultatele testului inițial. Precizia reconstruirii și raportul de comprimare au fost măsurate pe șapte game de tokeni folosind 64 și 100 de tokeni latenti, arătând o performanță constant superioară a C3 față de DeepSeek-OCR, mai ales la niveluri mai mari de comprimare.

Discutând rezultatele inițiale vizualizate mai sus, articolul afirmă:

‘Datele demonstrează în mod neechivoc că paradigma C3 de comprimare directă a textului în latentă este semnificativ superioară abordării de comprimare optică în toate condițiile testate, stabilind un nou standard de referință în comprimarea contextuală de înaltă fidelitate.’

Atunci când ambele sisteme au fost testate pe documente mai lungi, DeepSeek-OCR a început să piardă acuratețe pe măsură ce comprimarea a crescut, scăzând sub 60% în cel mai extrem caz. C3 a gestionat același nivel de comprimare cu mult mai puțină pierdere, menținându-se constant aproape de 98%, chiar și atunci când intrarea a fost redusă la o zecime din dimensiunea sa originală.

În testul cel mai solicitant, textele complete au fost reduse la doar 32 de tokeni. Chiar și atunci, modelul a reușit să recupereze aproape tot conținutul original, menținând acuratețea aproape de 99% în multe cazuri:

Acuratețea reconstruirii și raportul de comprimare la 32 de tokeni latenti, arătând că chiar și la reduceri extreme (până la aproape 40 de ori) precizia rămâne peste 93%.

La setarea cea mai extremă, în care intrarea a fost comprimată la aproape o zecime din dimensiunea sa originală, a reamintit peste 93%. În comparație, metodele optice anterioare au scăzut la aproximativ 60% acuratețe la jumătate din nivelul de comprimare.

Autorii afirmă^††:

‘Aceste descoperiri demonstrează în mod concludent avantajul arhitecturii C3. Prin evitarea blocajelor de informație și a potențialelor artefacte inerente modului vizual (de exemplu, limitări de rezoluție a imaginii, complexitatea layout-ului), metoda noastră gestionează comprimarea extremă cu pierderi minime de informație.

‘Rezultatele din acest test agresiv solidifică afirmația noastră că comprimarea directă a textului în latentă este o paradigmă fundamental mai eficientă și mai puternică decât omoloagele sale optice.’

Ei conchid, de asemenea, că C3 poate ‘debloca capacități noi în procesarea întregilor cărți, documentelor juridice extinse sau a bazelor de cod mari pentru sarcini precum răspunsurile la întrebări, rezumarea și analiza’.

Concluzie

Acesta este unul dintre cele mai clare și mai accesibile articole pe care le-am întâlnit recent, cu o idee centrală lăudabilă care s-ar putea dovedi a fi cel puțin o linie suplimentară de atac împotriva ‘problemei ferestrei de context’.

Mulți utilizatori ai MLL vor fi învățat până acum să “reîmprospăteze” informații cruciale sau ghiduri periodic pe parcursul unei conversații lungi, după ce au descoperit în mod dur că sisteme precum ChatGPT nu pot reține aceste informații pentru foarte mult timp. Urmând această soluție rapidă și intuitivă, ideea din noul articol este că o versiune foarte comprimată a unei conversații lungi ar putea fi reinjectată automat la intervale în fereastra de context a instanței curente MLL, esențial “amintindu-se prin proxy”.

Într-un climat în care penuria de GPU conduce la o creștere a prețurilor chiar și pe memoria tradițională a calculatorului (cum ar fi DRAM, unde multe sarcini de lucru ale GPU-urilor sunt acum descărcate pentru a sprijini modele mai mari), pare puțin probabil ca hardware-ul gazdă al AI să devină semnificativ mai capacios în viitorul apropiat; prin urmare, abordări inovatoare precum aceasta, care sunt aproape o reluare nostalgică a evoluției algoritmilor de comprimare a datelor fără pierderi din anii 1990, ar putea dovedi a fi necesare pentru a impulsiona performanța înainte.

Mai important, ar fi minunat dacă MLL ar putea menține o conversație coerentă pentru o oră sau mai mult și ar putea, de fapt, să-și amintească despre ce a fost vorba în conversație.

* Instrucțiunile de instalare CLI sunt furnizate, dar nu am timp să încerc să le instalez și nu sunt sigur că depozitul este complet.

^† Cei doi autori sunt menționați ca Fanfan Liu și Haibo Qiu. După cercetarea mea informală, Qiu pare a fi în prezent cercetător la compania de tehnologie chineză Meituan, iar Liu este student masterand la Academia Chineză de Științe. Niciunul dintre ei nu are articolul în cauză listat în istoricul lor. Dacă oricare dintre aceste atribute sunt incorecte, vă rog să mă contactați prin profilul meu.

^††  Deși autorii respectă formula prin furnizarea de teste calitative suplimentare, acestea sunt neiluminante în comparație cu runda anterioară de teste de comprimare, și nu le-am acoperit aici.

Publicat pentru prima dată vineri, 21 noiembrie 2025