Učení zapomnětlivého AI, aby „držel myšlenku“ déle

Modely jazyka často nedokážou zapamatovat začátek konverzace. Nová metoda komprese textu by mohla tento problém vyřešit a učinit konverzace s AI mnohem méně frustrujícími.

Systémy konverzačního AI, jako je ChatGPT, často ztrácejí přehled o dřívějších částech konverzace, opakují se, nebo poskytují odpovědi, které ignorují dříve dohodnutá pravidla.

To je způsobeno tím, že Large Language Models (LLM) mají omezenou schopnost soustředit se, definovanou jako ‘kontextové okno’ pozornosti – jako světlo, které může osvětlit pouze to, na co je přímo zaměřeno, a několik přilehlých objektů.

Opravování takových „zapomnětlivých“ tendencí, které jsou způsobeny omezeními pozornosti, je jedním z nejdůležitějších směrů výzkumu jazykových modelů založených na AI – nejen proto, že tento syndrom závažně omezuje možnost užitečných a konzistentních multi-obratových konverzací a omezují užitečnost LLM ve variety kontextů kritických pro přesnost, jako je medicína a právo.

Rozdrtit to

Nový výzkum z Číny^† navrhuje novou metodu, která umožňuje uložit mnohem větší množství textu do omezených zdrojů GPU, na kterém běží model AI – s výsledky, které dosahují 20násobného zlepšení komprese a zachování 98% přesnosti:

Context Cascade Compression (C3) rekonstruuje dlouhé dokumenty přesněji než optické kompresní metody, jako je DeepSeek-OCR, i když se vstup zmenšuje až o čtyřicetkrát. Across a range of document lengths and compression settings, the new method maintains near-perfect fidelity, while the optical approach degrades sharply under higher compression. Source

S přesností 93%, která je v rámci pracovních parametrů, může komprese textu dokonce dosáhnout 40násobného kompresního poměru:

Tři přístupy ke kompresi dlouhého textu pro vstup modelu jazyka: základní metoda (vlevo) tokenizuje text přímo, výsledkem je velký počet tokenů; optická cesta (střed) převádí text na obrázek a extrahuje vizuální vložky pomocí Vision Transformer, dosahuje 10násobné komprese; a nová metoda C3 (vpravo) používá malý jazykový model ke kompresi textu do pouze 32 latentních tokenů, dosahuje 40násobné komprese bez použití vizuálních kódování.

To znamená, že celá dlouhá konverzace může být komprimována a re-injektována (aktualizována) v intervallech do kontextu informací, později v chatu – když by se LLM normálně „zapomínal“ dřívějších faktů a sklouzával do „zapomnětlivého“ chování.

Přestože se jedná o ztrátovou kompresní metodu, je způsob, jakým dochází ke ztrátě, užitečný: novou metodou se paměť degraduje na konce věty, a ne rovnoměrně po celé délce, jako u DeepSeek-OCR architektury, která inspirovala novou metodu; ve skutečnosti autoři za novým článkem navrhují, že jejich metoda degraduje stejným způsobem jako skutečná lidská paměť, a ne náhodně:

Nahoře, lidská paměť degraduje na konci datového proudu; prostředně: DeepSeek-OCR degraduje náhodně, nezbývá žádný kotva, který by mohl pomoci při řešení problému; dole: nová metoda degraduje stejným způsobem jako lidská paměť, směrem ke konci datového proudu, nabízí značky, které mohou pomoci při zlepšení přesnosti prostřednictvím post-facto zpracování.

To znamená, že lze předpovědět, kde zapamatovaná data mohou být méně spolehlivá, a použít tuto znalost k řešení problému – potenciálně nabízející velké zlepšení konverzační paměti a koherence, s 100% přesností po opravě.

Nová metoda se nazývá Context Cascade Compression (C3), a je inspirována způsobem, jakým DeepSeek-OCR komprimuje text jako obrázky, dosahující velkých kompresních úrovní. Nicméně, pomocí dvou (středních a velkých) jazykových modelů ke kompresi dlouhého textu přímo do latentních vložek, nová metoda eliminuje tření způsobené použitím rastrových obrázků, dosahující tak lepšího výkonu.

Článek uvádí:

‘Výkon C3 lze připsat jeho fundamentální architektonické koncepci. Analýza DeepSeek-OCR předpokládá, že jeho výkonový pokles je způsoben faktory, jako je “komplikovaná struktura” a “rozostření obrázků při nižších rozlišení” – vrozená omezení optické cesty.

‘Naše paradigma C3, fungující přímo v textovém doméně, je zcela imunní vůči těmto vizuálním artefaktům. Vyhněme se informační ztrátě spojené s vykreslováním textu do pixelů a následným kódováním těchto pixelů. Místo toho využíváme předem trénovaný LLM k přímé destilaci textové informace do efektivní latentní reprezentace.’

Nový článek se nazývá Context Cascade Compression: Exploring the Upper Limits of Text Compression, a pochází od dvou autorů^†, kteří také nabízejí C3 jako open-source repozitář na GitHubu.

Metoda

Abychom pochopili novou metodu, je užitečné vědět, co je optické rozpoznávání znaků (OCR), protože tato myšlenka vychází z tohoto konceptu.

OCR je algoritmická metoda, která sahá do 20. let, i když se stala populární v 90. letech, kde detekce vzorů umožňuje počítačovému programu převést rastrový text (tj. text uvnitř obrázků, který nelze vybrat a který existuje pouze jako fotografický obsah) na editovatelný text.

Vytvořitelé DeepSeek-OCR objevili, že text lze komprimovat mnohem více než standardní potrubí pomocí OCR jako mezistupně. Jinými slovy, místo komprese textu samotného lze dosáhnout větší hustoty latentních vložek (tj. více informací uložených) komprimací rastrové verze textu:

Z článku DeepSeekOCR, schema kompresního potrubí, včetně 16×16 rastrových patche jako OCR komponent. Source

Nový článek navrhuje, že optické přístupy, jako je DeepSeek-OCR, mohou mylně přisuzovat zdroj svých kompresních zisků. Místo toho, aby se posun z textu na obrázek stal primárním faktorem, autoři předpokládají, že klíčový benefit pochází z převodu verbose textových tokenů na více efektivních latentních reprezentací.

Aby otestovali tuto hypotézu, vytvořili potrubí, které využívá dva jazykové modely: menší Qwen2.5 1.5B, který funguje jako encoder, komprimující dlouhé pasáže do malého souboru latentních tokenů; a větší Qwen2.5 3B, který funguje jako decoder, rekonstruující původní text z těchto tokenů:

V novém systému C3, menší Qwen2.5 1.5B model komprimuje dlouhý vstup do fixního souboru latentních tokenů, pomocí trénovatelných dotazovacích vložek. Tyto tokeny, spolu s promptem, jsou předány většímu Qwen2.5 3B modelu, který rekonstruuje původní text. Tato architektura umožňuje vysokou fidelitu recallu dlouhých sekvencí pomocí pouze zlomek původního počtu tokenů.

Pro zpracování kompresní fáze autoři adaptovali předem trénovaný Qwen2.5 1.5B model, zavádějí trénovatelné dotazovací vložky: abstraktní prompty, které vedou model k destilaci vstupního dlouhého kontextu do mnohem menší latentní reprezentace.

Rather než modifikovat architekturu, metoda jednoduše předává dlouhý text a dotazovací vložky společně jako jeden vstup. Modelova sebe-pozornost mechanismus zachází s těmito prvky identicky, umožňující mu výstup fixního latentního kontextu bez potřeby nových vrstev nebo změn designu; a tento výstup je pak předán většímu modelu pro rekonstrukci.

Aby vyhodnotili, kolik informací přežije kompresi, autoři instruovali Qwen2.5 3B decoder, aby rekonstruoval původní vstup pomocí pouze latentních tokenů a promptu ‘zopakovat text’. Protože úkolem bylo přesně reprodukovat, spíše než shrnout nebo parafrázovat, jakékoli odchylky od původního textu mohly být přímo spojeny s informacemi ztracenými během komprese, nabízející čistou a objektivní zkoušku fidelitní přes kompresní potrubí.

Data a testy

Článek uvádí, že autoři sestavili originální dataset OCR materiálu, který čítá milion stránek získaných z internetu. Žádné další podrobnosti nejsou zřejmé o tomto zdroji, a autoři zdají se být záměrně vágní na tomto bodě.

Přestože autoři pozorují, že inženýrství a kurace dat nebyly nezbytné pro jejich účely, a že byli schopni trénovat svůj model efektivně na vzorcích „různé délky“; a uvádějí, že to naznačuje, že jejich architektura je odolná (a tím pádem dobře generalizovaná, v závislosti na trénovacích nastaveních).

Model byl trénován na high-performance clusteru skládajícím se z osmi NVIDIA H800 GPU, každý vybavený 80GB VRAM, pro celkovou VRAM kapacitu 640GB. Každý GPU akomoduje velikost batche 2, získávající celkovou globální velikost batche 256, při zohlednění 16 akumulačních kroků naplánovaných. Optimizér byl AdamW, po celkovém počtu 40 000 kroků.

Aby otestovali účinnost architektury C3, autoři následovali stejnou evaluaci nastavení, jako v původním článku DeepSeek-OCR, menggunakan Fox benchmark pro měření komprese a rekonstrukční přesnosti napříč různými délkami dokumentů.

Anglické texty byly vybrány, s pasážemi sahajícími od 600 do 1300 tokenů, s tokenizací provedenou pomocí Qwen tokenizeru.

Aby umožnili spravedlivé srovnání, byly použity ekvivalentní úrovně komprese z (DeepSeek-OCR) optické základny, s 64 a 100 latentními tokeny. Aby prozkoumali limity metody, byly provedeny další testy pomocí pouze 32 latentních tokenů. Ve všech případech byla rekonstrukce zahájena instrukcí ‘zopakovat text:’:

Výsledky z počátečního testu. Rekonstrukční přesnost a kompresní poměry byly měřeny napříč sedmi rozsahy tokenů pomocí 64 a 100 latentních tokenů, ukazující konzistentní převahu C3 nad DeepSeek-OCR, zejména při vyšších úrovních komprese.

Diskutují o počátečních výsledcích zobrazených výše, článek uvádí:

‘Data jasně ukazují, že C3 přímá text-to-latent kompresní paradigma významně převyšuje optickou kompresní metodu napříč všemi testovanými podmínkami, ustanovující nový stav umění v high-fidelity kontextové kompresi.’

Když byly oba systémy testovány na delších dokumentech, DeepSeek-OCR začal ztrácet přesnost, když se komprese zvýšila, klesající pod 60% v nejextrémnějším případě. C3 zvládl stejnou úroveň komprese s mnohem menší ztrátou, držící se poblíž 98%, i když vstup byl zmenšen na jednu dvacetinu své původní velikosti.

V nejnáročnějším testu, kdy byly plné texty zmenšeny na pouhých 32 tokenů, model stále dokázal obnovit téměř celý původní obsah, držící se přesnosti blízké 99% ve mnoha případech:

Rekonstrukční přesnost a kompresní poměry při 32 latentních tokenů, ukazující, že i při extrémních redukcích (až 40x) přesnost zůstává nad 93%.

Při nejextrémnějším nastavení, kdy vstup byl komprimován na téměř jednu čtyřicátinu své původní velikosti, stále dokázal rekonstruovat přes 93%. Pro srovnání, dřívější optické metody klesly na asi 60% přesnosti při polovině této úrovně komprese.

Autoři uvádějí^††:

‘Tyto nálezy jasně prokazují výhodu architektury C3. Vyhněme se informačním úzkým místům a potenciálním artefaktům, které jsou inherentní pro vizuální modalitu (například omezení rozlišení, složitost layoutu), naše metoda zvládá extrémní kompresi s minimální ztrátou informací.

‘Výsledky z tohoto agresivního testovacího případu upevňují náš závěr, že přímá text-to-latent komprese je fundamentálně efektivnější a silnější paradigma než jeho optické protějšky.’

Také uzavírají, že C3 může ‘odemknout nové schopnosti při zpracování celých knih, rozsáhlých právních dokumentů nebo velkých kódových základů pro úkoly, jako je otázka-odpověď, shrnutí a analýza’.

Závěr

Tento článek je jedním z nejjasnějších a nejpřístupnějších, které jsem nedávno četl, s komendačně jasnou základní myšlenkou, která by mohla být alespoň další linií útoku proti „kontextovému oknu problému“.

Mnozí uživatelé LLM budou muset se naučit „obnovovat“ kritické informace nebo pokyny periodicky po celou dlouhou konverzaci, poté, co objevili tvrdým způsobem, že systémy, jako je ChatGPT, nemohou tyto informace uchovat po dlouhou dobu. Následující instinktivní rychlé řešení spočívá v tom, že vysoce komprimovaná verze dlouhé konverzace by mohla být re-injektována (aktualizována) v intervalech do kontextu informací, později v chatu – když by se LLM normálně „zapomínal“ dřívějších faktů a sklouzával do „zapomnětlivého“ chování.

V klimatu, kde je nedostatek GPU vedoucí k růstu cen i na tradiční počítačovou paměť (jako je DRAM, kde jsou nyní many former GPU workloads offloaded, aby podpořily větší modely), zdá se nepravděpodobné, že hardware hostující AI se stane významně kapacitnějším v blízké budoucnosti; proto inovativní přístupy, jako je tento, které jsou téměř nostalgickou reprise 90. let evoluce komprese souborů, mohou být nezbytné pro posun výkonu vpřed.

Ještě důležitější je, že by bylo skvělé, kdyby LLM mohl udržet koherentní konverzaci po dobu jedné hodiny nebo déle a skutečně si pamatovat, o čem byla konverzace.

* Pokyny pro instalaci CLI jsou uvedeny, ale nemám čas se pokusit o instalaci, a nejsem si jist, zda je repozitář kódově kompletní.

^† Dva autoři jsou uvedeni jako Fanfan Liu a Haibo Qiu. Podle povrchního výzkumu Qiu je目前 výzkumník v čínské technologické společnosti Meituan, a Liu je student magisterského studia na Čínské akademii věd. Žádný z nich nemá článek v otázce uveden ve svých historiích. Pokud jsou tyto atribuce nesprávné, kontaktujte mě prostřednictvím mého profilu.

^††  Autoři dodržují formuli, poskytují další kvalitativní testy, které jsou však ve srovnání s dřívějšími kompresními testy neosvětlující, a já je zde nezahrnul.

Poprvé zveřejněno v pátek, 21. listopadu 2025