Навчання забувальної штучної інтелекту «Тримати цю думку» довше

Моделі мови часто не можуть запам’ятати початок розмови. Новий метод стиснення тексту може змінити це і зробити сеанси штучної інтелекту значно менш дратівливими.

Системи розмовної штучної інтелекту, такі як ChatGPT, часто гублять слід раніше частини розмови, повторюючи себе або давши відповіді, які ігнорують раніше домовлені правила.

Це відбувається через те, що великі мови моделі (LLM) мають обмежену здатність фокусуватися, визначену як ‘контекстне вікно’ уваги – як ліхтар, який може освітити тільки те, на що він безпосередньо спрямований, і кілька сусідніх об’єктів.

Виправлення таких «амнезійних» тенденцій, які спричинені цими обмеженнями уваги, є одним з найважливіших напрямків досліджень мовних моделей штучної інтелекту – не в останню чергу тому, що цей синдром значно обмежує можливість корисних і послідовних багаторазових розмов, і обмежує корисність LLM у різноманітних контекстах, критичних для точності, таких як медицина і право.

Розгром

Нові дослідження з Китаю^† пропонують новий метод зробити значно більшу кількість тексту помістити у обмежені ресурси графічного процесора, який працює з моделлю штучної інтелекту – з результатами, які досягають 20-разового покращення стиснення при збереженні 98% точності:

Каскадне стиснення контексту реконструює довгі документи більш точно, ніж оптичні методи стиснення, такі як DeepSeek-OCR, навіть коли вхід зменшується до чотирьох десятків разів. На різних довжинах документів і налаштуваннях стиснення новий метод підтримує майже ідеальну точність, тоді як оптичний підхід погіршується під вищим стисненням. Джерело

З точністю 93%, яка знаходиться в межах робочих параметрів, стиснення тексту може навіть досягти 40-разового співвідношення стиснення:

Три підходи до стиснення довгого тексту для входу моделі мови: базовий метод (ліворуч) токенізацією тексту безпосередньо, що дає велику кількість токенів; оптичний шлях (центр) перетворює текст у зображення та витягує візуальні вкладення за допомогою трансформатора бачення, досягнувши 10-разового стиснення; і новий метод C3 (праворуч) використовує малий мовний модель для стиснення тексту лише у 32 латентні токени, отримуючи 40-разове стиснення без використання візуальних кодувань.

Це означає, що вся довжина навіть дуже довгої розмови може бути стиснута і повторно введена (оновлена) на інтервалах у обмін як контекстна інформація, пізніше в чаті – коли LLM звичайно забуває раніше відомі факти та ковзає у «амнезійну» поведінку.

Хоча це є втратний метод стиснення, навіть той спосіб, яким відбувається втрата, є корисним: під новим методом пам’ять погіршується у кінці речення, а не рівномірно по всьому, як у DeepSeek-OCR архітектурі, яка надихнула новий підхід; фактично, дослідники за новою статтею пропонують, що їхній метод погіршується тим же чином, що і справжня людська пам’ять, а не випадково:

Верх, людська пам’ять погіршується у кінці потоку даних; середній: DeepSeek-OCR погіршується випадково, залишаючи keine якорі, які могли б допомогти у виправленні питання; низ: новий метод погіршується тим же чином, що і людська пам’ять, до завершення потоку даних, пропонуючи маркери, які можуть допомогти покращити точність за допомогою пост-фактум обробки.

Це означає, що можна передбачити де запам’ятована інформація може бути менш надійною, і використовувати цю інформацію для вирішення проблеми – потенційно пропонуючи величезне покращення у розмовній пам’яті та узгодженості, з 100% точністю після виправлення.

Новий підхід називається Каскадне стиснення контексту (C3), і є натхненим тим, як DeepSeek-OCR стискає текст як зображення, досягнувши великого рівня стиснення. Однак, використовуючи дві (середні та великі) мовні моделі для стиснення довгого тексту безпосередньо у латентні вкладення, новий підхід виключає тягар, спричинений використанням растрових зображень, тим самим досягнувши покращеної продуктивності.

Стаття зазначає:

‘Видатна продуктивність C3 можна віднести до його фундаментальної архітектурної конструкції. Аналіз DeepSeek-OCR припускає, що його продуктивність погіршується через фактори, такі як “складна структура” і “розмиття зображення на нижчих роздільностях” – вбудовані обмеження оптичного шляху.

‘Наш парадигма C3, діючи безпосередньо у текстовому домені, повністю імунний до цих візуальних доменних артефактів. Він уникнув втрати інформації, пов’язаної з відтворенням тексту у пікселі та подальшим кодуванням цих пікселів. Замість цього він використовує потужне семантичне розуміння попередньо натренованої LLM для витягування текстової інформації безпосередньо у ефективне латентне представлення.’

Нова стаття називається Каскадне стиснення контексту: дослідження верхніх меж текстового стиснення, і походить від двох авторів^†, які, як видається, також пропонують C3 як відкритий репозиторій на GitHub.

Метод

Для розуміння нового підходу корисно знати, що таке оптичне розпізнавання символів (OCR), оскільки це саме те місце, звідки виникла вся ідея.

OCR – це алгоритмічний метод, який сягає 1920-х років, хоча й був популяризований у 1990-х роках, де метод виявлення закономірностей дозволяє комп’ютерній програмі перетворити растровий текст (тобто текст всередині зображень, який не може бути вибраний і який існує лише як фотографічний вміст) у редагований текст.

Створники DeepSeek-OCR виявили, що текст можна стиснути значно більше, ніж стандартні трубопроводи, використовуючи OCR як проміжну стадію. Інакше кажучи, замість стиснення тексту сам по собі, можна досягти більшої густини латентних вкладень (тобто більшої кількості збереженої інформації) стиснувши растеризовану версію цього тексту:

З паперу про випуск DeepSeek-OCR, схема трубопроводу стиснення, включаючи 16×16 растеризовані патчі як компонент OCR. Джерело

Нова стаття пропонує, що оптичні підходи, такі як DeepSeek-OCR, можуть неправильно приписувати джерело своїх здобутків у стисненні. Замість того, щоб зміна з тексту на зображення була основним фактором, автори пропонують, що ключова вигода походить від перетворення розгорнутих текстових токенів у більш ефективні латентні представлення.

Для перевірки цього вони створили трубопровід, який використовує дві мовні моделі: меншу Qwen2.5 1.5B, яка функціонує як кодувальник, стискаючи довгі пасажі у малий набір латентних токенів; і більшу Qwen2.5 3B, яка функціонує як декодувальник, реконструюючи оригінальний текст з цих токенів:

У новій системі C3 менша модель Qwen2.5 1.5B стискає довгий вхід у фіксований набір латентних токенів, використовуючи треновані запитні вкладення. Ці токени, разом з промптом, передаються великій моделі Qwen2.5 3B, яка реконструює оригінальний текст. Ця архітектура дозволяє високоточну пам’ять довгих послідовностей, використовуючи лише частину оригінальної кількості токенів.

Для обробки стадії стиснення дослідники адаптували попередньо натреновану модель Qwen2.5 1.5B, введши треновані запитні вкладення: абстрактні промпти, які спрямовують модель у витягуванні входної довгої контексту у значно менше латентне представлення.

Замість зміни архітектури метод просто подає довгий текст і запитні вкладення разом як єдиний вхід. Механізм самоуваги моделі обробляє ці елементи ідентично, дозволяючи йому виводити фіксований латентний контекст без потреби нових шарів або змін дизайну; і цей вихід потім передається великій моделі для реконструкції.

Для оцінки того, скільки інформації вижило після стиснення, дослідники інструктували декодувальник Qwen2.5 3B реконструювати оригінальний вхід, використовуючи лише латентні токени, і промпт ‘повторити текст’. Оскільки завдання полягало у точній репродукції, а не у підсумку чи парафразі, будь-яке відхилення від оригіналу могло бути безпосередньо пов’язано з інформацією, втраченою під час стиснення, пропонуючи чистий і об’єктивний тест на вірність у трубопроводі кодування-декодування.

Дані та тести

Стаття зазначає, що автори скомпільовали оригінальний набір даних з матеріалів OCR, який нараховує мільйон сторінок, отриманих з інтернету. Не видно жодних додаткових подробиць щодо цього джерела, і автори здаються намагаються бути невиразними щодо цього питання.

Натомість вони спостерігають, що інженерія даних і кураторство були непотрібними для їхніх цілей, і що вони змогли ефективно натренувати свою модель на зразках «різної довжини»; і вони заявляють, що це свідчить про те, що їхня архітектура є стійкою (і, відповідно, добре генералізованою, залежно від налаштувань тренування).

Модель була натренована на високопродуктивному кластері, який складається з восьми графічних процесорів NVIDIA H800, кожний з яких оснащений 80 ГБ відеопам’яті, загальним ресурсом відеопам’яті 640 ГБ. Кожен графічний процесор міг вмістити батч-розмір 2, що дало загальний глобальний батч-розмір 256, враховуючи 16 акумулятивні кроки, заплановані. Оптимізатором був AdamW, за загалом 40 000 кроків.

Для перевірки ефективності архітектури C3 дослідники слідували тій же схемі оцінки, яку використовували у原始ній статті DeepSeek-OCR, використовуючи бенчмарк Fox для вимірювання стиснення та точності реконструкції на різних довжинах документів.

Були вибрані англійськомовні тексти, з пасажами, що варіюються від 600 до 1300 токенів, з токенізацією, виконаною за допомогою токенізатора Qwen.

Для забезпечення справедливого порівняння були використані еквівалентні рівні стиснення з (DeepSeek-OCR) оптичного базового рівня, з 64 і 100 латентними токенами. Для дослідження меж методу були проведені додаткові тести, використовуючи лише 32 латентні токени. У кожному випадку реконструкція ініціювалася інструкцією ‘повторити текст:’:

Результати першого тесту. Точність реконструкції та співвідношення стиснення були виміряні по сімом діапазонам токенів, використовуючи 64 і 100 латентних токенів, демонструючи послідовне перевершення C3 над DeepSeek-OCR, особливо на вищих рівнях стиснення.

Обговорюючи результати першого тесту, зазначені вище, стаття зазначає:

‘Дані недвозначно демонструють, що парадигма C3 значно перевершує оптичний підхід до стиснення у всіх тестованих умовах, встановлюючи новий стан мистецтва у високоточному контекстному стисненні.’

Коли обидві системи були протестовані на довших документах, DeepSeek-OCR почала втрачати точність при збільшенні стиснення, впавши нижче 60% у найбільш крайньому випадку. C3 обробила той же рівень стиснення з значно меншою втратою, тримаючи стабільність біля 98%, навіть коли вхід був зменшений до двадцятої частини свого оригінального розміру.

У найбільш вимогливому тесті повні тексти були зменшені до лише 32 токенів. Навіть тоді модель змогла відновити майже весь оригінальний вміст, зберігаючи точність близько 99% у багатьох випадках:

Точність реконструкції та співвідношення стиснення при 32 латентних токенах, демонструючи, що навіть при екстремальних скороченнях (до майже 40-разового) точність залишається вище 93%.

На найбільш крайньому налаштуванні, коли вхід був стиснутий майже до сорокової частини свого оригінального розміру, він все ще відновлював понад 93%. Для порівняння, попередні оптичні методи впали до близько 60% точності на половині того рівня стиснення.

Автори заявляють^††:

‘Ці результати недвозначно демонструють перевагу архітектури C3. Використовуючи уникнення інформаційних瓶ключів і потенційних артефактів, вбудованих у візуальний модальність (наприклад, обмеження роздільності зображення, складність макету), наш метод бездоганно обробляє екстремальне стиснення з мінімальною втратою інформації.

‘Результати з цього агресивного тестового випадку підтверджують нашу заяву, що прямий текст-латентне стиснення є фундаментально більш ефективним і потужним парадигмою, ніж його оптичні аналоги.’

Вони також роблять висновок, що C3 може ‘розблокувати нові можливості обробки цілком книг, обширних юридичних документів або великих кодових баз для завдань, таких як відповіді на питання, підсумки та аналіз’.

Висновок

Це одна з найясніших і найдоступніших статей, з якими я зустрівся останнім часом, з комендабельно яскою основною ідеєю, яка може виявитися хоча б додатковим напрямком атаки проти проблеми «контекстного вікна».

Багато користувачів LLM дізналися, що їм потрібно «оновлювати» важливу інформацію або керівні принципи періодично протягом довгої розмови, відкривши важливим шляхом, що такі системи, як ChatGPT, не можуть зберігати цю інформацію надто довго. Слідуючи за цим інтуїтивним швидким рішенням, ідея, представлена у новій статті, полягає у тому, що висококомпресований варіант довгої розмови можна повторно ввести (оновити) на інтервалах у контекстне вікно поточної інстанції LLM, фактично «запам’ятовуючи за допомогою проксі».

У кліматі, де нестача графічних процесорів призводить до ралі ціни навіть на традиційну комп’ютерну пам’ять (таку як DRAM, де багато колишніх графічних процесорних робочих потоків тепер вивантажуються для підтримки більших моделей), здається малоймовірним, що апаратне забезпечення штучної інтелекту значно збільшиться в найближчому майбутньому; тому інноваційні підходи, такі як цей, які є майже ностальгічним повторенням еволюції стиснення файлів 1990-х років, можуть виявитися необхідними для руху продуктивності вперед.

Що ще важливіше, було б просто чудово, якщо LLM могли б підтримувати узгоджену розмову протягом години або більше, і фактично пам’ятати, про що йшла розмова спочатку.

* Інструкції з установки CLI надаються, але я не маю часу спробувати встановити, і не впевнений, чи репозиторій коду повний.

^† Два автори зазначені як Fanfan Liu і Haibo Qiu. За тимчасовими дослідженнями Qiu зараз є дослідником у китайській технологічній компанії Meituan, а Liu є магістрантом у Китайській академії наук. Немає жодних свідчень, що будь-яка з цих статей зараз перераховується в їхніх історіях. Якщо будь-яка з цих атрибуцій є неправильною, будь ласка, зв’яжіться зі мною через мій профіль.

^†† Хоча автори дотримуються формули, надаючи додаткові якісні тести, вони менш інформативні порівняно з попереднім раундом тестів на стиснення, і я не висвітлив їх тут.

Перше опубліковано у п’ятницю, 21 листопада 2025 р.