Проблема пам’яті штучного інтелекту: чому ефективний довгий контекст змінює все, і що потрібно, щоб зробити це правильно

Колега, який забував кожну попередню розмову в момент її закінчення, не протримався б довго на більшості робочих місць. Однак багато бізнес-штучного інтелекту працює саме так. Сесія закривається, і контекст зникає разом з нею. Споживач, який відправляє одноразові запитання, може майже не помітити цього, але компанія, яка проводить процес, який триває довше однієї сесії, майже одразу ж натикається на межу.

Справжня робота продовжується з однієї сесії до наступної, і рішення, прийняте в четвер, зазвичай спирається на рішення, прийняте в понеділок, з думкою, яка лежить в його основі, і яка потребує виживання між ними. Штучний інтелект, який стирає себе, коли сесія закінчується, може добре працювати всередині цієї сесії і все ж таки нічого не внесе до завдання, яке триває тиждень.

Підприємницький штучний інтелект тихо змінив те, чого він вимагає від моделі. Роки моделі в основному оцінювалися за кількістю знань, які вони засвоїли. Бізнес тепер потребує від них зберігати правильну інформацію на виду під час виконання роботи, можливості, яка вимагає іншого типу ефективної інженерії. На сьогодні можливість зберігати такий рівень постійних знань не була досягнута через велику кількість пам’яті (GPU), обчислювальних ресурсів і вартості, необхідних для масштабування такої можливості. Підтримання прийнятної затримки і рівня галюцинації моделі стає викликом при одночасному використанні, коли використовується великий контекст. Все частіше з’являється запит на такі знання можливості, і не вистачає пам’яті та обчислювальних ресурсів. Тому це питання: як досягти більш точного інтелекту у масштабі з меншою інфраструктурою та відбитком?

Стіл і шафа для документів

Дві речі зазвичай об’єднуються під назвою пам’яті, і вони поводяться достатньо по-різному, так що все подальше залежить від того, щоб їх розрізняти.

Розпочнімо з контекстного вікна, яке визначає, скільки модель може прийняти і над чим вона може розмірковувати за один раз. Воно працює як поверхня столу. Малий стіл приймає кілька сторінок за раз, тому все інше чекає в шухляді і витягується та очищається по мірі руху, тоді як великий стіл дозволяє відкрити весь справу одночасно під час роботи над ним. Все, що лежить на столі, зметається наприкінці дня, кожного дня.

Постійна пам’ять – це шафа для документів біля столу. Система вибирає, що зберігати, і витягує це знову, коли це стане актуальним, так що те, що відбулося цього тижня, може вплинути на те, що вона робить наступного тижня. Цей сховище переноситься між сесіями і потребує власних рішень про те, що зберігати, як організувати це і коли повернути його.

Багато з видимої інженерної роботи було направлено на стіл. Вікна, які раніше тримали кілька тисяч токенів, тепер досягають сотень тисяч, а найбільші моделі від OpenAI і Anthropic досягають мільйона.

Термін для цієї роботи, «інженерія контексту», походила від Tobi Lutke з Shopify і була популяризована Андреєм Карпаті в середині 2025 року. Основна уміння в будь-якій серйозній застосуванні штучного інтелекту, написав Карпаті, полягає в тому, щоб заповнити вікно правильною інформацією для наступного кроку. Його аналогія була апаратною – модель як процесор, вікно як його робоча пам’ять. Практики швидко прийняли цей термін, оскільки вони колись обговорювали цю ідею без ярлика для неї.

Більший стіл не розв’язує проблему пам’яті

Ось де очевидний крок – просто продовжувати збільшувати стіл – зустрічає труднощі.

Дослідники Стенфорда показали в 2024 році, що коли інформація, необхідна моделі, знаходиться в середині довгого входу, її точність різко падає проти того самого факту, розміщеного на початку або в кінці. Вони назвали це «загубленим посередині», і це трималося навіть для моделей, спеціально створених для довгого контексту. Додавання більше інформації перед моделлю, як виявилося, не те саме, що модель надійно використовує її.

Ефект підтвердили інші команди, які пішли на пошуки його, і дослідження 2025 року, яке провело 18 передових моделей проти все довших входів, виявило погіршення продуктивності ще до того, як вікно було навіть заповнено, шаблон, який його автори назвали контекстним гниттям. Збільшення столу і отримання моделі для чистого розмірковування над усім на ньому – це дві окремі проблеми, і перша нічого не робить для розв’язання другої.

Кураторство заробляє більше, ніж місткість

Інженерія контексту виросла в дисципліну на основі цього, з опитуванням 2025 року, яке спирається на понад 1400 робіт, що викладає свої методи, і Gartner радить клієнтам у липні 2025 року пріоритезувати контекст над підказками. Ремесло перейшло від формулювання більш точної інструкції до складання більш точного набору входів для моделі, над яким вона працює.

Більший стіл підвищує ставки щодо того, що ви вибираєте для нього. Наклоніть весь документ на поверхню і кілька сторінок, які мають значення, загубляться серед шуму, суперечностей і застарілих версій, тоді як тісніше відібрані дані, які справді впливають на завдання, дозволяють моделі виконувати помітно краще. Судження лежить у тому, що належить перед моделлю, як воно сформульовано, коли воно з’являється, і що залишається в шафі.

Це саме для чого був створений RAG (ретривальна генерація): розрізання документів на фрагменти та отримання тих, які здаються актуальними, щоб обійти вікно, яке занадто мало, щоб тримати все це. Скажімо, спір щодо договору залежить від одного пункту на сторінці 200. Звичайний підхід розрізує договір на фрагменти і дозволяє системі отримання тих, які здаються актуальними. Якщо сторінка 200 оцінюється як нерелевантна, модель ніколи не бачить пункту.

Вікно, розраховане на весь договір, пропускає крок отримання зовсім і надає моделі пункт разом з усім, що навколо нього. Чи читає модель довгий вхід добре, це проблема надійності з попереднього розділу, і це краща проблема, ніж проблема системи отримання, яка тихо вирішує, що пункт не варто передавати.

Усередині сесії та після неї

Довгий контекст – це те, що дозволяє агенту штучного інтелекту працювати над довгим завданням, а не однією зміною. Агент, який обробляє багатоденний огляд з метою дотримання вимог законодавства або постачальника, тримає все завдання у вікні під час його виконання, так що кожен крок спирається на повний стан завдання. Довге вікно може замінити пам’ять усередині сесії.

Там же закінчується і подібність. Все, що система повинна пам’ятати наступного тижня, після закінчення цієї сесії, повинно жити десь, куди вікно не досягає.

Створення такого роду пам’яті приносить інший набір проблем, багато з яких галузь тільки починає вирішувати. Моя підготовка в галузі психології та нейробіології робить порівняння з людською пам’яттю важко не помітити. Ми не відновлюємо ідеальну реєстрацію події. Кожного разу, коли ми її пам’ятаємо, ми її перебудовуємо, і маленькі помилки можуть поступово стати частиною прийнятої версії. Пам’ять машини може розвивати подібну проблему, коли збережена інформація багаторазово підсумовується, об’єднується або переписується. З часом запис може віддалитися від оригінальної події, якщо хтось не перевіряє його, виправляє помилки і видаляє інформацію, яка стала ненадійною.

Багато компаній, які розгортають ці системи, ще не зустрілися з цими проблемами, і мало хто з них близький до їх розв’язання. Що я б спостерігав у постачальника, так це не розмір вікна, яке вони рекламують. Модель, яка тримає 10 мільйонів токенів, нічого не коштує, якщо більшість того, що вона тримає, застаріло, нерелевантно або неправильно. Її відповіді можуть виглядати добре обґрунтованими, спираючись на матеріал, якому бізнес ніколи не повинен був довіряти. Що заробляє гроші, так це судження про те, що зберігати, і можливість точно розмірковувати над усією інформацією, на частині інфраструктурної вартості та відбитку. Це робить більше з меншим, і не всі більші вікна мають цю справжню можливість.