MemPalace Мілли Йовович прагне розв’язати проблему пам’яті ШІ

Мільйони людей щодня відкривають вікно чату та починають пояснювати свою ситуацію штучному інтелекту (ШІ). Він уважно слухає, миттєво генерує відповідь, яка звучить розумно, а потім, коли сесія закінчується, забуває кожну деталь про взаємодію.

Масштаб цього ритуалу вражаючий. Сам ChatGPT обробляє понад один мільярд запитів на добу, з більш ніж 800 мільйонами активних користувачів на тиждень станом на кінець 2025 року. Прийняття генеративного ШІ досягло понад 16% населення світу, тоді як три роки тому його використання ще не мало значного масштабу.

Цю модель підтримує величезна інфраструктура зі зростаючою екологічною ціною: американські центри даних спожили 183 терават-години електроенергії у 2024 році, що становить понад 4% загального споживання електроенергії в країні, або приблизно дорівнює річному споживанню електроенергії в Пакистані.

Через відсутність пам’яті у систем ШІ великий відсоток цієї енергії витрачається на відновлення контексту. Повторні пояснення, повторне введення проєктів та контекстні дані на початку кожної сесії – це марна обчислювальна діяльність.

Пам’ять – це те, що перетворює інструмент на співробітника

Помічники ШІ не мають довготривалої пам’яті за замовчуванням. Це не мало б значення, якщо б ми використовували ШІ як калькулятор: ввели число, отримали результат, перейшли далі.

Але більшість людей зараз не використовують його таким чином. Вони ведуть довгі, ітеративні, глибоко контекстні розмови зі ШІ – створюють щось протягом тижнів або місяців, розвивають спільну мову, прийняття рішень та історію. Обсяг контексту, який ШІ може активно утримувати в будь-який момент, може відрізнятися залежно від рівня підписки.

До цього часу ШІ виявився чудовим інструментом, але з ранніх стадій розвитку він мав на меті бути компаньйоном. Ця амбіція вимагає пам’яті. Без неї прогрес буде продовжувати скидуватися.

Довготривала пам’ять змінює те, що ШІ може робити на практиці. Розробник отримує ШІ, який зберігає архітектурні рішення та їхнє обґрунтування. Команда отримує ШІ, який знає історію проєкту без повторного брифінгу. Письменник отримує ШІ, який накопичив знання про роботу цього письменника з часом. Можливості моделі мають менше значення, ніж те, чи може вона справді накопичувати знання про людину, яка нею користується.

Чому це було складно розв’язати

Проблема полягає не лише у зберіганні, а й у пошуку інформації. Теоретично можна подати кожну попередню розмову в нову сесію. Але це швидко стає обчислювально абсурдним. Контекстні вікна, хоча й розширюються, не є нескінченними. Заливання місяців неструктурованого чату в промпт не тільки неефективне, але й витратне за часом та енергією.

Парас Пандей, інженер даних, висловлює основну складність просто: “Пам’ять ШІ – це насправді проблема точності пошуку інформації, маскована під проблему зберігання. Ви можете постійно зберігати будь-що; складність полягає в тому, щоб під час інференсу знайти правильний фрагмент, не заповнюючи прогалини вигаданою інформацією. Це складніша версія того, що ми намагаємося розв’язати в системах даних уже багато років, і ця галузь все ще на ранній стадії.”

Поточні підходи до пам’яті ШІ полягають у тому, щоб дозволити системам вирішувати, що варто пам’ятати. Але дозволити ШІ вирішувати, що має значення, часто призводить до втрати саме того контексту з тонкими нюансами, який зробив первинну розмову цінною. Ви зберігаєте загальну ідею, але втрачаєте всю розмову, в якій ви пояснювали свої конкретні проблеми та альтернативи, які ви розглядали та відкинули.

Ідеальний сценарій полягав би у тому, щоб зробити правильну інформацію доступною в потрібний момент.

Проєкт МемПалас

Це саме проблема, на яку спрямований МемПалас, нещодавно випущений проєкт із відкритим кодом. Замість того, щоб підсумовувати чи відкидати, він зберігає розмови повністю та створює навігаційну структуру навколо них, запозичуючи з давньогрецької техніки палацу пам’яті, де оратори подумки розміщували ідеї в конкретних кімнатах уявної будівлі, щоб пізніше їх згадати.

МемПалас вирізняється не лише елегантністю підходу. Це результати. У стандартних академічних бенчмарках для пошуку інформації в пам’яті ШІ МемПалас показав найвищі результати, які були коли-небудь опубліковані для безкоштовної системи, і досягає цього, працюючи повністю на вашому обладнанні, без підписки, без залежності від хмари та без зовнішнього API.

Конкурентні комерційні послуги вимагають оплати від 20 до 250 доларів на місяць за порівнянну, а часто гіршу функціональність.

Ця комбінація найкращої у своєму класі продуктивності, повністю локальної роботи та цілковитої безкоштовності є досить незвичайною, щоб їй було варто приділити увагу. І оскільки він працює на вашому обладнанні, а не на віддалених серверах, кожен запит, який ви маршрутизуєте через МемПалас, – це той, який не додається до зростаючого енергетичного реєстру галузі центрів даних.

Більша картина

МемПалас – це один проєкт, але він вказує на щось більше: визнання того, що довготривала пам’ять не є преміум-додатком до систем ШІ, а фундаментальною особливістю для нових випадків використання ШІ.

Проєкт був створений маленькою командою, Міллою Йовович (так, актрисою з Resident Evil), Беном Сігманом та Клодом, і, згідно з наведеним переліком, має лише сім комітів.

Те, що система, яка перевершує комерційні продукти з окремими спеціалізованими інженерними командами, виникла з такого скромного зусилля, говорить про те, де лежить справжня складність.

Проблема не полягала в комп’ютерах чи ресурсах. Це була ясна модель того, що пам’ять насправді повинна робити.