Проект МемПалас Мілли Йовович: розв’язання проблеми пам’яті штучного інтелекту

Мільйони людей щодня відкривають вікно чату та починають розмову зі штучним інтелектом (ШІ). Він уважно слухає, миттєво генерує розумну відповідь, а потім, коли сесія закінчується, забуває кожну деталь про взаємодію.

Масштаб цього ритуалу вражаючий. Сам ChatGPT обробляє понад один мільярд запитів на добу, з більш ніж 800 мільйонами активних користувачів на тиждень станом на кінець 2025 року. Прийняття генеративного ШІ досягло понад 16% населення світу, число, яке три роки тому не існувало.

Цьому моделі підтримує величезна інфраструктура з зростаючою екологічною ціною: американські центри даних спожили 183 терават-години електроенергії у 2024 році, що становить понад 4% загального споживання країни, або приблизно дорівнює річному споживанню електроенергії в Пакистані.

Через відсутність пам’яті у систем ШІ великий відсоток цієї енергії витрачається на відновлення контексту. Повторні пояснення, повторне введення проєктів та контекстні дані на початку кожної сесії – це марна обчислювальна діяльність.

Пам’ять – це те, що перетворює інструмент на співробітника

Помічники ШІ не мають довготривалої пам’яті за замовчуванням. Це не мало б значення, якщо б ми використовували ШІ як калькулятор: ввели число, отримали результат, перейшли далі.

Але більшість людей зараз не використовують його таким чином. Вони ведуть довгі, ітеративні, глибоко контекстні розмови зі ШІ – створюють щось протягом тижнів або місяців, розвивають спільну мову, прийняття рішень та історію. Кількість контексту, який ШІ може активувати в будь-який момент часу, залежить від рівня підписки.

До цього часу ШІ виявився чудовим інструментом, але з ранніх стадій розвитку він мав на меті бути компаньйоном. Ця амбіція вимагає пам’яті. Без неї прогрес буде продовжувати скидуватися.

Довготривала пам’ять змінює те, що ШІ може робити на практиці. Розробник отримує ШІ, який зберігає архітектурні рішення та їхнє обґрунтування. Команда отримує ШІ, який знає історію проєкту без повторного брифінгу. Письменник отримує ШІ, який накопичив знання про свою роботу з часом. Можливості моделі мають менше значення, ніж те, чи може він фактично накопичувати знання про людину, яка ним користується.

Чому це було складно розв’язати

Виходило не тільки питання зберігання, а й відновлення. Теоретично можна подати кожну попередню розмову в нову сесію. Але це швидко стає обчислювально абсурдним. Контекстні вікна, хоча й розширюються, не є нескінченними. Заливання місяців неконтрольованого чату в промпт не тільки неефективне, але й витратне за часом та енергією.

Парас Пандей, інженер-дані, висловлює основну складність просто: “Пам’ять ШІ – це насправді проблема вірності відновлення, маскована під проблему зберігання. Ви можете зберігати все, що складно, це відновлення правильного шматка в час інференції без галюцинації прогалин. Це складніша версія того, що ми розв’язували в системах даних протягом років, і ця галузь все ще на ранній стадії.”

Поточні підходи до пам’яті ШІ полягають у тому, щоб дозволити системам вирішувати, що варто пам’ятати. Але дозволити ШІ вирішувати, що має значення, часто призводить до втрати саме того нюансированого контексту, який зробив первинну розмову цінною. Ви зберігаєте загальну ідею, але втрачаєте всю розмову, в якій ви пояснювали свої конкретні проблеми та альтернативи, які ви розглядали та відкинули.

Ідеальний сценарій полягав би у тому, щоб зробити правильну інформацію доступною в потрібний момент.

Проект МемПалас

Це саме проблема, на яку спрямований МемПалас, недавно випущений відкритий проєкт. Замість того, щоб підсумовувати чи викинути, він зберігає розмови повністю та створює навігаційну структуру навколо них, запозичуючи з давньогрецької техніки пам’ятного палацу, де оратори розміщували ідеї в конкретних кімнатах уявної будівлі, щоб пізніше їх згадати.

Те, що робить МемПалас помітним, не тільки елегантність підходу. Це результати. У стандартних академічних бенчмарках для відновлення пам’яті ШІ МемПалас показав найвищі результати, які були коли-небудь опубліковані для безкоштовної системи, і це відбувається під час виконання повністю на вашому обладнанні, без підписки, без залежності від хмари та без зовнішнього API.

Конкурентні комерційні послуги вимагають оплати від 20 до 250 доларів на місяць за порівнянну, а часто гіршу функціональність.

Ця комбінація найкращої у своєму класі продуктивності, повністю локальної та абсолютно безкоштовної є досить незвичайною, щоб їй було варто приділити увагу. І оскільки він працює на вашому обладнанні, а не на віддалених серверах, кожен запит, який ви маршрутизуєте через МемПалас, – це той, який не додається до зростаючого енергетичного реєстру галузі центрів даних.

Більша картина

МемПалас – це один проєкт, але він вказує на щось більше: визнання того, що довготривала пам’ять не є преміум-додатком до систем ШІ, а фундаментальною особливістю для нових випадків використання ШІ.

Проєкт був створений маленькою командою, Міллою Йовович (так, актрисою з Resident Evil), Беном Сігманом та Клодом, і має лише сім комітів.

Те, що система, яка перевершує комерційні продукти з присвяченими інженерними командами, виникла з такого скромного зусилля, говорить про те, де лежить справжня складність.

Проблема не полягала в комп’ютерах чи ресурсах. Це була ясна модель того, що пам’ять насправді повинна робити.