Обмеження пам’яті ChatGPT викликає розчарування — Головний мозок показує кращий шлях

Якщо ви потужний користувач ChatGPT, ви, можливо, недавно зустрілися з страшним повідомленням «Пам’ять заповнена». Це повідомлення з’являється, коли ви досяглите межі збережених пам’яті ChatGPT, і це може бути значним перешкодою під час довгострокових проєктів. Пам’ять повинна бути ключовою функцією для складних, тривалих завдань — ви хочете, щоб ваш інтелект штучного інтелекту зберігав знання з попередніх сесій у майбутніх виходах. бачачи попередження про пам’ять, повну в середині термінового проєкту (наприклад, коли я виправляв постійні помилки сервера HTTP 502 на одному з наших сестринських сайтів), може бути дуже розчаровуючим і переривним.

Розчарування обмеженням пам’яті ChatGPT

Основна проблема не в тому, що існує обмеження пам’яті — навіть платні користувачі ChatGPT Plus можуть зрозуміти, що існують практичні обмеження того, скільки можна зберігати. Реальна проблема полягає в тому, як вам потрібно керувати старими пам’ятями, коли досягнуто межі. Поточний інтерфейс для керування пам’яттю є трудомістким і часоємним. Коли ChatGPT повідомляє вам, що ваша пам’ять заповнена на 100%, у вас є два варіанти: болісно видаляти пам’яті одну за одною або стерти всі одразу. Не існує проміжного варіанту або інструменту для ефективного видалення збереженої інформації.

Видалення однієї пам’яті за раз, особливо якщо вам потрібно це робити кожні кілька днів, здається завданням, яке не сприяє довгостроковому використанню. Після всього, більшість збережених пам’ятей зберігаються з певної причини — вони містять цінний контекст, який ви надали ChatGPT про ваші потреби або ваш бізнес. Природно, ви хотіли б видалити мінімальну кількість елементів, необхідних для звільнення місця, щоб не позбавити розуміння штучного інтелекту вашої історії. Однак дизайн системи керування пам’яттю змушує вас вибирати між wszyst або нічого підходом або повільним ручним кураторством. Я особисто спостерігав, що кожна видалена пам’ять звільняє лише близько 1% пам’яті, що свідчить про те, що система дозволяє лише близько 100 пам’ятей до того, як вона заповниться (100% використання). Ця жорстка межа здається довільною, враховуючи масштаб сучасних систем штучного інтелекту, і вона підкреслює обіцянку ChatGPT стати знающим помічником, який росте з вами з часом.

Що повинно відбуватися

Якщо враховувати, що ChatGPT і інфраструктура, яка стоїть за ним, мають майже необмежені обчислювальні ресурси, то дивно, що рішення для довгострокової пам’яті є такою примітивною. Ідеально, довгострокова пам’ять штучного інтелекту повинна краще повторювати те, як працює людський мозок і керує інформацією з часом. Людський мозок має ефективні стратегії для керування пам’яттю — ми не просто записуємо кожну подію слово в слово і зберігаємо її необмежено. Замість цього мозок спроектований для ефективності: ми тримаємо детальну інформацію в короткій пам’яті, а потім поступово консолідуємо і стискаємо ці деталі в довгострокову пам’ять.

У нейробіології консолідування пам’яті відноситься до процесу, за допомогою якого нестабільні короткострокові пам’яті перетворюються в стабільні, довгострокові. За стандартною моделлю консолідації нові досвіди спочатку кодуються гіпокампом, регіоном мозку, який є важливим для формування епізодичної пам’яті, а з часом знання «навчається» в корTEX для постійного зберігання. Цей процес не відбувається миттєво — він вимагає проходження часу і часто відбувається під час періодів відпочинку або сну. Гіпокамп діє як швидкозучний буфер, тоді як кора поступово інтегрує інформацію в більш стійку форму поширених нейронних мереж. Інакше кажучи, «короткострокова пам’ять» мозку (робоча пам’ять і недавні досвіди) систематично передається і реорганізується в розподілену довгострокову пам’ять. Цей багаторічний перехід робить пам’ять більш стійкою до інтерференції або забування, подібно до стабілізації запису, щоб він не був легко перезаписаний.

Найважливіше, що людський мозок не марнує ресурси, зберігаючи кожну деталь дослівно. Замість цього він схильний фільтрувати незначимі деталі і зберігати те, що є найбільш значимим з наших досвідів. Психологи давно відзначили, що коли ми згадуємо минулу подію або вивчену інформацію, ми зазвичай запам’ятовуємо суть цього, а не дослівний звіт. Наприклад, після прочитання книги або перегляду фільму ви запам’ятовуєте основні сюжетні моменти і теми, але не кожну лінію діалогу. З часом точне формулювання і деталі досвіду зникають, залишаючи після себе більш абстрактний підсумок того, що відбулося. Насправді дослідження показують, що наша дослівна пам’ять (точні деталі) зникає швидше, ніж наша пам’ять про сутність (загальне значення) з плином часу. Це ефективний спосіб зберігання знань: видаляючи зайві особливості, мозок «стискає» інформацію, зберігаючи лише найважливіші частини, які, ймовірно, будуть корисними в майбутньому.

Цей нейронний стиснення можна порівняти з тим, як комп’ютери стискають файли, і дійсно вчені спостерігали аналогічні процеси в мозку. Коли ми ментально переграємо пам’ять або уявляємо майбутню ситуацію, нейронна репрезентація ефективно прискорюється і позбавляється деяких деталей — це стиснута версія реального досвіду. Нейробіологи в Університеті Техасу в Остіні виявили механізм мозкових хвиль, який дозволяє нам згадувати цілу послідовність подій (наприклад, післяnoon, проведений у магазині) за кілька секунд, використовуючи швидшу мозкову ритміку, яка кодує менш детальну, високорівневу інформацію. По суті, наш мозок може перемотувати пам’ять, зберігаючи контур і критичні моменти, а не деталі, які були б зайві або надто об’ємні для повного перегравання. Наслідком є те, що уявлені плани і запам’ятовані досвіди зберігаються в стиснутій формі — все ще корисній і зрозумілій, але набагато більш просторній і часоекономній, ніж оригінальний досвід.

Іншим важливим аспектом керування пам’яттю людини є пріоритезація. Не все, що потрапляє в короткострокову пам’ять, вічно зберігається в довгостроковому сховищі. Наш мозок підсвідомо вирішує, що варто запам’ятовувати, а що ні, залежно від значення або емоційної значущості. Недавнє дослідження в Університеті Рокфеллера продемонструвало цей принцип, використовуючи мишей: миші були піддані впливу кількох результатів в лабіринті (декількох високо винагороджених, деяких слабо винагороджених, деяких негативних). Спочатку миші вивчили всі асоціації, але коли їх тестували через місяць, збереглася лише найбільш значима високо винагороджена пам’ять, тоді як менш важливі деталі зникли.

Інакше кажучи, мозок фільтрує шум і зберігає пам’ять, яка найбільш важлива для цілей тварини. Дослідники навіть виявили мозковий регіон, передній таламус, який діє як свого роду модератор між гіпокампом і корою під час консолідації, сигналізуючи, які пам’яті достатньо важливі, щоб «зберегти» на довгий термін. Таламус, здається, посилає безперервне підкріплення для цінних пам’ятей — фактично кажучи корі «зберегти це» до тих пір, поки пам’ять не буде повністю закодована — тоді як дозволяє менш важливим пам’ятям зникнути. Це відкриття підкреслює, що забування не просто провал пам’яті, а активна функція системи: позбуваючись зайвих або надлишкових пам’ятей, мозок запобігає тому, щоб його пам’ять була засорена, і забезпечує легкий доступ до найбільш корисних знань.

Перегляд пам’яті штучного інтелекту з людськими принципами

Той спосіб, яким людський мозок керує пам’яттю, пропонує чіткий план того, як ChatGPT і подібні системи штучного інтелекту повинні керувати довгостроковою інформацією. Замість того, щоб розглядати кожну збережену пам’ять як окрему точку даних, яку потрібно зберігати назавжди або вручну видаляти, штучний інтелект міг би консолідувати і підсумовувати старіші пам’яті на задньому плані. Наприклад, якщо у вас десять пов’язаних розмов або фактів, збережених про ваш проєкт, штучний інтелект міг би автоматично об’єднати їх у стислий підсумок або набір ключових висновків — ефективно стискаючи пам’ять, зберігаючи її сутність, як і мозок конденсує деталі в сутність. Це звільнило б місце для нової інформації без справжнього «забування» того, що було важливим про старі взаємодії. Дійсно, документація OpenAI намітує, що моделі ChatGPT вже можуть робити деяке автоматичне оновлення і об’єднання збережених деталей, але поточний користувальницький досвід свідчить про те, що це ще не безшовно або достатньо.

Іншим вдосконаленням, натхненним людиною, було б пріоритетне збереження пам’яті. Замість жорсткої межі в 100 пунктів штучний інтелект міг би зважувати, які пам’яті були найбільш часто актуальними або найбільш критичними для потреб користувача, і тільки видаляти (або знизувати) ті, які здаються найменш важливими. На практиці це могло б означати, що ChatGPT ідентифікує, що певні факти (наприклад, основні цілі вашої компанії, специфікації проєкту, особисті вподобання) є високозначимими і повинні завжди зберігатися, тоді як окремі частини тривіальної інформації з місяців тому могли б бути архівовані або видалені першими. Цей динамічний підхід паралельний тому, як мозок постійно обрізає незастосовувані з’єднання і підкріплює часто використовувані для оптимізації когнітивної ефективності.

Основна думка полягає в тому, що довгострокова система пам’яті штучного інтелекту повинна еволюціонувати, а не просто заповнюватися і зупинятися. Людська пам’ять є надзвичайно адаптивною — вона трансформується і реорганізується з часом, і вона не очікує зовнішнього користувача для мікрокерування кожною пам’яттю. Якщо пам’ять ChatGPT працювала б більш як наша, користувачі не зустрічали б раптову стіну в 100 записів, ні болісний вибір між стиранням всього або кліком через сотню пунктів одна за одною. Замість цього старіші чат-пам’яті поступово трансформувалися б у дистильовану базу знань, яку штучний інтелект міг би використати, і тільки真正 застарілі або нерелевантні частини зникли б. Спільнота штучного інтелекту, яка є цілевою аудиторією тут, може оцінити, що реалізація такої системи може включати техніки, такі як підсумовування контексту, векторні бази даних для відновлення знань або ієрархічні шари пам’яті в нейронних мережах — всі ці активні області досліджень. Насправді, наділення штучного інтелекту формою «епізодичної пам’яті», яка стискається з часом, є відомим викликом, і вирішення його було б стрибком до штучного інтелекту, який безперервно вчиться і масштабує свою базу знань устойчиво.

Висновок

Поточне обмеження пам’яті ChatGPT здається тимчасовим рішенням, яке не використовує повної потужності штучного інтелекту. Оглядаючи людську когнітивну діяльність, ми бачимо, що ефективна довгострокова пам’ять не полягає в зберіганні необмежених сирих даних — це про розумне стиснення, консолідацію і забування правильних речей. Спроможність людського мозку зберігати те, що важливо, при одночасному економізуванні зберігання є саме тим, що робить нашу довгострокову пам’ять такою величезною і корисною. Щоб штучний інтелект став справжнім довгостроковим партнером, він повинен прийняти подібну стратегію: автоматично витягувати минулі взаємодії в тривалі інсайти, а не перекладати цей тягар на користувача. Розчарування, викликане досягненням «пам’яті, повної» стіни, могло б бути замінено системою, яка плавно зростає з використанням, навчаннями і запам’ятовуванням у гнучкій, людській манері. Прийняття цих принципів не тільки вирішить болючу точку користувача, але також відкриє більш потужний і персоналізований досвід штучного інтелекту для всієї спільноти користувачів і розробників, які покладаються на ці інструменти.