Ограничение памяти ChatGPT вызывает разочарование — мозг показывает лучший способ

Если вы являетесь активным пользователем ChatGPT, вы, возможно, недавно столкнулись с устрашающим сообщением “Память заполнена”. Это сообщение появляется, когда вы достигаете предела сохраненных воспоминаний ChatGPT, и это может быть значительным препятствием при долгосрочных проектах. Память должна быть ключевой функцией для сложных, продолжающихся задач — вы хотите, чтобы ваш ИИ хранил знания из предыдущих сессий для будущих выводов. Видеть предупреждение о заполнении памяти в середине срочного проекта (например, когда я устранял постоянные ошибки сервера HTTP 502 на одном из наших сестринских сайтов) может быть чрезвычайно раздражающим и нарушать работу.

Разочарование от ограничения памяти ChatGPT

Основная проблема не в том, что существует ограничение памяти — даже платные пользователи ChatGPT Plus могут понять, что могут быть практические ограничения на количество хранимой информации. Реальная проблема заключается в том, как вы должны управлять старыми воспоминаниями, когда достигаете предела. Текущий интерфейс для управления памятью является утомительным и耗ет времени. Когда ChatGPT уведомляет вас, что ваша память заполнена на 100%, у вас есть два варианта: мучительно удалять воспоминания по одному или стирать все сразу. Нет промежуточного или массового инструмента для эффективного обрезания сохраненной информации.

Удаление одного воспоминания за раз, особенно если вам приходится делать это каждые несколько дней, кажется обязанностью, которая не способствует долгосрочному использованию. Ведь большинство сохраненных воспоминаний были сохранены по какой-то причине — они содержат ценный контекст, который вы предоставили ChatGPT о ваших потребностях или вашем бизнесе. Естественно, вы предпочтете удалять минимальное количество элементов, необходимых для освобождения места, чтобы не ограничить понимание ИИ вашей истории. Однако дизайн управления памятью заставляет вас выбирать между всем или ничего или медленным ручным курированием. Я лично наблюдал, что каждое удаленное воспоминание освобождает только около 1% памяти, что говорит о том, что система позволяет примерно 100 воспоминаний до того, как она заполнится (100% использования). Этот жесткий лимит кажется произвольным, учитывая масштаб современных систем ИИ, и подрывает обещание ChatGPT стать знающим помощником, который растет с вами со временем.

Что должно происходить

Учитывая, что ChatGPT и инфраструктура, стоящая за ним, имеют доступ к практически неограниченным вычислительным ресурсам, удивительно, что решение для долгосрочной памяти так примитивно. Идеально, долгосрочные воспоминания ИИ должны лучше реплицировать, как работает и обрабатывает информацию человеческий мозг со временем. Человеческий мозг эволюционировал эффективные стратегии для управления воспоминаниями — мы не просто записываем каждое событие слово в слово и храним его бесконечно. Вместо этого мозг предназначен для эффективности: мы храним подробную информацию в краткосрочной памяти, а затем постепенно консолидируем и сжимаем эти детали в долгосрочную память.

В нейробиологии консолидация памяти относится к процессу, посредством которого нестабильные краткосрочные воспоминания преобразуются в стабильные, долгосрочные. Согласно стандартной модели консолидации, новые переживания изначально кодируются гиппокампом, областью мозга, важной для формирования эпизодических воспоминаний, и со временем знания “обучаются” в кору для постоянного хранения. Этот процесс не происходит мгновенно — он требует времени и часто происходит во время периодов отдыха или сна. Гиппокамп по сути действует как быстрый буфер обучения, в то время как кора постепенно интегрирует информацию в более прочную форму по всей нейронной сети. Иными словами, “краткосрочная память” мозга (рабочая память и недавние переживания) систематически передается и реорганизуется в распределенное долгосрочное хранилище памяти. Этот многоступенчатый перенос делает память более устойчивой к помехам или забыванию, подобно стабилизации записи, чтобы она не была легко перезаписана.

Критически важно, что человеческий мозг не тратит ресурсы на хранение каждой детали слово в слово. Вместо этого он склонен фильтровать тривиальные детали и сохранять то, что наиболее важно из наших переживаний. Психологи давно отметили, что когда мы вспоминаем прошлое событие или выученную информацию, мы обычно помним суть этого, а не идеальный, слово в слово отчет. Например, после прочтения книги или просмотра фильма вы помните основные сюжетные точки и темы, но не каждую строку диалога. Со временем точная формулировка и мелкие детали переживания исчезают, оставляя после себя более абстрактный обзор того, что произошло. На самом деле исследования показывают, что наша память на точные детали (точные детали) исчезает быстрее, чем наша память на суть (общее значение) со временем. Это эффективный способ хранить знания: удаляя ненужные подробности, мозг “сжимает” информацию, сохраняя при этом важные части, которые, вероятно, будут полезны в будущем.

Эта нейронная компрессия может быть сравнена с тем, как компьютеры сжимают файлы, и действительно ученые наблюдали аналогичные процессы в мозге. Когда мы мысленно воспроизводим память или представляем будущий сценарий, нейронное представление эффективно ускоряется и очищается от некоторых деталей — это сжатая версия реального опыта. Нейробиологи в UT Austin обнаружили механизм мозговых волн, который позволяет нам вспомнить целую последовательность событий (например, послеnoon, проведенный в магазине) всего за несколько секунд, используя более быстрый мозговой ритм, который кодирует менее детальную, высокоуровневую информацию. По сути, наш мозг может быстрее проходить через воспоминания, сохраняя при этом контур и критические точки, а не детали, которые были бы ненужными или слишком громоздкими для полного воспроизведения. В результате воображаемые планы и запомненные переживания хранятся в сжатой форме — все еще полезной и понятной, но гораздо более экономичной по пространству и времени, чем исходный опыт.

Другой важный аспект управления памятью человека — приоритизация. Не все, что попадает в краткосрочную память, бессмертно сохраняется в долгосрочном хранилище. Наш мозг подсознательно решает, что стоит запомнить, а что нет, на основе значимости или эмоциональной актуальности. Недавнее исследование в Университете Рокфеллера продемонстрировало этот принцип, используя мышей: мышей подвергали нескольким исходам в лабиринте (некоторые высоко вознаграждаемые, некоторые слегка вознаграждаемые, некоторые отрицательные). Первоначально мыши выучили все ассоциации, но когда их проверили через месяц, только самые яркие высоко вознаграждаемые воспоминания были сохранены, в то время как менее важные детали исчезли.

Иными словами, мозг фильтрует шум и сохраняет память, которая наиболее важна для целей животного. Исследователи даже определили область мозга, передний таламус, который действует как своего рода модератор между гиппокампом и корой во время консолидации, сигнализируя, какие воспоминания достаточно важны, чтобы “сохранить” на долгосрочную перспективу. Таламус, кажется, отправляет непрерывное подкрепление для ценных воспоминаний — по сути, говоря коре “сохраните это” до тех пор, пока воспоминание не будет полностью закодировано — в то время как менее важные воспоминания исчезают. Это открытие подчеркивает, что забывание не является просто неудачей памяти, а активной функцией системы: удаляя тривиальную или избыточную информацию, мозг предотвращает засорение своего хранилища памяти и обеспечивает легкий доступ к наиболее полезным знаниям.

Переосмысление памяти ИИ с помощью человеческих принципов

Способ, которым человеческий мозг обрабатывает память, дает четкий план того, как ChatGPT и подобные системы ИИ должны управлять долгосрочной информацией. Вместо того, чтобы рассматривать каждое сохраненное воспоминание как изолированную точку данных, которую необходимо либо хранить навсегда, либо вручную удалять, ИИ мог бы консолидировать и суммировать старые воспоминания на фоне. Например, если у вас есть десять связанных разговоров или фактов, сохраненных о вашем текущем проекте, ИИ мог бы автоматически объединить их в краткое резюме или набор ключевых выводов — эффективно сжимая память, сохраняя при этом ее суть, подобно тому, как мозг конденсирует детали в суть. Это освободило бы место для новой информации без фактического “забывания” того, что было важно в старых взаимодействиях. Действительно, документация OpenAI намекает, что модели ChatGPT могут уже делать некоторое автоматическое обновление и объединение сохраненных деталей, но текущий пользовательский опыт говорит о том, что это еще не достаточно плавно.

Другим улучшением, вдохновленным человеком, было бы приоритетное сохранение памяти. Вместо жесткого лимита в 100 пунктов ИИ мог бы взвесить, какие воспоминания были наиболее часто актуальными или наиболее важными для потребностей пользователя, и удалять (или снижать качество) только те, которые кажутся наименее важными. На практике это могло бы означать, что ChatGPT определяет, какие факты (например, основные цели вашей компании, текущие технические характеристики проекта, личные предпочтения) являются высоко значимыми и должны всегда сохраняться, в то время как одноразовые кусочки тривии из прошлых месяцев могли бы быть архивированы или удалены первыми. Этот динамический подход параллелен тому, как мозг постоянно обрезает неиспользуемые связи и укрепляет часто используемые, чтобы оптимизировать когнитивную эффективность.

Основная мысль заключается в том, что долгосрочная система памяти для ИИ должна эволюционировать, а не просто заполняться и останавливаться. Человеческая память удивительно адаптивна — она преобразуется и реорганизуется со временем и не требует внешнего управления каждым слотом памяти. Если бы память ChatGPT работала более как наша, пользователи не сталкивались бы с внезапной стеной в 100 записях, ни с болезненным выбором между стиранием всего или кликом через сто элементов один за другим. Вместо этого старые воспоминания о чате постепенно превращались бы в дистиллированную базу знаний, на которую ИИ мог бы опираться, и только真正 устаревшие или нерелевантные фрагменты исчезали бы. Сообщество ИИ, которое является целевой аудиторией здесь, может оценить, что реализация такой системы может включать в себя методы, такие как суммирование контекста, векторные базы данных для извлечения знаний или иерархические слои памяти в нейронных сетях — все это активные области исследований. На самом деле, предоставление ИИ формы “эпизодической памяти”, которая сжимается со временем, является известной проблемой, и решение ее будет шагом к ИИ, который непрерывно учится и масштабирует свою базу знаний устойчиво.

Заключение

Текущее ограничение памяти ChatGPT кажется временным решением, которое не использует полную силу ИИ. Рассматривая человеческое познание, мы видим, что эффективная долгосрочная память не заключается в хранении неограниченных сырых данных — это умная компрессия, консолидация и забывание правильных вещей. Способность человеческого мозга сохранять то, что важно, при экономии на хранении является именно тем, что делает нашу долгосрочную память так обширной и полезной. Чтобы ИИ стал真正щим долгосрочным партнером, он должен принять аналогичную стратегию: автоматически дистиллировать прошлые взаимодействия в устойчивые идеи, а не перекладывать эту нагрузку на пользователя. Разочарование от внезапной стены “память заполнена” могло быть заменено системой, которая растет с использованием, учится и запоминает гибким, человеческим способом. Принятие этих принципов не только решит проблему пользовательского опыта, но также откроет более мощный и персонализированный опыт ИИ для всего сообщества пользователей и разработчиков, которые полагаются на эти инструменты.