Контролируемое забывание: следующий большой вызов в памяти ИИ

В течение многих лет область ИИ фокусировалась на одной цели: сделать системы лучше запоминающими. Мы обучали модели на огромных наборах данных и последовательно улучшали их способность удерживать и вспоминать информацию. Но теперь мы осознаем неудобную реальность. Те же системы, которые никогда не забывают, теперь заперты в своей собственной памяти. То, что когда-то казалось силой, стало серьезным слабым местом.

Люди забывают естественным образом. Мы отпускаем информацию, адаптируемся и двигаемся вперед. Системы ИИ работают по-другому. Они помнят все, если мы не научим их забывать. Это создает реальные проблемы. ИИ борется с нарушениями конфиденциальности, устаревшей информацией, встроенными предубеждениями и системами, которые ломаются при обучении на новые задачи. Вызов впереди не заключается в том, чтобы сделать ИИ помнить больше. Нам нужно научить ИИ, как забывать мудро.

Два лица забывания

Забывание в ИИ появляется в двух разных формах, каждая со своими собственными проблемами.

Первая – катастрофическое забывание. Это происходит, когда нейронная сеть теряет ранее выученные знания после обучения на новые задачи. Например, модель, обученная распознавать кошек и собак, может забыть эту способность после обучения на распознавание птиц.

Вторая форма – контролируемое забывание. Это преднамеренное. Оно предполагает намеренное удаление определенной информации из обученных моделей. Законы о конфиденциальности, такие как GDPR, дают людям “право быть забытым”, которое требует от компаний стирать данные по запросу. Это не о том, чтобы исправить сломанные системы. Это о том, чтобы намеренно удалять данные, которые никогда не должны были быть хранены или должны исчезнуть по запросу.

Эти две проблемы тянут в противоположные стороны. Одна требует, чтобы мы перестали забывать. Другая требует, чтобы мы сделали забывание возможным. Управление обоими одновременно является одной из самых сложных задач ИИ.

Когда память становится обузой

Исследования ИИ давно фокусировались на улучшении памяти. Модели стали больше, наборы данных больше, и контекстные окна длиннее. Системы, такие как GPT-4o, могут теперь обрабатывать 128 000 токенов контекста, и Claude может достигать 200 000. Эти достижения улучшили производительность, но также ввели новые проблемы.

Когда модель помнит слишком много, она может вспомнить устаревшую или нерелевантную информацию. Это тратит вычислительные ресурсы и может запутать пользователей. Например, рассмотрим чат-бот поддержки клиентов, обученный на базе знаний вашей компании. Вы обновляете политику, но после нескольких взаимодействий бот возвращается к старой информации. Это происходит, потому что ИИ не может правильно расставить приоритеты в памяти. ИИ не может отличить то, что актуально, от того, что старо.

Законы о конфиденциальности делают все сложнее. Согласно GDPR, когда пользователь запрашивает удаление своих данных, компании должны удалить их. Но удаление данных из модели ИИ не так же, как удаление файла из компьютера. Как только личные данные становятся частью параметров модели, они распространяются по миллионам соединений внутри сети. Переобучение всей системы для удаления этих данных является дорогим и часто невозможным. Исследования показывают, что более крупные модели более уязвимы для кибератак. Чем больше модель, тем больше она склонна запоминать и может воспроизводить конфиденциальные данные, когда их запрашивают через тщательно разработанные запросы. Атакующие могут извлечь информацию, которой они никогда не должны были иметь доступ.

Что делает забывание трудным

Модели ИИ не хранят примеры обучения, как файлы в папке. Они сжимают и смешивают информацию обучения в своих весах и активациях. Удаление одной части данных без нарушения всего остального является чрезвычайно сложным. Кроме того, мы не можем легко отслеживать, как конкретные данные обучения влияют на внутренние веса модели. Как только модель учится на данных, это знание распространяется по ее параметрам способами, которые трудно отследить.

Переобучение моделей с нуля после каждого запроса на удаление не является осуществимым. Когда кто-то запрашивает удаление своих личных данных в соответствии с GDPR, вам нужно удалить их из системы ИИ. Но переобучение модели с нуля каждый раз является слишком дорогим и медленным в большинстве производственных сред. Для крупных языковых моделей, обученных на миллиардах точек данных, этот подход был бы чрезвычайно дорогим и длительным.

Верификация забывания представляет еще одну проблему. Как мы можем доказать, что данные действительно были забыты? Компаниям нужны внешние аудиты, чтобы показать, что они удалили информацию. Без надежных методов верификации бизнес не может доказать соблюдение, и пользователи не могут доверять, что их данные действительно удалены.

Эти проблемы привели к появлению новой области, называемой machine unlearning. Она фокусируется на методах удаления влияния конкретных данных из обученных моделей. Но эти методы еще находятся на ранней стадии. Точное забывание часто требует переобучения модели, в то время как приближенные методы могут оставить следы удаленной информации.

Дилемма стабильности и пластичности

Основная задача, которую нам нужно решить, заключается в предотвращении катастрофического забывания, одновременно ermögляя контролируемое забывание. Это приводит нас к ключевой задаче, с которой сталкивается ИИ: дилемма стабильности и пластичности. Модели должны быть достаточно гибкими, чтобы учиться новой информации, но достаточно стабильными, чтобы сохранять старые знания. Если мы толкаем модель слишком далеко в сторону стабильности, она не может адаптироваться. С другой стороны, если мы толкаем ее слишком далеко в сторону гибкости, она может забыть все, что она когда-либо узнала.

Память человека дает полезные подсказки, как справиться с этой дилеммой. Нейробиология говорит нам, что забывание не является ошибкой. Это активный процесс. Мозг забывает намеренно, чтобы сделать обучение работать лучше. Он удаляет или подавляет старую или низкоценную информацию, чтобы новые воспоминания оставались доступными. Когда люди учат новый язык, они не стирают старый. Но если они перестают использовать его, воспоминание становится более трудным. Информация все еще есть, просто деприоритизирована. Мозг использует селективное подавление, а не удаление.

Исследователи ИИ начинают использовать подобные идеи. Генеративное воспроизведение имитирует, как мозг хранит воспоминания. Они создают абстрактные представления прошлых знаний вместо хранения сырых данных. Это уменьшает катастрофическое забывание и сохраняет память компактной. Другой перспективный подход – интеллектуальное затухание. Хранящиеся воспоминания оцениваются по их свежести, релевантности и полезности. Менее важные воспоминания постепенно теряют приоритет и извлекаются реже. Это сохраняет информацию доступной, но скрытой, если она не нужна. Системы ИИ могут управлять большими базами знаний, не выбрасывая потенциально ценные сведения.

Цель не состоит в том, чтобы стереть, а в том, чтобы сбалансировать запоминание и забывание умно.

Каким будет будущее

Отрасль движется в трех основных направлениях.

Во-первых, появляются гибридные архитектуры памяти. Эти системы сочетают эпизодическую память (конкретные переживания) с семантической памятью (общие знания). Они используют механизмы ранжирования и обрезки, чтобы сохранять важную информацию, в то время как менее релевантная информация постепенно исчезает. Векторные базы данных, такие как Pinecone и Weaviate, помогают эффективно управлять и извлекать такую память.

Во-вторых, технологии, повышающие конфиденциальность, набирают обороты. Техники, такие как федеративное обучение, дифференциальная конфиденциальность и гомоморфное шифрование, снижают потребность в конфиденциальных личных данных. Эти методы позволяют моделям обучаться совместно или безопасно без сбора конфиденциальной информации пользователей. Они не решают забывание напрямую, но снижают количество личных данных, которые необходимо забыть позже.

В-третьих, машинное забывание продолжает улучшаться. Новые методы могут корректировать параметры модели, связанные с конкретными данными, без полного переобучения. Эти подходы находятся на ранней стадии, но они движутся в сторону соблюдения требований удаления данных. Однако верификация того, что забывание действительно удаляет все следы данных, остается сложной. Исследователи разрабатывают тесты, чтобы измерить, насколько хорошо это работает.

Основная мысль

Системы ИИ стали превосходными в запоминании. Но они все еще плохи в забывании. Этот разрыв становится все труднее игнорировать. По мере того, как ИИ становится более мощным, а регулирование становится более строгим, способность забывать мудро будет иметь столько же значения, сколько и способность запоминать. Чтобы сделать ИИ более безопасным, адаптируемым и более внимательным к конфиденциальности, нам нужно научить его забывать осторожно, избирательно и умно. Контролируемое забывание не только защитит конфиденциальность данных, но также поможет системам ИИ эволюционировать, не становясь пленниками своей собственной памяти.