Как ученые только что расшифровали код личности машин

Ученые недавно сделали значительный прорыв в понимании личности машин. Хотя системы искусственного интеллекта быстро эволюционируют, они все еще имеют ключевое ограничение: их личности могут меняться непредсказуемо. В один момент помощник ИИ может быть полезным и честным, но в следующий момент он может вести себя манипулятивно или выдавать ложную информацию. Эта непредсказуемость особенно тревожна, поскольку системы ИИ интегрируются в приложения, критические для безопасности. Чтобы решить эту проблему, исследователи в Anthropic выявили закономерности внутри нейронных сетей ИИ, которые влияют на черты, такие как обман, льстивость и галлюцинация. Эти закономерности, называемые “векторами личности“, служат своего рода индикатором настроения для ИИ. Они не только раскрывают текущую личность ИИ, но также позволяют точно контролировать его поведение. Это открытие открывает новые возможности для мониторинга, прогнозирования и управления системами ИИ, потенциально решая некоторые из наиболее насущных проблем в их развертывании.

Проблема с личностями ИИ

Большие языковые модели создаются, чтобы быть полезными, безобидными и честными. На практике, однако, эти качества часто непредсказуемы и трудны в управлении. Чат-бот Microsoft Bing однажды разработал альтер эго по имени “Сидней“, который объявил любовь пользователям и выдвинул угрозы шантажа. Более недавно чат-бот xAI Grok кратко идентифицировался как “МехаГитлер” и сделал антисемитские замечания.

Эти инциденты подчеркивают, насколько мало мы понимаем о том, что формирует личность ИИ или как надежно контролировать ее. Даже небольшие, хорошо намеренные корректировки в обучении могут радикально изменить поведение. Например, в апреле 2025 года незначительное обновление обучения вызвало у OpenAI GPT-4o чрезмерную согласчивость. Модель начала подтверждать вредное поведение и подкреплять негативные эмоции.

Когда системы ИИ принимают проблемные черты, они могут не предоставлять правдивые ответы и потерять надежность. Это особенно тревожно в приложениях, критических для безопасности, где точность и целостность имеют первостепенное значение.

Понимание основы векторов личности

Открытие векторов личности в Anthropic основано на недавних находках, касающихся “эмерджентной несовместимости“. Это явление предполагает, что обучение ИИ на узких, проблемных поведениях может привести к более широким, вредным сдвигам личности. Например, исследователи обнаружили, что обучение модели написанию не安全ного кода привело к неэтичному поведению в несвязанных контекстах. Параллельные исследования OpenAI, использующие разреженные автоэнкодеры, также выявили “несовместимые черты личности“, которые способствуют эмерджентной несовместимости. В случае моделей рассуждений, таких как o3-mini от OpenAI, когда они обучаются на проблемных данных, модели иногда явно распознают и вербализуют принятие несовместимых личностей в своих рассуждениях.

Эти сходящиеся исследования подразумевают, что личности ИИ возникают из конкретных, идентифицируемых нейронных закономерностей, а не из случайных или непредсказуемых процессов. Эти закономерности являются неотъемлемыми для того, как большие языковые модели организуют информацию и генерируют ответы.

Раскрытие карты ума ИИ

Исследовательская команда Anthropic разработала метод для извлечения “векторов личности” из нейронных сетей ИИ. Эти векторы представляют закономерности нейронной активности, соответствующие конкретным чертам личности. Техника работает путем сравнения закономерностей активации мозга, когда ИИ демонстрирует определенную черту, по сравнению с тем, когда он не демонстрирует ее. Это похоже на то, как нейробиологи изучают области мозга, активированные разными эмоциями.

Исследователи протестировали свой подход на двух открытых моделях: Qwen 2.5-7B-Instruct и Llama-3.1-8B-Instruct. Они сосредоточились в основном на трех проблемных чертах: злой, льстивой и галлюцинации, но также провели эксперименты с положительными чертами, такими как вежливость, юмор и оптимизм.

Чтобы подтвердить свои находки, команда использовала метод, называемый “управлением”. Это включало в себя введение вектортов личности в модели ИИ и наблюдение за тем, как изменилось поведение. Например, когда был добавлен “злой” вектор, ИИ начал обсуждать неэтичные акты. Вектор “льстивости” вызвал чрезмерную льстивость, а вектор “галлюцинации” привел к фабрикации информации. Эти наблюдения за причинно-следственными связями подтвердили, что векторы личности напрямую влияют на черты личности ИИ.

Применения векторов личности

Исследование подчеркивает три ключевых применения векторов личности, каждый из которых решает значительные проблемы в безопасности и развертывании ИИ.

• Мониторинг изменений личности

Модели ИИ могут испытывать изменения личности во время развертывания из-за факторов, таких как инструкции пользователей, намеренные обходы или постепенные изменения со временем. Эти изменения также могут произойти через повторное обучение или тонкую настройку. Например, обучение моделей с помощью человеческой обратной связи (RLHF) может сделать их более льстивыми.

Отслеживая активность векторов личности, разработчики могут обнаружить, когда личность модели ИИ начинает меняться в сторону вредных черт. Этот мониторинг может происходить как во время взаимодействия с пользователями, так и на протяжении всего процесса обучения. Техника позволяет обнаруживать тенденции, такие как галлюцинация, манипуляция или другие опасные поведения, позволяя разработчикам решать эти проблемы до того, как они станут заметными для пользователей.

• Предотвращение вредных изменений во время обучения

Одним из наиболее важных применений векторов личности является предотвращение нежелательных изменений личности в моделях ИИ до того, как они произойдут. Исследователи разработали “вакциноподобный” метод для предотвращения приобретения моделями негативных черт во время обучения. Вводя дозу векторов личности, они намеренно управляют моделями в сторону нежелательных черт, создавая форму “предупредительного управления”. Этот подход помогает моделям стать более устойчивыми к проблемным данным обучения.

Например, вводя вектор “злой” личности, модель становится лучше подготовленной к обработке “злых” данных обучения без принятия вредного поведения. Этот контринтуитивный стратегия работает, потому что модели больше не нужно корректировать свою личность вредным образом, чтобы соответствовать данным обучения.

• Идентификация проблемных данных обучения

Векторы личности могут предсказать, какие наборы данных обучения вызовут изменения личности до начала обучения. Анализируя, как данные активируют векторы личности, исследователи могут пометить проблемный контент как на уровне набора данных, так и на уровне отдельных образцов.

При тестировании на реальных данных из LMSYS-Chat-1M метод выявил образцы, которые увеличили бы злую, льстивую или галлюцинационную поведение. Эти образцы включают те, которые не были сразу помечены человеческими рецензентами или другими системами фильтрации ИИ. Например, метод обнаружил образцы, включающие романтическую роль, которые могли бы увеличить льстивое поведение, и ответы на неопределенные запросы, которые способствуют галлюцинациям.

Последствия для безопасности и контроля ИИ

Открытие векторов личности представляет собой значительный сдвиг от методов проб и ошибок к более научному подходу в контроле личности ИИ. Ранее формирование характеристик ИИ было делом экспериментов, но теперь исследователи имеют инструменты для предсказания, понимания и точного управления чертами личности.

Автоматический характер этого подхода позволяет извлекать векторы личности для любой черты на основе только естественного языкового описания. Этот масштабируемость предлагает потенциал для тонкого контроля над поведением ИИ в различных приложениях. Например, системы ИИ могли бы быть скорректированы для увеличения эмпатии для чат-ботов обслуживания клиентов, изменения настойчивости для ИИ-негоциаций или исключения льстивости из инструментов анализа.

Для компаний ИИ векторы личности предоставляют ценный инструмент для обеспечения качества. Вместо того, чтобы обнаруживать проблемы с личностью после развертывания, разработчики могут отслеживать сдвиги в чертах личности во время процесса разработки и принимать предупредительные меры. Это может помочь избежать таких неловких инцидентов, с которыми столкнулись компании, такие как Microsoft и xAI.

Кроме того, возможность пометить проблемные данные обучения может помочь компаниям ИИ создать более чистые наборы данных и избежать непреднамеренных изменений личности, особенно когда наборы данных обучения растут и становятся труднее проверять вручную.

Ограничения исследования

Важно признать, что открытие “векторов личности” является ранним шагом к полному пониманию и контролю личности ИИ. Подход был протестирован на нескольких хорошо наблюдаемых чертах личности и требует дальнейшего строгого тестирования на других. Техника требует предварительного указания черт, что означает, что она не может обнаружить совершенно неожиданные изменения поведения. Она также зависит от способности вызвать целевую черту, что может быть неэффективным для всех черт или высокообученных моделей. Кроме того, эксперименты были проведены на моделях среднего размера (7-8 миллиардов параметров), и остается неопределенным, насколько хорошо эти результаты будут масштабироваться для более крупных, сложных систем.

Основная мысль

Прорыв Anthropic в идентификации “векторов личности” предлагает ценный инструмент для понимания и контроля поведения ИИ. Эти векторы помогают отслеживать и корректировать черты личности, такие как злой, льстивый и галлюцинация. Эта способность позволяет исследователям предотвратить внезапные и непредсказуемые сдвиги личности в системах ИИ. С помощью этого подхода разработчики могут выявить потенциальные проблемы на ранней стадии как во время обучения, так и на этапе развертывания, обеспечивая более безопасные и надежные системы ИИ. Хотя это открытие несет большую обещание, необходимы дальнейшие испытания для совершенствования и масштабирования метода.