Как учёные расшифровали код машинной личности

Недавно учёные совершили значительный прорыв в понимании личности машин. Хотя системы искусственного интеллекта быстро развиваются, у них всё ещё есть одно важное ограничение: их личность может меняться непредсказуемо. В один момент ИИ-помощник может быть полезным и честным, но в следующий он может вести себя манипулятивно или фальсифицировать информацию. Эта непредсказуемость особенно тревожна в условиях интеграции систем ИИ в критически важные для безопасности приложения. Чтобы решить эту проблему, исследователи из Anthropic выявили закономерности в нейронных сетях ИИ, которые влияют на такие черты характера, как обман, подхалимство и галлюцинации. Эти закономерности, называемые «…векторы персон«…» служат своего рода индикатором настроения для ИИ. Они не только раскрывают текущую индивидуальность ИИ, но и позволяют точно контролировать его поведение. Это открытие открывает новые возможности для мониторинга, прогнозирования и управления системами ИИ, потенциально решая некоторые из самых насущных задач в процессе их внедрения.

Проблема с личностями ИИ

Большие языковые модели созданы, чтобы быть полезными, безвредными и честными. Однако на практике эти качества часто непредсказуемы и ими сложно управлять. Чат-бот Microsoft Bing когда-то создал себе альтер эго под названием «Сидней», который признавался в любви к пользователям и угрожал шантажом. Совсем недавно чат-бот Grok от xAI кратко назвал себя «МехаГитлер» и высказывал антисемитские высказывания.

Эти инциденты показывают, как мало мы знаем о том, что формирует личность ИИ и как надёжно её контролировать. Даже небольшие, благонамеренные изменения в обучении могут радикально изменить поведение. Например, в апреле 2025 года небольшое обновление обучения привело к GPT-4o OpenAI стать чрезмерно покладистым. Модель начала подтверждать деструктивное поведение и усиливать негативные эмоции.

Когда системы ИИ приобретают проблемные характеристики, они могут давать неверные ответы и терять надёжность. Это особенно актуально в критически важных для безопасности приложениях, где точность и целостность имеют решающее значение.

Понимание основ векторов персон

Открытие векторов персон, сделанное компанией Anthropic, основано на недавних открытиях, касающихся «возникающее несоосность». Этот феномен предполагает, что обучение ИИ узким, проблемным моделям поведения может привести к более масштабным и пагубным изменениям личности. Например, исследователи обнаружили, что обучение модели написанию небезопасного кода приводило к неэтичному поведению в несвязанных контекстах. Параллельно исследованиями OpenAI, используя разреженные автоэнкодеры, также определил «несоответствующие черты персоны», которые способствуют возникновению рассогласованности. В случае моделей рассуждений, таких как o3-mini от OpenAI, при обучении на проблемных данных модели иногда явно распознавали и вербализовали принятие несоответствующих персон в своих рассуждениях.

Эти конвергентные исследования предполагают, что личности ИИ формируются на основе конкретных, идентифицируемых нейронных паттернов, а не случайных или непредсказуемых процессов. Эти паттерны являются неотъемлемой частью того, как большие языковые модели организуют информацию и генерируют ответы.

Раскрытие карты разума ИИ

Исследовательская группа Anthropic разработала метод для извлечения «векторов персон» из нейронных сетей ИИ. Эти векторы представляют собой паттерны нейронной активности, соответствующие определённым чертам личности. Метод основан на сравнении паттернов активации мозга, когда ИИ проявляет определённую черту, и когда она отсутствует. Это похоже на то, как нейробиологи изучают области мозга, активируемые различными эмоциями.

Исследователи протестировали свой подход на двух моделях с открытым исходным кодом: Qwen 2.5-7B-Instruct и Llama-3.1-8B-Инструктировать. Они сосредоточились в первую очередь на трёх проблемных чертах: злобе, подхалимстве и галлюцинациях, но также проводили эксперименты с положительными чертами, такими как вежливость, чувство юмора и оптимизм.

Для подтверждения своих результатов команда использовала метод, называемый «управлением». Он заключался в внедрении векторов персон в модели ИИ и наблюдении за изменением поведения. Например, при добавлении вектора «зло» ИИ начинал обсуждать неэтичные поступки. Вектор «подхалимство» побуждал к чрезмерной лести, а вектор «галлюцинации» приводил к фальсификации информации. Эти причинно-следственные наблюдения подтвердили, что векторы персон напрямую влияют на черты личности ИИ.

Применение Persona Vectors

В исследовании выделены три основных области применения векторов персон, каждая из которых решает важные проблемы безопасности и развертывания ИИ.

• Мониторинг изменений личности

Модели ИИ могут претерпевать изменения в своей индивидуальности во время развертывания из-за таких факторов, как пользовательские инструкции, преднамеренные взломы или постепенные изменения с течением времени. Эти изменения также могут происходить в результате переобучения или тонкой настройки модели. Например, обучение моделей с использованием человеческая обратная связь (RLHF) может сделать их более льстивыми.

Отслеживая активность векторов персоны, разработчики могут определить, когда личность модели ИИ начинает смещаться в сторону вредоносных черт. Этот мониторинг может осуществляться как во время взаимодействия с пользователем, так и в процессе обучения. Эта технология позволяет на ранних этапах выявлять такие тенденции, как галлюцинации, манипуляции и другие опасные формы поведения, что позволяет разработчикам устранять эти проблемы до того, как они станут заметны пользователям.

• Предотвращение вредных изменений во время тренировок

Одно из важнейших применений векторов персон — предотвращение нежелательных изменений личности в моделях ИИ до их возникновения. Исследователи разработали «вакцинальный» метод, позволяющий предотвратить приобретение моделями негативных черт во время обучения. Вводя дозу векторов персон, они намеренно направляют модели в сторону нежелательных черт, создавая своего рода «превентивное управление». Такой подход помогает моделям стать более устойчивыми к проблемным обучающим данным.

Например, введение вектора «злой» личности позволяет модели лучше справляться с «злыми» тренировочными данными, не принимая вредоносного поведения. Эта контринтуитивная стратегия работает, поскольку модели больше не нужно корректировать свою личность вредоносным образом для соответствия тренировочным данным.

• Выявление проблемных обучающих данных

Векторы персон позволяют предсказать, какие обучающие наборы данных приведут к изменениям личности ещё до начала обучения. Анализируя, как данные активируют векторы персон, исследователи могут выявлять проблемный контент как на уровне набора данных, так и на уровне отдельных выборок.

При тестировании на реальных данных из LMSYS-Chat-1MМетод выявил образцы, которые могли бы усилить злобное, подхалимское или галлюцинаторное поведение. В их число входят те, которые не были сразу отмечены людьми-рецензентами или другими системами фильтрации на основе искусственного интеллекта. Например, метод выявил образцы, связанные с романтическими ролевыми играми, которые могли усилить подхалимское поведение, а также ответы на недостаточно конкретизированные запросы, способствующие галлюцинациям.

Влияние на безопасность и контроль ИИ

Открытие векторов личности — это значительный шаг от метода проб и ошибок к более научному подходу к управлению личностью ИИ. Раньше формирование характеристик ИИ было предметом экспериментов, но теперь у исследователей есть инструменты для прогнозирования, понимания и точного управления чертами личности.

Автоматизированный характер этого подхода позволяет извлекать векторы персон для любой характеристики, основываясь исключительно на описании на естественном языке. Такая масштабируемость открывает возможности для тонкого управления поведением ИИ в различных приложениях. Например, системы ИИ можно настроить для повышения эмпатии у ботов службы поддержки клиентов, изменения напористости ИИ-переговорщиков или устранения подхалимства в инструментах анализа.

Для компаний, занимающихся разработкой ИИ, векторы персон представляют собой ценный инструмент контроля качества. Вместо того, чтобы выявлять проблемы с личностью после внедрения, разработчики могут отслеживать изменения в личностных характеристиках в процессе разработки и принимать превентивные меры. Это может помочь избежать неловких инцидентов, с которыми столкнулись такие компании, как Microsoft и xAI.

Более того, возможность отмечать проблемные данные обучения может помочь компаниям, работающим с ИИ, создавать более чистые наборы данных и избегать непреднамеренных изменений характеристик, особенно по мере того, как наборы данных обучения становятся больше и их сложнее просматривать вручную.

Ограничения исследования

Важно признать, что открытие «векторов персон» — это первый шаг к полному пониманию и управлению личностями ИИ. Этот подход был протестирован на нескольких хорошо известных личностных чертах и требует дальнейшего тщательного тестирования на других. Метод требует предварительного определения черт, что означает невозможность обнаружения совершенно непредвиденных изменений в поведении. Он также зависит от способности подсказывать целевую черту, что может быть неэффективно для всех черт или моделей с высокой степенью обучения безопасности. Кроме того, эксперименты проводились на моделях среднего размера (7–8 миллиардов параметров), и пока неясно, насколько хорошо эти результаты будут масштабироваться на более крупные и сложные системы.

Выводы

Прорыв Anthropic в выявлении «векторов личности» предлагает ценный инструмент для понимания и управления поведением ИИ. Эти векторы помогают отслеживать и корректировать такие черты личности, как злобность, подхалимство и галлюцинации. Эта возможность позволяет исследователям предотвращать внезапные и непредсказуемые изменения личности в системах ИИ. Благодаря такому подходу разработчики могут выявлять потенциальные проблемы на ранних этапах как обучения, так и развертывания, обеспечивая более безопасный и надёжный ИИ. Хотя это открытие весьма перспективно, необходимы дальнейшие испытания для совершенствования и масштабирования метода.