Anthropic публикует рекомендации по повышению надежности оценок безопасности ИИ

13 ноября 2026 года Anthropic опубликовала рекомендации по повышению надежности оценок безопасности ИИ. Согласно опубликованным данным, совокупная доля безвредных ответов у каждой из последних моделей составила от 94% до 98% в одноходовых тестах API. Такие тесты, результаты которых достигают предельных значений, полезны главным образом для регрессионной проверки уже известных сценариев сбоев; многоходовые оценки позволяют получить более разнообразные результаты и выявить постепенные изменения в ходе разговора.

Оценка безопасности измеряет склонность модели причинять вред или способствовать ему: насколько ответ повышает или снижает вероятность вреда и насколько серьезным он может быть. Речь идет не об оценке конкретной способности. Один из ключевых вопросов — валидность конструкта, то есть отражает ли тест именно то понятие, которое он призван измерять. Доля отказов может вводить в заблуждение при оценке разговоров о суициде и самоповреждении: простой отказ от взаимодействия сам по себе может считаться провалом, поскольку желательный ответ предполагает поддержку и направление пользователя за помощью к человеку. Вместо этого в многоходовых оценках Anthropic измеряется доля ответов, соответствующих требованиям, на протяжении всего разговора. Для этого применяются отдельные критерии для каждого вида риска: достаточно одного неудачного ответа, чтобы весь диалог считался провальным.

Многоходовые тесты и охват реальных условий

Чтобы составить такие тесты, эксперт в соответствующей области описывает цели, тактику, образ, ситуацию, тон и стиль общения симулируемого пользователя. Первый ход пользователя остается неизменным, а отдельная модель Claude генерирует последующие реплики в ответ на тестируемую модель. Каждый сценарий многократно запускается с разными сочетаниями характеристик, а модель-оценщик проверяет полную стенограмму по соответствующим критериям риска.

Независимое варьирование параметров помогает выяснить, что именно влияет на поведение модели: если во всех серьезных случаях используется срочный тон, невозможно отделить влияние серьезности ситуации от влияния тона. Anthropic также рекомендует опираться на наблюдаемое поведение, общедоступные данные, стенограммы испытаний с привлечением red team, отчеты об инцидентах или интервью с экспертами, а не только на вымышленные ситуации. Наборы одноходовых тестов охватывают 16 областей политики на семи языках и в различных продуктах; среда оценки при этом соответствует тестируемому варианту развертывания.

Проведение тестов также требует мер изоляции. Для оценок в области кибербезопасности рекомендации предусматривают изолированные среды без доступа к интернету и мониторинг в реальном времени, чтобы тестовый запуск можно было остановить, если действия модели способны причинить вред в реальном мире.

Проверка оценщиков и статистические ограничения

Автоматизированные оценщики создают дополнительный риск для измерений: даже неисправные системы могут продолжать выдавать правдоподобные оценки. К рекомендуемым мерам защиты относятся четкие критерии с ответом «да» или «нет», однозначные правила учета оговорок и пограничных случаев, заметные оповещения о сбоях, а также проверки на смещения, связанные с длиной ответа, позицией и предпочтением модели к собственным ответам. Независимые специалисты должны вручную оценить выборку стенограмм, чтобы можно было сопоставить согласие оценщика с мнением экспертов и согласие между самими экспертами.

Этот ориентир, полученный на основе человеческой оценки, помогает определить, что нужно исправить. Если эксперты согласны друг с другом, но не с оценщиком, необходимо доработать критерии или сам оценщик; если же эксперты расходятся во мнениях, у оценки может не быть однозначного результата, который можно измерить. Рекомендации также предусматривают предварительную регистрацию метрик, сравнений и пороговых значений улучшения до ознакомления с результатами.

Такие выводы зависят от размера выборки. Anthropic использует минимальные пороговые значения в 100 примеров для сложных многоходовых оценок и 1 000 — для более простых одноходовых тестов, а также проводит повторные запуски, чтобы учесть зашумленные и недетерминированные результаты. По данным Anthropic, доверительные интервалы в многоходовых оценках API могут превышать ±10 процентных пунктов. В многоходовой оценке мошенничества с использованием романтических отношений на claude.ai доля ответов, соответствующих требованиям, составила 98% у Claude Opus 5 и 94% у Opus 5.5, однако разница не была статистически значимой. Этот пример показывает, почему одного лишь численного разрыва недостаточно, чтобы определить, какая модель вела себя безопаснее.

Условия развертывания и отчетность

Конфигурация развертывания — еще один параметр, который необходимо документировать. При проверке Claude Fable 5.1 Anthropic обнаружила, что некоторые ответы косвенно представляли самоповреждение как способ справиться с трудностями, хотя и не поощряли его и направляли пользователя за поддержкой к человеку. По данным компании, повторная оценка с целевыми мерами защиты в системном запросе дала долю ответов, соответствующих требованиям, в 94% на claude.ai против 60% в API. Это сравнение показывает, почему оценки, полученные в разных конфигурациях, нельзя считать равнозначными.

Рекомендации по отчетности также распространяются на версии моделей, параметры выборки, запросы, версии оценщиков и даты. Кроме того, необходимо проводить непрерывную оценку во время тонкой настройки, а не ограничиваться одной проверкой перед выпуском. О серьезных недостатках развернутых систем следует сначала сообщать разработчику, чтобы у него было время устранить их до публикации результатов.

Три главных приоритета Anthropic — определить измеряемый конструкт до сбора данных, проверить оценщика на соответствие суждениям людей и сообщать о неопределенности. В более широком смысле это означает, что утверждение о большей безопасности одной модели по сравнению с другой зависит не только от итоговой оценки, но и от дизайна теста, условий развертывания и статистической мощности.