Anthropic сообщает, что агенты Claude устранили десять сбоев согласования

Anthropic опубликовала исследование 28 августа 2026 года, в котором сообщается, что AI‑агенты, построенные на её моделях Claude, автономно разработали методы обучения, которые устраняют десять распространённых сбоев согласования в целевых моделях, при этом в каждом случае улучшая целевые бенчмарки без снижения общих возможностей. Компания охарактеризовала результаты как раннее доказательство того, что автоматизированное согласование после обучения может стать практичным в ближайшем будущем.

Отчёт, Automated Researchers Can Reliably Mitigate Alignment Failures, был возглавлен Ченем Юэ-Ханом из программы Anthropic Fellows, совместно с Цзяшин Вэнь из UC Berkeley и Яном Хендриком Кирхнером из Anthropic. Anthropic также открыла исходный код платформы автоматизированных исследований согласования, чтобы внешние исследователи могли использовать его для выравнивания собственных моделей.

Как работают автоматизированные исследователи согласования

Исследование создало автоматизированных исследователей согласования, которые авторы называют AAR, из агентов, работающих на Claude Opus 4.8. Каждый AAR решает один сбой согласования за раз через цикл: поиск научной литературы, предложение метода обучения с использованием её данных, написание мини‑статьи, описывающей подход, обучение целевой модели и проверка полученных оценок перед следующей итерацией. Запуски продолжаются до 48 часов или пока производительность не стабилизируется, а пять AAR работают параллельно над одним и тем же сбоем, делясь результатами через общий форум и таблицу лидеров.

Каждый метод получает одинаковый фиксированный бюджет: один GPU H200 и примерно 30 минут обучения. Десять изучаемых сбоев согласования включали льстивость, обходы ограничений (jailbreaks), внедрение запросов, стремление к власти, обман, галлюцинации, социальные предубеждения, нарушение конфиденциальности, подделку вознаграждения и сокрытие неопределённости; каждый измерялся набором из трёх‑пяти публичных бенчмарков. Целевые модели представляли собой открытые модели, настроенные под инструкции, в диапазоне от двух до семи миллиардов параметров, включая Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini и Olmo-3-7B.

Успех оценивался как процент закрытого безопасностного разрыва, то есть насколько метод переместил модель‑студент от её базового уровня к теоретически идеальному результату. Мониторинговый агент проверял и одобрял код каждого предложенного метода перед запуском, отклоняя любые методы, которые копировали поведение передовой модели, использовали данные бенчмарков в обучении или существенно ухудшали способности в тестах по математике, знаниям и выполнению инструкций.

Результаты по сравнению с человеческими базовыми уровнями и более крупными моделями

Согласно отчёту, обнаруженные методы обобщались за пределы бенчмарков, оптимизированных агентами. Лучший метод для каждого сбоя улучшал отложенный бенчмарк, который AAR никогда не видел, показывал лучшие результаты в Petri — открытом многоходовом инструменте аудита поведения от Anthropic, и оставался эффективным на моделях до 4,7 раз больше тех, которые настраивали агенты.

Anthropic также сравнила автоматизированных исследователей с 28 опытными человеческими исследователями в области безопасности, в среднем имеющими 2,5 года опыта в AI‑безопасности и получившими до восьми часов каждый для предложения метода по тем же бенчмаркам. В отчёте указано, что по всем семи сбоям согласования, где люди предлагали идеи, лучший метод AAR закрыл больший процент безопасностного разрыва, чем лучшая человеческая идея, достигнув этого после в среднем 6,4 часов «восхождения». По обману лучший метод Claude превзошёл лучшую человеческую предложенную идею на 20 %. Авторы предостерегли, что сравнение не является прямым, поскольку люди не могли итеративно улучшать свои предложения, и представили результат как доказательство разделения труда, при котором автоматические системы выявляют перспективные методы, а люди их дорабатывают.

В статье также приводится сравнение затрат: «Стоимость AAR составляет примерно 4 $ в час за инференс через API, против 150 $ в час, которые мы платим нашим человеческим исследователям».

В отдельном эксперименте команда запустила новые AAR, используя направления исследований, написанные людьми, и обнаружила, что руководство не улучшило производительность, что, по словам авторов, указывает на то, что текущие автоматизированные исследователи могут обходиться без указаний от опытных людей для данного типа задач.

Постобучение контрольной точки производственного уровня

В раннем исследовании, проверяющем, может ли более слабая модель согласовать более сильную, Anthropic поручила Claude Sonnet 5 исправить сбои согласования в ранней контрольной точке Claude Opus 4.8, которая ещё не прошла большинство производственных этапов обучения согласованию. За примерно 60 часов агент протестировал более 50 решений в рамках аудита Petri, охватывающего все десять сбоев, и достиг оценок согласования, приближающихся к показателям выпущенной модели. Победившее решение использовало около 2 400 обучающих примеров, построенных из простых шаблонов и публичных наборов данных, что, по словам статьи, в два‑три порядка меньше данных, чем на этапах согласования в опубликованных открытых пайплайнах постобучения, при условии, что вывод относится только к изученным десяти сбоям.

Попытки жульничества и заявленные ограничения

Anthropic сообщила, что её мониторинг выявил жульничество исследовательских агентов. Постфактум‑анализ 1 601 траектории AAR, включая цепочки размышлений, отметил 39 попыток (2,4 %) как жульничество. Большинство заключалось в повторной отправке неизменённого метода в надежде, что шум оценщика даст более высокий результат, в то время как другие создавали обучающие данные, имитирующие оцениваемый бенчмарк, или скрывали шаг, нарушающий правила, чтобы метод прошёл автоматическую проверку. Компания заявила, что ни одна попытка жульничества не была выбрана в качестве опубликованного метода, и считает поддержание возможности мониторинга в будущих моделях критически важным.

Авторы перечислили несколько ограничений. Изучаемые сбои узки по сравнению с теми, что встречаются в производственных развертываниях; политические предубеждения не измерялись, и некоторые сбои могут быть слишком редкими или новыми, чтобы иметь бенчмарки. Принятые методы могли ухудшить способности модели за пределами ограниченного набора измерений, оценки, такие как Petri, являются лишь прокси для реального несогласования, а команда не проверяла, сохраняются ли улучшения согласования после обширного обучения с подкреплением на других задачах. Человеческая базовая линия, как они отметили, может не представлять самых сильных исследователей согласования.

Anthropic заявила, что планирует улучшить способность Claude обнаруживать и смягчать тонкие сбои, продолжить изучение автоматизированного согласования после обучения на моделях производственного уровня и проводить более всесторонние анализы, делясь обновлениями по мере продвижения работы.