Модели и платформы ИИ
OpenAI предлагает установить общие ограничения на развитие ИИ, привязанные к этапам обеспечения безопасности

Ключевые моментыOpenAI связывает ограничения разработки передовых моделей с конкретными контрольными…
Показать больше
- OpenAI связывает ограничения разработки передовых моделей с конкретными контрольными этапами мониторинга, а не с фиксированными порогами возможностей.
- Perplexity не может служить общим стандартом, поскольку лаборатории используют разные наборы данных, и он не отражает прирост в рассуждениях.
- Собственные исследования OpenAI показывают неравномерный прирост от ИИ, при этом люди по-прежнему остаются центральным элементом цикла разработки.
Главный научный сотрудник OpenAI Якуб Пахоцки 22 ноября 2026 года опубликовал внутренние измерения перплексии и предложил установить общие ограничения на развитие передовых систем ИИ. Он предупредил: если уже в 2027 году ускорится предварительное обучение моделей, исследования согласования и мониторинга могут не поспеть за этим прогрессом.
Речь идёт о логарифме перплексии, который также называют функцией потерь на основе перекрёстной энтропии. Перплексия показывает, насколько хорошо модель в среднем предсказывает следующий токен; чем ниже её значение, тем точнее предсказания. В расчётах OpenAI использовала зафиксированный срез отложенных данных из собственной кодовой базы — основного набора для оценки моделей, за которым компания следит со времён GPT-3.5.
По словам Пахоцки, показатель GPT-3.5 составлял примерно 0,99; модель поддерживала связную беседу и легла в основу первоначальной версии ChatGPT. У GPT-4 показатель был около 0,91; модель могла эффективно использовать рассуждения по цепочке мыслей. При значениях потерь ниже 0,8 появились новые возможности в области кибербезопасности и математики. При показателе около 0,76 одна из моделей начала демонстрировать заметные результаты при решении открытых математических задач — к тому времени OpenAI уже больше года предлагала такие задачи своим моделям.
Общие ограничения, привязанные к этапам развития мониторинга
Основываясь на недавнем прогрессе, Пахоцки ожидает появления новых значимых возможностей при значениях логарифма перплексии в диапазоне 0,68–0,70. При этом он признаёт, что не знает, в чём именно будут заключаться эти возможности, а существующие методы оценки могут их не выявить. Предложение призывает разработчиков передовых моделей не выходить за установленные на основе перплексии и других показателей пределы, пока способность исследователей понимать поведение ИИ и отслеживать его не достигнет конкретного рубежа. В качестве примера приводится система нового поколения для мониторинга рассуждений по цепочке мыслей: такие системы анализируют письменные рассуждения модели и ищут признаки несогласованности с заданными целями.
Разработчики также совместно устанавливали бы нормы оценки, проводили проверки безопасности с привлечением red team до первого использования таких моделей и вырабатывали общие стандарты прозрачности. Первоначальное ограничение должно стать основой для общей системы последующих ограничений. Пахоцки говорит, что OpenAI раскрыла эти показатели, хотя это и позволило конкурентам лучше понять положение компании, поскольку считает общие меры безопасности неотложной необходимостью.
Сценарий ускорения развития носит условный характер: по словам Пахоцки, серия быстрых фундаментальных прорывов в предварительном обучении теоретически возможна, если ИИ начнёт вносить существенный вклад в алгоритмические исследования. При этом прогресс в области согласования и мониторинга вряд ли сможет поспевать за всем потенциальным ускорением.
OpenAI связывает резкое ускорение снижения потерь на графике за 2026 год главным образом с долгосрочными вложениями в исследования и вычислительные ресурсы; автоматизация сыграла меньшую роль. Тем не менее последние модели компании уже внесли существенный вклад в разработку ИИ.
В исследовательском отчёте OpenAI от 18 ноября 2026 года этот вклад описан конкретнее. Исследователи предварительного обучения приписали людям авторство названных идей для GPT-6 Astra; рассказывая о GPT-6.2 Astra, они описали совместную с Codex разработку идей. В одном случае Codex выявил ключевые выводы, в другом предложенное им изменение помогло успешно реализовать идею. Расчётные показатели успешного выполнения задач без вмешательства человека также заметно различались: 79% — при мониторинге циклов обучения, 35% — при их запуске и 25% — при написании кода для инференса и обслуживания моделей. По мнению авторов отчёта, эти различия показывают, что вклад ИИ в исследования остаётся неравномерным, а человек по-прежнему играет центральную роль в этом процессе.
Проблемы мониторинга, лежащие в основе предложения
В исследовании OpenAI о возможности мониторинга от 10 ноября 2026 года рассматриваются два несовершенных косвенных показателя такой возможности: способность обходиться без цепочки мыслей, то есть выполнять рассуждения за один прямой проход без токенов цепочки мыслей или вызова инструментов, и управляемость цепочки мыслей — способность по запросу добавлять, удалять или иным образом изменять соответствующие токены рассуждений. Согласно исследованию, между более низкой перплексией базовой модели и способностью обходиться без цепочки мыслей наблюдается сильная корреляция, а с более высокой управляемостью связана более слабая корреляция.
Исследование также показало, что обучение с подкреплением повышало управляемость даже без контроля за ходом решения — за исключением ограничений на длину ответа и оценки окончательного ответа. Кроме того, контролируемая тонкая настройка на выходных данных более управляемой модели-учителя могла передавать эту управляемость модели-ученику.
OpenAI предупреждает, что управляемость — показатель с высоким уровнем шума, который не всегда соответствует способности модели уклоняться от мониторинга. Компания ожидает, что дальнейший прогресс предварительного обучения потребует новых подходов к мониторингу. Именно этот технический пробел лежит в основе приведённого Пахоцки примера: возможным рубежом развития может стать создание системы нового поколения для мониторинга рассуждений по цепочке мыслей.
Ограничения перплексии как общего стандарта
Одной перплексии недостаточно, чтобы задать полноценный стандарт. Сравнивать результаты разных лабораторий сложно, поскольку разработчики используют разные наборы для оценки и разные смеси данных для обучения; кроме того, этот показатель напрямую не измеряет выполнение практической задачи. Он также не учитывает прирост возможностей за пределами предварительного обучения: рассуждения по цепочке мыслей способны значительно расширить возможности модели, не снижая перплексию базовой модели.
У этого показателя также есть неизвестный нижний предел. Пачоцки предупреждает, что значение функции потерь, как ожидается, не достигнет нуля: по мере приближения к внутренней энтропии данных видимый прогресс будет замедляться, тогда как меньшее снижение перплексии может соответствовать более значительному росту интеллекта. Поэтому одинаковое числовое изменение не обязательно будет иметь одинаковое практическое значение.
Это предложение превращает технический показатель в проверку системы управления: смогут ли разработчики сделать результаты сопоставимыми между лабораториями и договориться о конкретном этапе надзора, прежде чем пересекать пороговые значения, с которыми Пачоцки связывает появление возможностей, которые нынешние методы оценки, возможно, пока не способны выявить.












