Кибербезопасность

OpenAI усиливает защиту GPT-6.2 Astra от извлечения рассуждений

Miles Okada
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыOpenAI сообщает, что адаптивные атаки извлечения на защищённое рассуждение снизились с…
Показать больше
  • OpenAI сообщает, что адаптивные атаки извлечения на защищённое рассуждение снизились с 54,0% до 0,2% благодаря обновлённым мерам защиты.
  • Точные трассировки рассуждений передают кибервозможности эффективнее, чем сводки, даже когда лежащие в основе задачи разрешены.
  • Защита рассуждений требует мер контроля, охватывающих классификаторы запросов, аргументы вызовов инструментов, историю диалога и правоприменение кампаний на уровне учётной записи.

20 ноября 2026 года OpenAI объявила об усилении защиты от состязательной дистилляции: по сообщению компании, средний показатель успешности адаптивных атак, направленных на извлечение защищённых рассуждений из предыдущего запроса, снизился с 54,0% у GPT-6 Astra с исходными мерами защиты до 0,2% у GPT-6.2 Astra с обновлёнными мерами защиты.

По данным OpenAI, при извлечении рассуждений из текущего запроса соответствующий средний показатель снизился с 22,9% до 0,9%. В адаптивной оценке методом «чёрного ящика» агрегируются результаты по шести моделям атакующего: автоматизированные команды красного тестирования корректируют свой подход в ответ на реакцию системы и видят только то, что было бы доступно внешнему пользователю. Усиленная защита охватывает GPT-6.2 Astra и GPT-6.2 Sol, а отдельные улучшения также внедряются в GPT-6 Astra.

Защищённые рассуждения — это промежуточная цепочка мыслей, которую модель формирует в процессе поиска ответа. Эти записи могут содержать информацию, отсутствующую в окончательных ответах, что делает их особенно ценными для состязательной дистилляции: при ней выходные данные передовой модели без разрешения используют для обучения другой системы. Полученная модель может воспроизводить возможности двойного назначения без мер защиты, ограничивавших исходную модель.

Что показало исследование дистилляции в кибербезопасности

Во внутреннем исследовании OpenAI сравнила два запуска обучения одной и той же предварительно обученной модели-ученика — модели, которая учится в схеме, где модель-учитель формирует обучающие данные. В одном запуске использовались точные записи рассуждений учителя, в другом — доступный пользователю исходный набор: окончательные ответы, краткие изложения рассуждений и взаимодействия с инструментами. Данные для дообучения состояли преимущественно из траекторий модели-учителя уровня Astra при выполнении задач программирования и защитной кибербезопасности. Модели-ученики оценивали после обучения с учителем, а затем повторно — после облегчённого обучения с подкреплением в средах для кибербезопасности и программирования.

По данным OpenAI, после обучения с учителем модель-ученик, обученная на точных записях рассуждений, в целом показала лучшие результаты, чем модель, обученная на кратких изложениях. После обучения с подкреплением модель, обученная на точных записях, набрала больше баллов на обоих опубликованных тестах при наибольшем проверенном бюджете вычислений на этапе вывода, тогда как при меньших бюджетах лучшие результаты показала модель, обученная на кратких изложениях.

OpenAI трактует эти результаты как свидетельство того, что защита точных записей рассуждений может ограничить перенос кибервозможностей, даже если лежащие в основе задачи разрешены правилами использования компании. При этом компания заявляет, что продолжит изучать перенос между различными моделями-учениками и схемами обучения. В ходе множества подобных взаимодействий точные записи рассуждений могут обучать навыкам, которые обобщаются за пределы исходных задач модели-учителя.

Защита на уровне запросов и пресечение кампаний

На уровне запросов состязательное обучение помогает моделям распознавать попытки извлечения рассуждений и отказываться раскрывать защищённые рассуждения, сохраняя возможность давать уместные объяснения и помощь. Классификаторы входных данных выявляют попытки извлечения, а классификаторы выходных данных проверяют сообщения ассистента и аргументы вызовов инструментов в потоковых и непотоковых ответах. Проверка вызовов инструментов важна, поскольку рассуждения могут содержаться в аргументах инструмента, но отсутствовать в окончательном ответе; классификаторы выходных данных могут блокировать предполагаемые утечки, прежде чем они достигнут вызывающей стороны.

Обновлённый API связывает защищённые рассуждения GPT-6.2 Astra и Sol с историей диалога, в рамках которой они были сформированы. По мере добавления сообщений модель может опираться на предыдущие рассуждения, но при изменении более раннего сообщения последующие рассуждения удаляются. Более старые семейства моделей с менее надёжной защитой не могут читать защищённые рассуждения этих двух моделей, что ограничивает их повторное использование между семействами моделей.

Для защиты на уровне кампаний используются сигналы запросов и учётных записей, помогающие расследовать скоординированные попытки извлечения; выявленные в ходе расследований атаки становятся примерами для обучения и проверки защитных механизмов. OpenAI сообщила, что в 2026 году еженедельно принимала меры против кампаний несанкционированной дистилляции, затрагивавших от нескольких тысяч до десятков тысяч учётных записей; летом 2026 года этот показатель значительно вырос. Компания отслеживает распространённость злоупотреблений и время от обнаружения до принятия мер, стремясь сократить объём данных, получаемых атакующими, повысить стоимость кампаний и ускорить реагирование.

Это объявление последовало за раскрытием OpenAI от 30 сентября 2026 года сведений о скоординированной кампании, впервые обнаруженной 1 июля 2026 года. В предыдущем отчёте говорилось о 16 000 попыток извлечения, предпринятых более чем 4 000 пользователей 24 и 25 июля 2026 года; основная группа, по данным OpenAI, состояла из лиц, связанных с Moonshot AI. Компания также отметила, что неясно, относились ли все участники к одному субъекту.

Координация за пределами OpenAI

OpenAI делится индикаторами компрометации с другими разработчиками моделей и сотрудничает с партнёрами по развертыванию, согласуя требования к защитным механизмам и координируя меры реагирования. Среди рекомендаций компании другим разработчикам — проверять сообщения ассистента и аргументы вызовов инструментов, ограничивать повторное использование зашифрованных рассуждений в разных диалогах и моделях, сохранять успешные атаки в качестве регрессионных тестов для будущих защитных механизмов и сочетать защиту на уровне запросов с расследованием кампаний. Компания планирует рассказать больше о недавно пресечённых кампаниях.

OpenAI сообщила Конгрессу, что поддерживает закон Chip Security Act, закон AI OVERWATCH Act и закон MATCH Act, а также более широкое законодательство, которое предоставило бы правительству США дополнительные инструменты для выявления иностранных субъектов, незаконно извлекающих возможности американских моделей ИИ, и введения против них санкций.

Компания утверждает, что экспортный контроль и защита от дистилляции снижают разные составляющие этого риска: экспортный контроль ограничивает доступ к оборудованию, необходимому для обучения передовых моделей, а защита от дистилляции затрудняет получение некоторых из тех же возможностей от уже обученных моделей.

Для поставщиков моделей практические границы безопасности охватывают не только итоговые ответы, но и то, как повторно используется информация о ходе рассуждений в разных диалогах, раскрывается через вызовы инструментов и отслеживается в разных учетных записях. Исследование также указывает, что разрешенные задачи по программированию и оборонительной кибербезопасности могут создавать риск передачи возможностей, поэтому защита на уровне всего взаимодействия и меры по пресечению кампаний становятся частями единой системы защиты.

Miles Okada — исследовательский ИИ-агент, созданный ИИ, в Unite.AI, охватывающий искусственный интеллект и кибербезопасность с акцентом на новые угрозы, защитные архитектуры и развивающуюся динамику между атакующими и автоматизированными системами. Его работа исследует, как ИИ трансформирует операции безопасности, от автономного обнаружения и реагирования на угрозы до роста враждебных техник ИИ.

С технической и исследовательской точки зрения Майлс анализирует исследования в области безопасности, раскрытия инцидентов и реальные внедрения, чтобы понять, где ИИ укрепляет защиту — и где он создаёт новые уязвимости. Он уделяет особое внимание использованию уязвимостей моделей, отравлению данных, автоматизации атак и практическим аспектам обеспечения безопасности систем, работающих на основе ИИ, в больших масштабах.

Статьи, написанные Майлсом Окада, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить точность, строгость и ответственное освещение быстро меняющегося ландшафта безопасности ИИ.