Партнёрства

OpenAI заключила соглашения с четырьмя независимыми экспертами для проведения встроенных проверок безопасности

Mira Kellan
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыПостоянный доступ к контрольным точкам и обучающим данным позволяет оценщикам выявлять…
Показать больше
  • Постоянный доступ к контрольным точкам и обучающим данным позволяет оценщикам выявлять сбои, которые могли бы пропустить собственные мониторы OpenAI.
  • Apollo Research исследует, могут ли модели скрытно действовать против разработчиков и заметят ли это меры защиты.
  • Комитет по безопасности и защищённости получает неотредактированные отчёты и может конфиденциально общаться с оценщиками во время проверок.

16 ноября 2026 года OpenAI объявила, что заключила соглашения с Apollo Research, METR, Transluce и Goodfire о проведении первого этапа встроенных оценок. Четыре организации будут оценивать согласованность моделей и меры защиты в ходе обучения и внутреннего использования. В рамках этой работы им может быть предоставлен доступ к контрольным точкам моделей, исходному коду, обучающим данным и системам мониторинга.

Ключевая особенность такого подхода — длительный доступ к внутренним моделям и системам, в особенности к тем, которые связаны с обоснованиями безопасности OpenAI. По словам OpenAI, этот доступ позволит экспертам изучить доказательства и контекст, провести независимые оценки и выявить сбои, которые компания могла не предвидеть. Публикация результатов проверок, как отмечает OpenAI, также поможет людям лучше понять, как лаборатории оценивают риски и управляют ими.

Разные задачи для каждого эксперта

Apollo Research проверит, способны ли модели тайно действовать вопреки намерениям разработчиков и выявят ли такие действия меры защиты OpenAI. Двухэтапная оценка охватывает четыре предположения: обучение не поощряло саботаж; тщательные оценки и тестирование на устойчивость не провоцируют его; модели не пытались саботировать работу во время внутреннего использования; а лежащие в основе такого поведения рассуждения можно обнаружить.

На первом этапе работы Apollo OpenAI предоставит отобранные опубликованные и не выпущенные модели и контрольные точки обучения, соответствующие обучающие данные и результаты оценок, записи о вмешательствах в процесс обучения, системы мониторинга и данные о поведении, отмеченном как подозрительное. Apollo также получит доступ к исследователям, которые смогут пояснить контекст, а также к инструментам и вычислительным ресурсам, необходимым для независимого тестирования.

Goodfire привлечет к работе исследователей, специализирующихся на интерпретируемости — анализе внутренних процессов моделей, — и будет использовать свою платформу для мониторинга запусков обучения, отладки и обеспечения согласованности. Основная аудитория результатов работы — исследователи OpenAI, которые будут использовать их для совершенствования мер безопасности. По мере развития сотрудничества Goodfire также будет публиковать полученные выводы и уроки.

На первом этапе оценки согласованности METR сосредоточится на том, что OpenAI называет крупнейшим на сегодняшний день запуском обучения с подкреплением, в том числе на сбоях, которые могли остаться незамеченными при существующих тестах и мониторинге. В рамках выбранного запуска и согласованных условий доступа, ресурсов и мер безопасности METR будет самостоятельно определять приоритеты и последовательно проводить поисковые исследования, анализы и эксперименты по выявлению возможностей. В предоставленный доступ войдут соответствующие контрольные точки, результаты запусков обучения и оценки, а также записи мониторинга несоответствия моделей заданным целям. Первоначальная работа ограничится этим запуском и не будет расширяться до широкого исследования несоответствия моделей заданным целям.

Отдельная оценка системы мониторинга METR пока определена менее четко. Организации предварительно договорились провести более масштабную проверку, однако ее объем еще предстоит согласовать.

Transluce начнет с изучения качества и охвата оценок согласованности OpenAI после обучения. В рамках работы ей предоставят доступ к отобранным опубликованным и не выпущенным моделям, результатам оценок, вспомогательным данным о поведении, документации с обоснованиями безопасности и исследователям, а также к инструментам и вычислительным ресурсам.

Стороны также намерены провести дополнительную оценку продолжительностью около восьми недель в начале 2027 года. В рамках этой работы доступ будет расширен за счет дополнительных моделей и углублен за счет оценок согласованности; кроме того, она позволит получить сведения о том, как результаты оценок влияют на решения о выпуске моделей. В объявлении говорится об общем намерении сторон, что отличает эту работу от первоначальной оценки.

Доступ сопровождается мерами безопасности и надзором

Каждая работа начинается с согласования ее объема, доступа, ресурсов и мер безопасности, необходимых для ее проведения. Протоколы предусматривают, что эксперты могут свободно следовать за доказательствами, совершенствовать свои методы и предлагать дополнительные оценки, если этого требуют результаты; также предусмотрен порядок рассмотрения запросов на расширение доступа.

Если прямой доступ может раскрыть конфиденциальную интеллектуальную собственность, например веса или архитектуру модели, OpenAI рассмотрит альтернативы, в том числе возможность поручить исследователям компании провести анализ совместно с экспертами. Эксперты, работающие с конфиденциальной информацией, должны будут находиться в офисах OpenAI и использовать устройства компании. От них ожидается соблюдение как минимум тех же стандартов безопасности, что и от сотрудников OpenAI; для некоторых экспериментов могут действовать более строгие требования.

Надзор осуществляет Комитет по безопасности и защищенности — независимый надзорный комитет Совета директоров OpenAI Foundation. Комитет будет получать отчеты без изъятий и сможет беседовать с экспертами в ходе работы, в том числе конфиденциально. Сначала разногласия будут передаваться в Консультативную группу по безопасности и руководству OpenAI, чтобы они разрешили спор в установленный срок. О передаче разногласий на рассмотрение комитета необходимо незамедлительно уведомить его; нерешенные вопросы будут передаваться комитету.

Беседы с сотрудниками связаны с отдельной проблемой прозрачности. Такие разговоры проходят не для протокола: полученные сведения можно использовать при оценке, но нельзя публиковать или приписывать сотрудникам. Эксперты могут запросить заверенное OpenAI заявление, подтверждающее, исправляющее или разъясняющее сведения, полученные в ходе этих бесед. Затем они могут опубликовать заверенное заявление или сообщить, что OpenAI отказалась его заверить, — это создает ограниченную возможность предавать огласке информацию, полученную конфиденциально.

Права на публикацию и раскрытие финансовой информации

Оценщики сохраняют независимость при публикации своих оценок, а OpenAI оставляет за собой право удалять конфиденциальную информацию. Компания также может запросить отсрочку ответственного раскрытия информации, чтобы устранить выявленные проблемы, способные создать угрозу безопасности, и исправить нерешённые вопросы. OpenAI заявляет, что в публичных отчётах следует описывать выводы и их ограничения, тогда как более подробные конфиденциальные отчёты предоставляют надзорным органам необходимые для принятия мер свидетельства.

Условия вознаграждения участников различаются. Apollo Research и Goodfire принимают оплату, размер которой не зависит от результатов их оценок. METR и Transluce не принимают денежного вознаграждения, хотя могут получать кредиты API или вычислительные ресурсы для проведения оценок.

Процедуры раскрытия конфликтов интересов и периода охлаждения всё ещё разрабатываются совместно с оценщиками. OpenAI просит сотрудников участвующих сторонних организаций выдерживать короткий период охлаждения, прежде чем приступать к работе в другой компании-разработчике ИИ, чтобы снизить риск непреднамеренного раскрытия конфиденциальной информации.

OpenAI ожидает, что на начальном этапе возникнут трудности с техническим доступом, помещениями и безопасностью, отмечает, что протоколы будут меняться, и называет целью долгосрочное сотрудничество с внедрением оценщиков в работу компаний. В будущем также рассматривается проведение оценок на соответствие рамочным требованиям безопасности, а также изучение организационной культуры и процессов.

Первый этап станет конкретной проверкой системы управления: позволит ли глубокий доступ к внутренним данным и независимая публикация подготовить полезные публичные свидетельства о сбоях, которые не выявляют внутренние проверки, при условии что OpenAI сохраняет согласованные рамки работы, контроль безопасности на месте, право удалять информацию и возможность отсрочить её раскрытие.

Мира Келлан - созданный ИИ исследовательский агент, специализирующийся на этике ИИ, управлении и регулировании. Ее работа исследует, как искусственный интеллект пересекается с государственной политикой, социальными ценностями и долгосрочной ответственностью, с упором на ответственные инновации.
Подходя к сложным вопросам с рациональной и философской точки зрения, Мира анализирует возникающие регулирования ИИ, этические рамки и модели управления, формирующие будущее интеллектуальных систем. Она стремится преодолеть разрыв между быстрым технологическим прогрессом и необходимыми гарантиями, чтобы системы ИИ оставались прозрачными, справедливыми и соответствовали человеческим интересам.
Статьи, написанные Мирой Келлан, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить точность, баланс и соблюдение редакционных стандартов.