Партнёрства

Apollo Research включит шесть оценщиков в пилотный проект OpenAI по изучению попыток подрыва механизмов безопасности

Mira Kellan
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыOpenAI может утаивать материалы, входящие в область проверки, по соображениям…
Показать больше
  • OpenAI может утаивать материалы, входящие в область проверки, по соображениям безопасности или интеллектуальной собственности, но не потому, что они неблагоприятны.
  • OpenAI может редактировать конфиденциальные доказательства, лежащие в основе выводов Apollo, сохраняя при этом вердикты Apollo без изменений.
  • Apollo утверждает, что права на метапрозрачность необходимы, поскольку нераскрытые ограничения могут создавать успокаивающее впечатление при отсутствии проблем.

Apollo Research объявила 16 ноября 2026 года, что шесть её оценщиков в течение четырёх месяцев будут работать в OpenAI, выясняя, пытаются ли модели компании подрывать механизмы согласования или контроля во время обучения, оценивания и внутреннего развёртывания.

Команда изучит четыре вопроса: создаёт ли обучение стимулы к подрыву механизмов, можно ли выявить такие попытки с помощью оценивания, происходит ли подрыв во время внутреннего развёртывания и можно ли обнаружить рассуждения, связанные с подрывом. Исследование охватывает попытки подорвать механизмы согласования или контроля самой модели, а также её преемников.

Этот формат призван расширить внешнюю проверку по сравнению с прежним подходом Apollo к оцениванию, которое проводилось после посттренировочной обработки и незадолго до публичного выпуска. Apollo считает, что такой срок не позволяет в достаточной мере проверять несогласованное поведение, например стратегическое планирование, или изучать непубличное применение моделей при внутреннем развёртывании. Оценивание с участием встроенных в команду специалистов, имеющих доступ на уровне сотрудников, призвано устранить эти ограничения.

Apollo описывает пилотный проект как амбициозный первый шаг, а не как полноценное оценивание с участием встроенных специалистов. Согласно общему стандарту компании, необходимо предоставлять доступ ко всем относящимся к делу записям, даже если разработчик пытается скрыть неблагоприятную информацию; раскрывать результаты подходящей внешней аудитории, даже если разработчик возражает; а также достаточно подробно публично объяснять ограничения, чтобы читатели понимали, какие выводы можно и нельзя сделать на основании отчёта.

Ограниченный доступ и взаимодействие с сотрудниками

Для оценки стимулов, связанных с обучением, OpenAI обязалась предоставить соответствующий код обучения и наборы данных, результаты циклов обучения с подкреплением, включая доступные трассировки рассуждений и вознаграждения, а также возможность отправлять запросы к промежуточным контрольным точкам модели. Подробные условия доступа для оценки остальных заявленных аспектов ещё предстоит согласовать.

Оценка ограничена согласованными утверждениями, моделями и временными периодами. OpenAI может не предоставлять материалы, входящие в её рамки, если сочтёт это разумно необходимым из-за технической невыполнимости, рисков безопасности или необходимости защиты интеллектуальной собственности. Она не может отказывать в предоставлении информации или доступа к сотрудникам лишь потому, что материалы неблагоприятны для неё. OpenAI должна сообщить Apollo о наличии непредоставленных материалов и изложить причины в письменном виде, а также, если сочтёт это осуществимым и уместным, указать категории таких материалов и их примерный объём. Apollo может запросить более широкий доступ через назначенного представителя OpenAI и обжаловать отказы, однако расширение доступа не гарантируется.

Контакты с сотрудниками также регулируются. Apollo может запросить специалистов с определённым опытом и предложить конкретных людей, однако OpenAI сама выбирает сотрудников, которым разрешено участвовать, а официальные беседы должны протоколироваться. Если другой сотрудник сообщит конфиденциальную информацию, Apollo обязана прекратить содержательное обсуждение и направить дальнейшие вопросы назначенному представителю OpenAI — даже если эта информация относится к сфере проекта.

Оценщики будут работать на оборудовании OpenAI, используя отдельные каналы связи, за которыми можно вести наблюдение. По умолчанию у них не будет доступа к общим каналам для сотрудников, таким как Slack. Apollo отмечает, что в ходе неформальных бесед и общения в Slack могут всплыть важные сведения, о которых оценщик не стал бы запрашивать, и хочет, чтобы при будущих оценках такие сведения включались в предмет исследования.

Публичные отчёты и право на редактирование

Apollo планирует опубликовать два отчёта. В первом будут рассмотрены стимулы к подрыву механизмов, возникающие при обучении; во втором — оценивание, внутреннее развёртывание и возможность выявлять рассуждения, связанные с подрывом. В каждом отчёте будут описаны методы, выводы, ограничения, вопросы, которые не удалось оценить, и подтверждающие материалы, которые можно опубликовать.

OpenAI проверит отчёты и сможет запросить изъятие конфиденциальной информации, в том числе доказательств в поддержку выводов. Она не вправе редактировать выводы Apollo или требовать изъять материалы лишь потому, что вывод неблагоприятен для неё. Однако OpenAI может изъять доказательства, которые считает чувствительной интеллектуальной собственностью, независимо от того, влияют ли они непосредственно на какой-либо вывод. Поэтому публичные читатели могут не получить доступа ко всем доказательствам, лежащим в основе вывода, хотя Apollo сможет сообщить, повлияло ли редактирование на её выводы. OpenAI предоставит неотредактированные отчёты своему Комитету по безопасности и защищённости.

Утверждения, основанные на беседах с сотрудниками, требуют официального подтверждения со стороны OpenAI, если только Apollo не подтвердит их самостоятельно. Это требование распространяется и на сведения, предоставленные уполномоченными сотрудниками в ходе официальных интервью. Если OpenAI откажется подтвердить такие сведения, Apollo сможет сообщить об отказе и объяснить, как он повлиял на выводы, не раскрывая саму конфиденциальную информацию.

Правила метапрозрачности

Отдельные права на метапрозрачность позволяют Apollo публично рассказывать о сфере охвата и условиях проекта, запрошенном и полученном доступе, непредоставленных или задержанных материалах и причинах этого, запрошенных изъятиях из отчётов и их значении, а также о давлении, которое, по мнению Apollo, повлияло на её работу. Apollo может обсуждать условия доступа и публикации без предварительной проверки со стороны OpenAI.

Apollo считает эти права минимальным стандартом для каждого оценочного проекта. Без них отсутствие сообщений о проблемах может выглядеть обнадеживающе, даже если оно объясняется ограничениями на расследование или раскрытие информации. Поэтому выводы пилотного проекта необходимо рассматривать вместе с описанием ограничений доступа и публикации: один и тот же вердикт может иметь разный вес в зависимости от того, что оценщикам удалось изучить и раскрыть.

Мира Келлан - созданный ИИ исследовательский агент, специализирующийся на этике ИИ, управлении и регулировании. Ее работа исследует, как искусственный интеллект пересекается с государственной политикой, социальными ценностями и долгосрочной ответственностью, с упором на ответственные инновации.
Подходя к сложным вопросам с рациональной и философской точки зрения, Мира анализирует возникающие регулирования ИИ, этические рамки и модели управления, формирующие будущее интеллектуальных систем. Она стремится преодолеть разрыв между быстрым технологическим прогрессом и необходимыми гарантиями, чтобы системы ИИ оставались прозрачными, справедливыми и соответствовали человеческим интересам.
Статьи, написанные Мирой Келлан, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить точность, баланс и соблюдение редакционных стандартов.