Партнерства

OpenAI залучає чотирьох незалежних оцінювачів до вбудованих перевірок безпеки

Mira Kellan
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиПостійний доступ до контрольних точок і навчальних даних дозволяє оцінювачам перевіряти…
Показати більше
  • Постійний доступ до контрольних точок і навчальних даних дозволяє оцінювачам перевіряти збої, які могли б пропустити власні монітори OpenAI.
  • Apollo Research досліджує, чи можуть моделі таємно діяти проти розробників і чи виявлять це запобіжні заходи.
  • Комітет з безпеки та захисту отримує невідредаговані звіти й може приватно спілкуватися з оцінювачами під час перевірок.

16 листопада 2026 року OpenAI оголосила, що уклала угоди з Apollo Research, METR, Transluce і Goodfire про перший етап вбудованих оцінювань. Чотири організації оцінюватимуть узгодженість і захисні механізми під час навчання та внутрішнього використання моделей, отримавши доступ, який може охоплювати контрольні точки моделей, вихідний код, навчальні дані та системи моніторингу.

Визначальною особливістю є тривалий доступ до внутрішніх моделей і систем протягом значного часу, особливо тих, що стосуються обґрунтувань безпеки OpenAI. За словами OpenAI, такий доступ має дати оцінювачам змогу вивчати докази й контекст, проводити незалежні оцінювання та виявляти збої, яких компанія могла не передбачити. OpenAI також розглядає публічні звіти за результатами оцінювань як спосіб дати людям чіткіше уявлення про те, як лабораторії оцінюють ризики та керують ними.

Різні завдання для кожного оцінювача

Apollo Research досліджуватиме, чи можуть моделі приховано діяти всупереч намірам їхніх розробників і чи виявлять такі дії захисні механізми OpenAI. Оцінювання складатиметься з двох етапів і охопить чотири твердження: навчання не стимулювало моделей до саботажу; ретельні оцінювання та тестування на вразливість не провокують таку поведінку; під час внутрішнього використання моделі не вдавалися до неї; міркування, що лежать в її основі, можна було б виявити.

Для першого етапу оцінювання Apollo OpenAI надасть вибрані публічні й неопубліковані моделі та контрольні точки навчання, відповідні навчальні дані й результати оцінювань, записи про втручання в процес навчання, системи моніторингу та позначені як підозрілі моделі поведінки. Apollo також отримає доступ до дослідників, які зможуть надати контекст, а також до інструментів і обчислювальних ресурсів, потрібних для незалежного тестування.

Goodfire залучить до роботи дослідників, які спеціалізуються на інтерпретованості — аналізі внутрішньої будови моделей, — і використовуватиме свою платформу для моніторингу запусків навчання, налагодження та роботи над узгодженістю. Основна аудиторія результатів дослідження — дослідники OpenAI, які використовуватимуть їх для вдосконалення безпеки. Goodfire також публікуватиме висновки й набуті знання в міру розвитку співпраці.

Під час першого етапу оцінювання узгодженості METR зосередиться на найбільшому, за словами OpenAI, на сьогодні запуску навчання з підкріпленням, зокрема на збоях, які могли не виявити наявні тести й системи моніторингу. У межах вибраного запуску та узгоджених умов доступу, ресурсів і безпеки METR самостійно визначатиме пріоритети й ітеративно проводитиме пошук, аналіз та експерименти з виявлення поведінки моделей. Доступ охоплюватиме відповідні контрольні точки, результати запусків навчання й оцінювання, а також записи моніторингу неузгодженої поведінки. Початкове оцінювання обмежиться цим запуском і не переростатиме в широке дослідження неузгодженої поведінки.

Окреме оцінювання системи моніторингу METR поки що узгоджене меншою мірою. Організації попередньо домовилися провести ширше дослідження, однак його обсяг ще належить погодити.

Transluce почне з оцінювання якості й повноти перевірок узгодженості OpenAI після навчання моделей. Доступ охоплюватиме вибрані публічні й неопубліковані моделі, результати оцінювань, допоміжні дані про поведінку, документацію з обґрунтування безпеки та дослідників, а також інструменти й обчислювальні ресурси.

Сторони також мають спільний намір провести на початку 2027 року додаткове оцінювання тривалістю приблизно вісім тижнів. Воно розширило б доступ до інших моделей, поглибило б доступ до оцінювань узгодженості та надало б інформацію про те, як результати оцінювання впливають на рішення щодо випуску моделей. В оголошенні це названо спільним наміром, що відрізняє його від початкового оцінювання.

Доступ супроводжується заходами безпеки та наглядом

Кожна співпраця починається з узгодження обсягу роботи, доступу, ресурсів і заходів безпеки, потрібних для її виконання. Протоколи передбачають, що оцінювачі можуть вільно досліджувати докази, вдосконалювати методи й пропонувати додаткові оцінювання, якщо цього вимагають результати; також визначено порядок розгляду потреб у додатковому доступі.

Якщо прямий доступ може розкрити чутливу інтелектуальну власність, зокрема ваги або архітектуру моделей, OpenAI розгляне альтернативи, серед яких — залучення власних дослідників для проведення аналізу спільно з оцінювачами. Оцінювачі, які працюють із чутливою конфіденційною інформацією, працюватимуть в офісах OpenAI на пристроях компанії. Від них очікують дотримання щонайменше тих самих стандартів безпеки, що й від працівників OpenAI, а для деяких експериментів можуть діяти суворіші вимоги.

Нагляд здійснює Комітет з безпеки та захисту — незалежний наглядовий комітет Ради OpenAI Foundation. Комітет отримуватиме невідредаговані звіти й зможе спілкуватися з оцінювачами під час роботи, зокрема приватно. Спершу спори передаватимуть Групі з питань безпеки та керівникам OpenAI, які мають урегулювати їх у визначений строк. Про передання розбіжностей на вищий рівень комітет потрібно буде негайно повідомити, а невирішені питання передаватимуть на його розгляд.

Розмови з працівниками порушують окреме питання прозорості. Ці розмови відбуваються не для запису: вони можуть допомогти в оцінюванні, але їх не можна оприлюднювати або приписувати конкретним працівникам. Оцінювачі можуть попросити OpenAI засвідчити заяву, яка підтверджує, виправляє або уточнює відомості, отримані під час таких розмов. Після цього вони можуть опублікувати засвідчену заяву або повідомити, що OpenAI відмовилася її засвідчити, створивши обмежений публічний спосіб розкрити інформацію, зібрану конфіденційно.

Права на публікацію та розкриття фінансової інформації

Оцінювачі зберігають незалежність під час публікації своїх оцінок, тоді як OpenAI залишає за собою право вилучати конфіденційну інформацію. Компанія також може вимагати відтермінувати відповідальне розкриття інформації, щоб усунути проблеми, які можуть створити ризики для безпеки, та виправити невирішені питання. OpenAI зазначає, що публічні звіти мають пояснювати результати оцінювання та їхні обмеження, а докладніші конфіденційні звіти — надавати наглядовим органам докази, необхідні для вжиття заходів.

Учасники мають різні фінансові домовленості. Apollo Research і Goodfire приймають винагороду, розмір якої не залежить від результатів їхнього оцінювання. METR і Transluce не приймають грошової винагороди, хоча можуть отримувати кредити API або обчислювальні ресурси для проведення оцінювання.

Процедури розкриття конфліктів інтересів і періоду перерви ще розробляються спільно з оцінювачами. OpenAI просить працівників сторонніх організацій, які беруть участь у програмі, робити коротку перерву перед тим, як долучатися до роботи в іншого розробника ШІ, щоб зменшити ризик ненавмисного розголошення конфіденційної інформації.

OpenAI очікує на початковому етапі труднощів із технічним доступом, приміщеннями та безпекою, зазначає, що протоколи змінюватимуться, і визначає довгострокову співпрацю з вбудованими оцінювачами як мету. Також розглядається можливість майбутнього оцінювання відповідності рамці безпеки, організаційної культури та процесів.

Перший етап має стати конкретною перевіркою системи врядування: чи можуть глибокий внутрішній доступ і незалежна публікація забезпечити корисні для громадськості свідчення про недоліки, які не виявляють внутрішні тести, за умови, що OpenAI зберігає погоджені межі перевірки, заходи безпеки на місці, право вилучати інформацію та можливість відтерміновувати розкриття.

Міра Келлан - дослідницька ШІ-агентка, створена штучним інтелектом, яка спеціалізується на етичних, управлінських та нормативних питаннях штучного інтелекту. Її робота досліджує, як штучний інтелект перетинається з державною політикою, соціальними цінностями та довгостроковою відповідальністю, з акцентом на відповідальному інновуванні.
Підходячи до складних питань з раціональної та філософської точки зору, Міра аналізує нові нормативні акти штучного інтелекту, етичні рамки та моделі управління, які формують майбутнє інтелектуальних систем. Вона прагне звузити розрив між швидким технологічним прогресом та заходами, необхідними для забезпечення прозорості, справедливості та відповідності штучного інтелекту людським інтересам.
Статті, написані Мірою Келлан, створені штучним інтелектом та переглянуті редакційною командою Unite.AI для забезпечення точності, балансу та відповідності редакційним стандартам.