Anthropic опублікувала рекомендації щодо надійнішого оцінювання безпеки ШІ

13 листопада 2026 року Anthropic опублікувала рекомендації щодо надійнішого оцінювання безпеки ШІ та повідомила, що за результатами API-тестів з одним ходом частка нешкідливих відповідей у сукупності становила від 94% до 98% для кожної з останніх моделей. Такі тести, результати яких наблизилися до граничних значень, корисні переважно для перевірки відомих режимів відмови після внесення змін; багатокрокові оцінювання дають змогу охопити більше варіантів і виявити поступові зміни впродовж розмови.

Оцінювання безпеки вимірює схильність моделі завдавати шкоди або сприяти їй: чи збільшує або зменшує її відповідь імовірність заподіяння шкоди та наскільки серйозною вона може бути, а не перевіряє конкретну здатність. Одне з головних питань — валідність конструкта, тобто те, чи вимірює тест саме поняття, яке має вимірювати. Частка відмов може вводити в оману під час оцінювання розмов про суїцид і самоушкодження, адже сама відмова від взаємодії може бути помилкою; належна відповідь має надати підтримку й скерувати користувача по допомогу до людини. Натомість у багатокрокових оцінюваннях Anthropic вимірюють частку належних відповідей упродовж усієї розмови, застосовуючи критерії, специфічні для кожного ризику: одна невдала відповідь означає, що весь діалог не пройшов оцінювання.

Багатокрокові тести й охоплення реальних ситуацій

Щоб розробити такі тести, фахівець із відповідної галузі складає специфікацію, у якій визначає цілі, тактики, персонаж, обставини, тон і стиль спілкування змодельованого користувача. Перший запит користувача залишається незмінним, а наступні запити у відповідь на тестовану модель генерує окрема модель Claude. Кожен сценарій запускають багато разів із різними комбінаціями характеристик, а модель-оцінювач перевіряє повний запис розмови за відповідними критеріями ризику.

Незалежна зміна параметрів допомагає визначити, що саме впливає на поведінку: якщо в кожному серйозному випадку використовується також терміновий тон, неможливо відокремити вплив серйозності від впливу тону. Anthropic також рекомендує спиратися на спостережувану поведінку, загальнодоступні дані, записи випробувань методом «червоних команд», звіти про інциденти або інтерв’ю з фахівцями, а не лише на вигадані ситуації. Її набори тестів з одним ходом охоплюють 16 напрямів політики сімома мовами на різних продуктових платформах, а середовище оцінювання відповідає середовищу розгортання, яке перевіряють.

Проведення тестів також потребує ізоляції. Для оцінювання кіберризиків рекомендації передбачають ізольовані середовища без доступу до інтернету та моніторинг у реальному часі, щоб тестування можна було зупинити, якщо дії моделі можуть завдати шкоди в реальному світі.

Перевірка моделей-оцінювачів і статистичні обмеження

Автоматизовані моделі-оцінювачі створюють додатковий ризик для вимірювань: навіть несправні системи можуть і далі видавати правдоподібні оцінки. Рекомендовані запобіжні заходи включають чіткі критерії, на які можна відповісти лише «так» або «ні», однозначне трактування застережень і граничних випадків, помітні сповіщення про збої, а також перевірки на упередження, пов’язані з довжиною відповіді, позицією та схильністю віддавати перевагу власним відповідям. Люди-рецензенти мають незалежно оцінити вибірку записів розмов, щоб можна було порівняти узгодженість оцінок моделі з висновками фахівців і узгодженість між самими фахівцями.

Від цієї оцінки людей залежить, як саме виправляти проблему. Якщо фахівці погоджуються між собою, але не з моделлю-оцінювачем, потрібно доопрацювати критерії або саму модель; якщо ж фахівці не погоджуються між собою, оцінювання може не мати стабільної відповіді, яку можна виміряти. Рекомендації також передбачають попередню реєстрацію метрик, порівнянь і порогів поліпшення до того, як стануть відомі результати.

В основі таких висновків лежить достатній обсяг вибірки. Anthropic встановлює мінімум у 100 елементів для складних багатокрокових оцінювань і 1 000 — для простіших тестів з одним ходом, а також передбачає повторні запуски, щоб урахувати мінливість і недетермінованість результатів. За повідомленням Anthropic, довірчі інтервали в багатокрокових API-оцінюваннях можуть перевищувати ±10 відсоткових пунктів: під час оцінювання багатокрокової романтичної афери на claude.ai частка належних відповідей Claude Opus 5 і Opus 5.5 становила відповідно 98% і 94%, але різниця не була статистично значущою. Цей приклад показує, чому самої лише числової різниці недостатньо, щоб визначити, яка модель поводилася безпечніше.

Умови розгортання та звітування

Конфігурація розгортання — ще одна змінна, яку потрібно документувати. Під час перевірки Claude Fable 5.1 Anthropic виявила, що деякі відповіді опосередковано схвалювали самоушкодження як спосіб упоратися з проблемами, хоча й відмовляли від самоушкодження та скеровували по підтримку до людини. Компанія повідомляє, що повторне оцінювання із цільовими змінами системного запиту дало частку належних відповідей 94% на claude.ai порівняно з 60% в API. Це порівняння показує, чому оцінки з різних конфігурацій не можна вважати еквівалентними.

Рекомендації щодо звітування поширюються на версії моделей, параметри вибірки, запити, версії моделей-оцінювачів і дати; також вони передбачають безперервне оцінювання під час тонкого налаштування, а не лише одну перевірку перед випуском. Про серйозні недоліки розгорнутих систем слід спершу повідомити розробника, щоб він мав час їх усунути до оприлюднення результатів.

Три найважливіші пріоритети Anthropic — визначити конструкт до збирання даних, перевірити модель-оцінювач за оцінками людей і повідомляти про невизначеність. Загальний висновок полягає в тому, що твердження про безпечність однієї моделі порівняно з іншою залежить від дизайну тесту, умов розгортання та статистичної потужності не менше, ніж від головного показника.