Хто може проводити аудит передових ШІ? Відсутнє визначення в Угоді Білого дому

Цього тижня лідери Google, OpenAI, Anthropic, Meta, xAI та Nvidia підписали White House Accord on Super Intelligence. Компанії зобов’язалися впровадити чотири рівні контролю для передових моделей: внутрішні засоби контролю, внутрішню команду, що їх перевіряє, незалежного зовнішнього аудитора або оцінювача та незалежний комітет правління. Зобов’язання наразі є добровільними, і угода зазначає, що їх можна згодом закріпити законом.

З чотирьох рівнів найбільшу вагу має зовнішня оцінка. Це єдиний рівень, який ставить когось поза компанією у позицію сказати, чи працюють засоби захисту. Він також найменше визначений. Угода не вказує, хто кваліфікується як незалежний аудитор, яким стандартом вони користуються, який рівень доступу вони отримують, або як зберігається незалежність, коли оцінювач також продає послуги компанії, яку він оцінює. Кожна компанія обирає свого аудитора.

За цих умов дві компанії можуть одночасно оголосити, що вони пройшли незалежну оцінку, і мати зовсім різні значення. Закриття цього розриву вимагатиме відповідей на три питання.

Що має визначати, хто кваліфікується

Достовірне визначення незалежного аудитора ШІ має охоплювати щонайменше чотири аспекти.

Незалежність. Аудитор не повинен перевіряти засоби захисту, які він допомагав розробляти, і не повинен продавати послуги з виправлення чи консультування тій самій компанії, яку оцінює. У зрілих галузях аудиту також стежать за залежністю від гонорарів. Коли один клієнт становить значну частку доходу аудитора, у аудитора виникає мотив бути менш суворим.

Компетентність, що відповідає роботі. «Аудит» охоплює кілька різних видів діяльності у сфері ШІ. Тестування моделі на небезпечні можливості, такі як допомога у кібератаці чи створення біологічної зброї, вимагає дослідників машинного навчання та експертів‑доменно. Перевірка того, чи засоби захисту компанії добре спроектовані та працюють на практиці, потребує досвідчених аудиторів контролю. Аудитор, кваліфікований для одного виду, не автоматично кваліфікований для іншого, і звіт про оцінку має вказувати, який саме вид був проведений.

Доступ і охоплення. Аудитор, який бачить лише документацію, може підтвердити, що захисний механізм існує на папері. Підтвердження його роботи вимагає доступу до систем, журналів, записів схвалень та людей протягом певного часу. Передові моделі змінюються між тренувальними запусками та розгортаннями, тому аудитор також потребує чіткого правила, коли зміна вимагає нової перевірки.

Контроль за аудитором. Хтось має перевіряти перевіряючих. На встановлених ринках аудиту органи акредитації переглядають роботу аудиторів і можуть позбавити їх статусу, коли робота не відповідає вимогам. Це підстраховування саме надає висновкам оцінки вагу.

Інфраструктура, яка вже існує

 Нічого з цього не потрібно вигадувати з нуля. ISO 42001, міжнародний стандарт для систем управління ШІ, надає організаціям рамки для управління ШІ, з документованими засобами контролю, чіткими власниками та безперервним вдосконаленням. Його супутній стандарт, ISO 42006, встановлює вимоги до органів, які проводять аудит і сертифікацію за ISO 42001, включаючи компетенції, які аудитори мають продемонструвати, та правила безсторонності, яких вони повинні дотримуватись. Оскільки органи сертифікації працюють під акредитацією, третя сторона контролює самих аудиторів.

У технічному тестуванні нові рамки заповнюють прогалини. AIUC-1 сертифікує конкретні AI‑агенти у певних розгортаннях, з періодичним стороннім тестуванням на такі проблеми, як галюцинації, обходи безпеки та небезпечне використання інструментів, і базується на засобах контролю ISO 42001.

Штати також тестують моделі для безпосереднього контролю аудиторів. Коннектикут прийняв цього року закон, створюючи пілотну програму, яка стартує у липні 2027 року, у рамках якої Департамент захисту прав споживачів штату схвалюватиме до п’яти незалежних організацій з верифікації. Кожна з них повинна укласти державний договір, що визначає її охоплення, методи, звітні зобов’язання та управління. Така структура відповідає на кілька відкритих питань угоди: хто схвалює аудиторів, яким вимогам вони підлягають і хто їх контролює.

Ці елементи не були створені для оцінки передових моделей, і їх не слід представляти як повну відповідь. Подальша робота полягає у їхньому поєднанні, щоб забезпечення системи управління, технічне тестування моделей та контроль за аудиторами узгоджувалися в рамках одного достовірного визначення незалежності.

Чому правила мають бути встановлені спочатку

Зобов’язання угоди сьогодні є добровільними. Якщо вони стануть законом, правила щодо того, хто може виступати аудитором, мають бути встановлені до набрання чинності мандатом, з трьох причин.

По‑перше, рання практика стає прецедентом. Коли підписанти починають називати аудиторів і публікувати результати, ринок сформує практичні визначення «незалежний» та «кваліфікований». Визначення, встановлені без зовнішнього тиску, схильні до зручності. Законодавці, які приїдуть пізніше, знайдуть ці визначення вже закріпленими в контрактах та очікуваннях.

По‑друге, кваліфіковані можливості потребують часу для створення. Акредитування органів оцінки, підготовка оцінювачів, які розуміються як на передові моделі, так і на тестування контролів, і розробка спільних методів займають роки. Наказ, який з’явиться до того, як ці можливості будуть сформовані, буде виконувати той, хто доступний.

По‑третє, вимога без ринку кваліфікованих оцінювачів призводить до формального виконання пунктів. Компанії задовольнять лише формальну частину правила, регулятори матимуть мало підстав оскаржувати слабкі оцінки, а громадськість отримає лише зовнішнє враження нагляду без суттєвого змісту.

Дехто стверджує, що ще зарано встановлювати ці правила, бо наука про оцінку передових моделей ще молода. Це справедливе занепокоєння щодо методів тестування, які мають постійно розвиватися разом із моделями. Поставлені тут питання стосуються оцінювача: чи він вільний від конфліктів інтересів, чи має необхідну кваліфікацію, чи отримує достатній доступ і підлягає нагляду. На ці питання існують стабільні відповіді, і інші галузі забезпечення вже десятиліттями дають на них відповіді.

Що організації можуть зробити зараз

Компаніям, які створюють або впроваджують передовий ШІ, не потрібно чекати на наказ. При виборі оцінювача вони можуть запитати, які інші послуги фірма надає, які кваліфікації має її команда для конкретного типу оцінки, який обсяг доступу передбачає співпраця та хто контролює роботу фірми. Створення системи управління ШІ вже зараз також дає майбутньому оцінювачу конкретний та задокументований матеріал для оцінки.

Угода створює надійну структуру відповідальності за ШІ. Її цінність залежатиме від того, хто займе роль оцінювача і яким вимогам він підлягатиме, а час для визначення цього – до того, як хтось буде зобов’язаний її використовувати.