Кто будет проводить аудит передовых ИИ? Отсутствующее определение в White House Accord

На этой неделе лидеры Google, OpenAI, Anthropic, Meta, xAI и Nvidia подписали White House Accord on Super Intelligence. Компании обязались к четырём уровням надзора для передовых моделей: внутренний контроль, внутреннюю команду, её проверяющую, независимого внешнего аудитора или оценщика и независимый комитет совета директоров. Обязательства пока добровольные, и в соглашении говорится, что их могут в дальнейшем оформить в закон.

Из четырёх уровней внешняя оценка имеет наибольший вес. Это единственный уровень, который ставит кого‑то вне компании в положение решать, работают ли меры защиты. У него также наименьшее определение. В соглашении не указано, кто считается независимым оценщиком, какому стандарту они соответствуют, какой объём доступа им предоставляется и как сохраняется независимость, когда оценщик также продаёт услуги компании, которую он проверяет. Каждая компания выбирает своего оценщика.

При этих условиях две компании могут одновременно объявлять, что прошли независимую оценку, но иметь в виду совершенно разные вещи. Закрытие этого разрыва потребует ответов на три вопроса.

Что должно определять, кто квалифицируется

Достоверное определение независимого AI‑оценщика должно охватывать как минимум четыре аспекта.

Независимость. Оценщик не должен проверять меры защиты, которые он помог разрабатывать, и не должен продавать услуги по исправлению или консультированию той же компании, которую он оценивает. В зрелых областях аудита также следят за зависимостью от гонораров. Когда один клиент составляет большую часть доходов оценщика, у оценщика появляется стимул быть менее строгим.

Компетентность, соответствующая задаче. «Аудит» охватывает несколько разных видов деятельности в области ИИ. Тестирование модели на опасные возможности, такие как помощь в кибератаке или в создании биологического оружия, требует специалистов по машинному обучению и экспертов в соответствующей области. Проверка того, что меры защиты компании разработаны правильно и работают на практике, требует опытных аудиторов по контролю. Оценщик, квалифицированный в одной сфере, не автоматически считается квалифицированным в другой, и в отчёте об оценке должно указываться, какая из них была проведена.

Доступ и охват. Оценщик, который видит только документацию, может подтвердить, что мера защиты существует на бумаге. Подтверждение её работы требует доступа к системам, журналам, записям одобрения и людям в течение определённого периода. Передовые модели меняются между обучающими запусками и внедрениями, поэтому оценщику также необходим чёткий критерий, когда изменение требует нового рассмотрения.

Надзор за оценщиком. Кто‑то должен проверять проверяющих. На установленных рынках аудита аккредитационные органы проверяют работу оценщиков и могут лишить их статуса, если она не соответствует требованиям. Эта подстраховка и придаёт выводам оценки вес.

Существующая инфраструктура

 Ничего из этого не нужно изобретать с нуля. ISO 42001, международный стандарт систем управления ИИ, предоставляет организациям структуру управления ИИ с документированными мерами контроля, чёткими ответственными и непрерывным совершенствованием. Сопутствующий стандарт ISO 42006 устанавливает требования к организациям, проводящим аудит и сертификацию по ISO 42001, включая компетенции, которые аудиторы должны демонстрировать, и правила беспристрастности, которым они должны следовать. Поскольку сертификационные органы работают под аккредитацией, третья сторона контролирует самих аудиторов.

В области технического тестирования появляются новые рамки. AIUC-1 сертифицирует конкретные AI‑агенты в определённых развертываниях, с периодическим сторонним тестированием на такие проблемы, как галлюцинации, обходы ограничений и небезопасное использование инструментов, и опирается на меры контроля ISO 42001.

Штаты также тестируют модели прямого надзора за оценщиками. Коннектикут принял в этом году закон, создающий пилотную программу, стартующую в июле 2027 года, в рамках которой Департамент защиты прав потребителей штата одобрит до пяти независимых организаций по верификации. Каждая должна заключить под государственным надзором соглашение, определяющее её объём, методы, обязательства по отчётности и управление. Эта структура отвечает на несколько открытых вопросов соглашения: кто утверждает оценщиков, каким требованиям они должны соответствовать и кто их контролирует.

Эти элементы не были созданы для оценки передовых моделей, и их не следует представлять как окончательный ответ. Предстоящая работа заключается в их интеграции, чтобы обеспечение системы управления, техническое тестирование моделей и надзор за оценщиками сочетались в рамках единого достоверного определения независимости.

Почему правила должны быть установлены в первую очередь

Обязательства в соглашении сегодня добровольны. Если они станут законом, правила того, кто может выступать в качестве оценщика, должны быть установлены до вступления мандата в силу, по трем причинам.

Во-первых, ранняя практика становится прецедентом. Как только подписанты начнут называть оценщиков и публиковать результаты, рынок сформирует практические определения «независимый» и «квалифицированный». Определения, установленные без внешнего давления, как правило, склонны к удобству. Законодатели, пришедшие позже, обнаружат, что эти определения уже внедрены в контракты и ожидания.

Во‑вторых, создание квалифицированных возможностей требует времени. Аккредитация оценочных органов, обучение оценщиков, которые понимают как передовые модели, так и тестирование контроля, и разработка общих методов занимают годы. Мандат, появившийся до того, как такие возможности появятся, будет реализован тем, кто в данный момент доступен.

В‑третих, требование без рынка квалифицированных оценщиков приводит к формальному выполнению пунктов. Компании будут соблюдать букву правила, регуляторы будут иметь мало оснований оспаривать слабые оценки, а общественность получит лишь видимость надзора без реального содержания.

Некоторые считают, что слишком рано устанавливать эти правила, потому что наука об оценке передовых моделей всё ещё молода. Это справедливое опасение относительно методов тестирования, которые должны развиваться вместе с моделями. Поднятые здесь вопросы касаются оценщика: свободен ли он от конфликтов интересов, обладает ли необходимой квалификацией, имеет ли достаточный доступ и подпадает ли под надзор. На эти вопросы существуют устойчивые ответы, и другие области обеспечения уже отвечают на них десятилетиями.

Что организации могут сделать сейчас

Компаниям, разрабатывающим или внедряющим передовой ИИ, не нужно ждать мандата. При выборе оценщика они могут спросить, какие другие услуги фирма предоставляет им, какие квалификации имеет её команда для конкретного типа оценки, насколько широк доступ в рамках взаимодействия и кто контролирует работу фирмы. Создание системы управления ИИ уже сейчас также предоставляет будущему оценщику конкретный и документированный материал для оценки.

Соглашение создает надёжную структуру для подотчётности ИИ. Его ценность будет зависеть от того, кто займет роль оценщика и какие требования к нему будут предъявлены, а время, необходимое для определения этого, наступает до того, как кто‑либо будет обязан его использовать.