Почему закупки становятся самым мощным регулятивным инструментом ИИ

Несмотря на всё внимание, уделяемое законодательству об ИИ, некоторые из самых значимых правил, регулирующих эту технологию, могут появиться из действительно неожиданного места: отделов закупок.

Как и многие регулятивные начала в Соединённых Штатах, Калифорния предлагает ранний пример: штат разработал конкретные требования к покупке продуктов и услуг, использующих генеративный ИИ. Государственные органы должны оценивать риск, связанный с покупками GenAI, при этом использования средней и высокой степени риска подвергаются дополнительному контролю со стороны Департамента технологий Калифорнии (CDT). Тендеры требуют включения языка раскрытия GenAI, и поставщики могут быть обязаны раскрывать своё использование технологии, даже если ИИ лишь случайно присутствует в приобретаемом продукте или услуге.

Еще более интересно, что происходит после заключения сделки. Калифорния руководство по закупкам GenAI расширяет надзор за пределами первоначальной покупки. Ожидается, что менеджеры по контрактам будут отслеживать технологию GenAI со временем, поскольку определённые изменения в технологии могут вызвать новую оценку риска.

Это меняет ситуацию для поставщиков, поскольку прохождение закупок уже не сводится к ответу на опросник по безопасности и предоставлению некоторой документации. Управление ИИ начинает становиться частью цены входа для ведения бизнеса в Калифорнии. И хотя это текущая ситуация в Калифорнии, она часто опережает другие штаты, когда нет федерального законодательства, что означает, что компании были бы близорукими, рассматривая это лишь как проблему закупок в Калифорнии.

Когда покупатель начинает устанавливать правила

Как отделы закупок стали отправной точкой для управления ИИ? Правительства могут тратить годы на обсуждение законодательства, но правила закупок могут быть более гибкими, потому что у них более непосредственная аудитория: любой, кто хочет заключить контракт.

В отсутствие всестороннего законодательства об ИИ покупатели нашли иной способ установить собственные ожидания относительно ИИ. Они могут решить, какую информацию им необходимо знать о использовании технологии поставщиком, какие доказательства они ожидают увидеть и какой уровень риска они готовы принять перед подписанием контракта. Для крупных покупателей, особенно правительств и крупных предприятий, такие требования могут иметь значительный вес.

Команды закупок в частном секторе имеют свои причины начинать задавать вопросы о том, где используется ИИ и какие доказательства существуют, подтверждающие наличие надлежащих контролей. Предприятия уже тратят значительное время на изучение практик безопасности и конфиденциальности своих поставщиков. Внедрение ИИ добавляет еще один набор рисков, которые покупатели всё более должны понимать, прежде чем передать поставщику свои данные, внедрить его технологию в критический процесс или позволить ей принимать решения, влияющие на клиентов и сотрудников.

Ваш риск, связанный с ИИ, может принадлежать кому‑то другому

Одним из более важных аспектов подхода Калифорнии является признание того, насколько сложно провести чёткую грань вокруг использования ИИ в организации. Независимо от того, приобрела ли она собственное решение ИИ, сотрудничает с консалтинговыми фирмами, предоставляющими услуги, или просто использует облачные сервисы, ИИ внедрён в организации или их цепочки поставок.

Процесс закупок в Калифорнии учитывает часть этого. Он охватывает ИТ и неИТ покупки, связанные с GenAI, включая консультантов, использующих технологию, и требует проведения оценки риска, когда GenAI выявлен в процессе закупки.

Процесс похож на тот, когда команды кибербезопасности поняли, что защита собственных систем недостатна, если поставщик с доступом к их данным или инфраструктуре имеет слабые контроли. Это осознание превратило кибербезопасность третьих сторон в важную часть управления рисками поставщиков, направление, в котором, по‑видимому, движется и ИИ.

Это также создает неудобную проблему для организаций, которые создали отдельные программы для безопасности, конфиденциальности, управления ИИ и каждой новой обязательной нормы. Риски не уважают эти организационные границы. Приложение ИИ может одновременно вызывать вопросы конфиденциальности, уязвимости в безопасности и регулятивные обязательства.

Создание ещё одного силоса для его регулирования лишь добавляет ещё одну точку, где что‑то может упустить из виду.

Проблема с однократным доказательством соответствия

Дополнительным усложнением уже сложного вопроса является то, что ИИ меняется. Модели обновляются, поставщики выпускают новые функции, сотрудники находят применения для инструментов, о которых никто не думал при их покупке, и данные меняются. Эта изменчивость означает, что регулирование также должно меняться.

Тем не менее большая часть деятельности по обеспечению соответствия всё ещё строится вокруг конкретного момента. Приближается аудит, поэтому собираются доказательства. Клиент отправляет опросник, и кто‑то ищет ответы. Появляется новое требование, и начинается ещё один проект по соответствию.

Этот подход уже был громоздким, но с ИИ он становится всё труднее защищать. Оценка риска, проведённая при покупке продукта, могла быть полностью точной в тот момент, но через год уже может быть сильно устаревшей.

Калифорния, по-видимому, признает это, поскольку её руководство по мониторингу контрактов требует постоянной оценки поставок GenAI, включая неточные результаты, сфабрикованный контент и предвзятость. Изменения или дополнения к технологиям GenAI в контрактах, которые ранее требовали консультации CDT, также могут потребовать переоценки.

Фреймворк управления рисками ИИ NIST NIST AI Risk Management Framework занимает аналогичную позицию в управлении рисками ИИ, рассматривая его как непрерывный процесс на протяжении всего жизненного цикла ИИ. Это потребует иного мышления от организаций, привыкших готовиться к следующему аудиту, а затем вздыхать с облегчением, когда он заканчивается.

Закупки требуют доказательства, а не суеты

Существует много ажиотажа вокруг автоматизированного соответствия, особенно поскольку компании пытаются успевать за растущим числом требований в области безопасности, конфиденциальности и ИИ. Привлекательность понятна, но опасность возникает, когда эффективность путают с управлением.

Завершение рабочего процесса не сообщает, изменился ли базовый риск. Например, поставщик, который шесть месяцев назад не использовал ИИ для определённой услуги, теперь может его использовать. Поэтому соответствие должно работать как цикл, а не как финишная черта. Организациям необходимо знать, что они регулируют, проверять, продолжают ли контрольные меры выполнять свои функции, и включать новые риски и требования в процесс по мере их появления.

При правильном выполнении это также делает процесс закупок значительно менее болезненным. Когда клиент спрашивает, как регулируется ИИ, ответ не находится в документе, написанном кем‑то в прошлом году для аудита. Существует текущий, непрерывный набор доказательств того, как риски управляются на практике, что становится коммерчески важным.

Калифорния демонстрирует, как закупки могут превратить принципы управления ИИ в требования, которые поставщики действительно должны выполнять, если они хотят получить бизнес. Другие покупатели из государственного сектора могут сделать то же самое, в то время как корпоративные команды закупок имеют сильный стимул задавать более жёсткие вопросы своим поставщикам.

В конечном итоге компании могут понять, что управление ИИ — это не просто требование регулятора. Они будут регулировать ИИ, потому что команда закупок потребовала от них доказательств, и они с радостью это сделают, чтобы выиграть контракт.