Чому закупівлі стають найпотужнішим регуляторним інструментом ШІ

Попри всю увагу, яку приділяють законодавству щодо ШІ, деякі з найважливіших правил, що регулюють технологію, можуть походити з дійсно неочікуваного місця: відділів закупівель.

Як і багато інших регуляторних ініціатив у Сполучених Штатах, Каліфорнія пропонує ранній приклад: штат встановив конкретні вимоги до придбання продуктів і послуг, що використовують генеративний ШІ. Державні органи повинні оцінювати ризик, пов’язаний із закупівлями GenAI, причому використання середнього та високого ризику підлягає додатковій перевірці Департаменту технологій Каліфорнії (CDT). У тендерних документах потрібно вказувати мову розкриття GenAI, і постачальники можуть бути зобов’язані розкривати використання технології, навіть якщо ШІ є випадковим у продукті чи послузі, що купуються.

Ще цікавіше, що відбувається після укладення угоди. Каліфорнія Керівництво щодо закупівлі GenAI розширює нагляд за межі первинної покупки. Від менеджерів контрактів очікується моніторинг технології GenAI протягом часу, оскільки певні зміни в технології можуть спровокувати нову оцінку ризику.

Це змінює ситуацію для постачальників, оскільки проходження закупівель більше не полягає лише у заповненні анкети безпеки та передачі деякої документації. Управління ШІ починає ставати частиною вартості входу на ринок Каліфорнії. І хоча це поточна ситуація в Каліфорнії, вона часто стає орієнтиром для інших штатів, коли федеральне законодавство відсутнє, що означає, що компанії були б короткозорими, розглядаючи це лише як проблему закупівель у Каліфорнії.

Коли покупець починає встановлювати правила

Як відділи закупівель стали точкою відліку для управління ШІ? Уряди можуть роками обговорювати законодавство, але правила закупівель можуть бути більш гнучкими, оскільки їхня аудиторія набагато ближча: будь-хто, хто хоче отримати контракт.

Без всебічного законодавства щодо ШІ покупці знайшли інший спосіб встановити власні очікування щодо ШІ. Вони можуть вирішити, яку інформацію потрібно знати про використання технології постачальником, які докази вони очікують отримати та який рівень ризику готові прийняти перед підписанням контракту. Для великих покупців, зокрема урядів та великих корпорацій, ці вимоги можуть мати значну вагу.

Команди закупівель у приватному секторі мають свої причини почати ставити питання про те, де використовується ШІ або які докази існують щодо наявності належних контролів. Підприємства вже витрачають значний час на перевірку практик безпеки та конфіденційності своїх постачальників. Впровадження ШІ додає ще один набір ризиків, які покупці все більше повинні розуміти перед тим, як передати постачальнику свої дані, інтегрувати його технологію у критичний процес або дозволити йому приймати рішення, що впливають на клієнтів та працівників.

Ваш ризик, пов’язаний із ШІ, може належати комусь іншому

Одне з найважливіших аспектів підходу Каліфорнії полягає в тому, що він визнає, наскільки складно провести чітку межу навколо використання ШІ в організації. Незалежно від того, чи придбала вона власний продукт ШІ, співпрацює з консалтинговими фірмами, що надають послуги, чи просто використовує хмарні сервіси, ШІ вбудований у структуру організацій або їхніх ланцюжків постачання.

Процес закупівель у Каліфорнії враховує частину цього. Він охоплює ІТ та не-ІТ закупівлі, пов’язані з GenAI, включаючи консультантів, що використовують технологію, і передбачає оцінку ризику, коли під час закупівлі виявляється GenAI.

Процес схожий на той, коли команди кібербезпеки зрозуміли, що захист власних систем недостатній, якщо постачальник з доступом до їхніх даних або інфраструктури має слабкі контролі. Це усвідомлення перетворило кібербезпеку третіх сторін у важливу складову управління ризиками постачальників, і ШІ, здається, рухається в цьому ж напрямку.

Воно також створює незручну проблему для організацій, які створили окремі програми для безпеки, конфіденційності, управління ШІ та кожного нового вимоги щодо відповідності. Ризики не поважають ці організаційні межі. Додаток ШІ може одночасно створювати питання конфіденційності, вразливості безпеки та регуляторні зобов’язання.

Створення ще однієї окремої структури для його управління лише додає ще одне місце, де щось може залишитися поза увагою.

Проблема з доказуванням відповідності один раз

Додатковою ускладненням вже складного питання є те, що ШІ змінюється. Моделі оновлюються, постачальники випускають нові функції, співробітники знаходять застосування інструментам, які ніхто не передбачав під час їх придбання, і дані змінюються. Ця динамічність означає, що регулювання також має змінюватися.

Проте велика частина діяльності з відповідності все ще будувалася навколо певного моменту часу. Очікується аудит, тому збираються докази. Клієнт надсилає анкету, і хтось шукає відповіді. З’являється нова вимога, і починається інший проєкт з відповідності.

Такий підхід вже був громіздким, а з ШІ стає все важче його захищати. Оцінка ризику, проведена під час покупки продукту, могла бути цілком точною на той момент, але через рік вона може бути сильно застарілою.

Каліфорнія, схоже, усвідомлює це, оскільки її вказівки щодо моніторингу контрактів вимагає постійної оцінки результатів GenAI, включаючи неточні вихідні дані, сфабрикований контент та упередженість. Зміни або доповнення до технології GenAI в контрактах, які раніше вимагали консультації CDT, також можуть потребувати переоцінки.

Ця NIST AI Risk Management Framework має подібний підхід до управління ризиками ШІ, розглядаючи його як безперервний процес протягом усього життєвого циклу ШІ. Такий підхід вимагатиме іншого мислення від організацій, які звикли готуватись до наступного аудиту і потім з полегшенням видихати, коли він закінчиться.

Закупівлі потребують доказів, а не метушні

Багато хвилювання викликає автоматизована відповідність, особливо коли компанії намагаються встигнути за зростаючою кількістю вимог щодо безпеки, конфіденційності та ШІ. Привабливість зрозуміла, але небезпека виникає, коли ефективність плутають з управлінням.

Завершення робочого процесу не говорить вам, чи змінився базовий ризик. Наприклад, постачальник, який шість місяців тому не використовував ШІ для певної послуги, зараз може його використовувати. Ось чому відповідність має функціонувати більше як цикл, а не як фінішна лінія. Організаціям потрібно знати, що саме вони регулюють, перевіряти, чи контролі продовжують виконувати свої функції, і включати нові ризики та вимоги у процес у міру їх появи.

При правильному виконанні це також робить процес закупівлі значно менш болісним. Коли клієнт запитує, як регулюється ШІ, відповідь не лежить у документі, який хтось написав минулого року для аудиту. Існує актуальний, постійний набір доказів, що демонструє, як ризики керуються на практиці, і це стає комерційно важливим.

Каліфорнія демонструє, як закупівлі можуть перетворити принципи управління ШІ у вимоги, які постачальники дійсно мають виконати, якщо вони хочуть отримати бізнес. Інші покупці у державному секторі можуть робити те ж саме, тоді як команди закупівлі у великих компаніях мають багато стимулів ставити складніші питання своїм постачальникам.

Згодом компанії можуть зрозуміти, що управління ШІ — це не лише те, що вони роблять через вимогу регулятора. Вони будуть регулювати ШІ, тому що команда закупівлі вирішила вимагати від них доказів, і вони охоче це зроблять, аби виграти бізнес.