調達がAIの最も強力な規制ツールになる理由

AI立法への関心が高まる中、テクノロジーを規制する最も重要な規則のいくつかは、実に予想外の場所、すなわち調達部門から生まれる可能性があります。

米国における多くの規制の始まりと同様に、カリフォルニア州は早期の例を示しています。州は生成AIを使用する製品やサービスの購入に対し、具体的な要件を設けました。州機関はGenAIの購入に伴うリスクを評価し、中リスク・高リスクの利用にはカリフォルニア州テクノロジー局（CDT）の追加審査が行われます。入札要項にはGenAIの開示文言が必要で、AIが製品やサービスに付随するものであってもベンダーはその使用を開示しなければならない場合があります。

さらに興味深いのは、取引完了後に何が起こるかです。GenAI調達ガイダンス初回購入を超えて監視を拡大します。契約管理者は、技術の特定の変更が新たなリスク評価を引き起こす可能性があるため、時間とともにGenAI技術を監視することが求められます。

これはベンダーにとって状況を変えます。調達を通過することがもはやセキュリティ質問票に回答し、いくつかの文書を提出するだけの問題ではなくなるからです。AIガバナンスはカリフォルニアで事業を行うための参入コストの一部となりつつあります。そして、これはカリフォルニアの現状であるものの、連邦法が整備されていない場合、他州にも波及することが多く、企業がこれをカリフォルニアの調達問題とだけ捉えるのは短絡的です。

買い手が規則を作り始めるとき

調達部門はなぜAIガバナンスの最前線となったのでしょうか。政府は法案の議論に何年も費やすことがありますが、調達規則はより機敏です。なぜなら、対象がはるかに直接的で、契約を欲するすべての者に向けられているからです。

包括的なAI法制がない中で、買い手はAIに関する独自の期待基準を設定する別の方法を見出しました。ベンダーの技術使用について何を知る必要があるか、どのような証拠を求めるか、契約締結前に受容できるリスクのレベルを決定できます。特に政府や大企業といった大規模な買い手にとって、これらの要件はかなりの重みを持ちます。

民間セクターの調達チームにも、AIがどこで使用されているか、適切な管理が行われていることを示す証拠はあるかといった質問を始める独自の理由があります。企業はすでにサプライヤーのセキュリティとプライバシー慣行を検証するのにかなりの時間を費やしています。AIの導入は、ベンダーにデータを委ねる、技術を重要なプロセスに組み込む、あるいは顧客や従業員に影響を与える意思決定をさせる前に、買い手が理解すべき新たなリスク群を加えることになります。

あなたのAIリスクは他者に帰属する可能性があります

カリフォルニア州のアプローチで特に重要なのは、組織のAI利用を明確に区切ることがいかに困難になったかを認識している点です。自社のAI製品を購入した場合でも、コンサルティング会社が提供するサービスと協働する場合でも、単にクラウドサービスを利用する場合でも、AIは組織やサプライチェーンに組み込まれています。

カリフォルニア州の調達プロセスはこの一部を考慮しています。IT・非ITのGenAIを含む購入、技術を使用するコンサルタントを対象とし、調達時にGenAIが特定された場合にはリスク評価を求めています。

このプロセスは、サイバーセキュリティチームが、自社システムの保護だけでは不十分で、データやインフラにアクセスできるサプライヤーの管理が甘い場合があると認識した時と似ています。その認識により、サードパーティのサイバーセキュリティがベンダーリスク管理の重要な要素となり、AIも同様の方向へ向かっているようです。

また、セキュリティ、プライバシー、AIガバナンス、そして新たに生じるすべてのコンプライアンス義務のために別々のプログラムを構築している組織にとっては、厄介な問題を生み出します。リスクは組織の境界を尊重せず、AIアプリケーションは同時にプライバシー問題、セキュリティ上の脆弱性、規制上の義務を引き起こす可能性があります。

それを統治するために別のサイロを構築すると、抜け落ちる箇所がさらに増えるだけです。

コンプライアンスを一度証明することの難しさ

すでに複雑な課題に加えて、AIは変化します。モデルが更新され、ベンダーが新機能を提供し、従業員が購入時には想定されていなかったツールの活用法を見つけ、データも変化します。この流動性により、規制も変化する必要があります。

しかし、多くのコンプライアンス活動は依然として特定の時点に基づいて構築されています。監査が来るので証拠を収集し、顧客が質問票を送付すれば誰かが回答を探し、新たな要件が出てくれば別のコンプライアンスプロジェクトが始まります。

このアプローチはすでに手間がかかりますが、AIが加わると防御がますます困難になります。製品購入時に実施されたリスク評価は当時は正確でも、1年後には大幅に時代遅れになる可能性があります。

カリフォルニア州はこれを認識しているようで、契約監視ガイダンスは、誤った出力、捏造されたコンテンツ、バイアスを含むGenAI成果物の継続的な評価を求めています。以前はCDTの相談が必要だった契約におけるGenAI技術の変更や追加も、再評価が必要になる場合があります。

このNIST AI Risk Management FrameworkはAIリスク管理に対して同様の見解を示し、AIライフサイクル全体にわたる継続的なプロセスとして扱います。これを実施するには、次の監査に備えて準備し、終了後に安堵の息をつくことに慣れた組織とは異なる考え方が求められます。

調達は証拠を求め、慌てることはない

自動化されたコンプライアンスへの関心は高まっており、特に企業が増加するセキュリティ、プライバシー、AI要件に追随しようとする中で顕著です。その魅力は理解できるものの、効率性とガバナンスを混同したときに危険が生じます。

ワークフローを完了しただけでは、根本的なリスクが変化したかどうかは分かりません。例えば、6か月前には特定のサービスでAIを使用していなかったベンダーが、現在は使用している可能性があります。これがコンプライアンスがゴールではなくループとして機能すべき理由です。組織は何を統治しているかを把握し、コントロールが本来の機能を継続しているかを確認し、出てきた新たなリスクや要件をプロセスに組み込む必要があります。

適切に実施すれば、調達はかなり楽になります。顧客がAIの統治方法を尋ねたとき、答えは昨年誰かが監査用に作成した文書にあるわけではありません。実際にリスクがどのように管理されているかを示す現在進行形の証拠が蓄積されており、これは商業的に重要性を増しています。

カリフォルニア州は、調達がAIガバナンスの原則を、ビジネスを獲得したいベンダーが実際に遵守しなければならない要件へと転換できることを示しています。他の公共部門の購買者も同様にでき、エンタープライズの調達チームは自社のサプライヤーに対してより厳しい質問を投げかけるインセンティブが豊富にあります。

企業は最終的に、AIガバナンスが単に規制当局の要求だから行うものではないことに気付くかもしれません。調達チームが証明を求めることを決定すれば、ビジネス獲得のために喜んでそれを行うでしょう。