AIがソフトウェアのデリバリーを加速させる中、人間は必死にしがみついている

ソフトウェア開発の大半の歴史において、人間が制御を担ってきました。開発者が変更を行い、別の人がレビューし、誰かが承認し、最終的にデプロイされます。

AIはその全体のシステムを加速させており、私たちはまだ人間をその中心に置こうとしています。開発者は数秒でコードや変更を作成できるようになりました。エージェントはリポジトリ、ツール、インフラストラクチャ、その他のシステムを横断して、人間の関与を減らして作業できます。

私たちの本能はプロセスに人間を再び組み込むことです。プルリクエストをレビューし、ツール呼び出しを承認し、変更をチェックし、デプロイを確認します。なぜなら、AIが本来すべきでないことを行っていないか確認したいからです。必死にしがみついている。

その本能は理にかなっています。人間のレビューは、ソフトウェアが本番環境へ向かう際に制御を維持する手段を提供してくれました。しかし、AIは人間がガバナンスのスケール単位として残れないほどの速度とボリュームで動き始めています。

AIはすでに人間のレビューよりも速く進んでいる

ソフトウェア開発における生成AIの最初の波は、主に開発者がコードをより速く書くことを支援することに焦点を当てました。このだけでもソフトウェアのデリバリーは変わります。コードが増えるほど、アプリケーションの変更、インフラストラクチャの変更、データベースの変更がテスト、セキュリティ、レビュー、デプロイ、本番へと流れる量が増えます。

問題は必ずしもAIが質の低い変更を生み出すことではありません。AIはより多くの変更を、より速く生み出します。その新たな出力すべてを別の人がすべてレビューするという制御を行うと、やがて計算が成立しなくなります。

私たちはすでにその兆候を見ています。Anthropicは最近、Claude Codeユーザーが約93%の権限プロンプトを承認していると報告しました。同社は、繰り返しのプロンプトが承認疲れを引き起こし、承認回数が増えるにつれて人々の注意が低下することを発見しました。Anthropicは現在、自動分類器を使用してアクションを評価し、潜在的に危険なものを人がすべて承認する代わりに停止させています。

それが人間の監視について何を意味するか考えてみてください。誰かが93%の確率で承認をクリックする場合、もう一つ承認を追加しても必ずしも制御が強化されるわけではありません。ある時点で、人間はワークフローの別のステップになるのです。

AIを使ってより多くのソフトウェアを作成できますが、それに対抗して同等に大規模な人間のレビュー体制を作ることはできません。

AIはコード作成から実行へと移行している

コーディングアシスタントはAIに開発での役割を与えました。エージェントはAIにソフトウェア開発ライフサイクル（SDLC）のはるかに多くの部分に参加する能力を提供します。エージェントは目標を受け取り、達成方法を決定し、ツールを使用し、結果を観察し、次に行うことを調整できます。

ソフトウェア工学において、これはファイルの変更、コマンドの実行、リポジトリとのやり取り、API呼び出し、コードのテスト、インフラストラクチャの操作を意味することがあります。人々はエージェントが自律的に作業することにもますます慣れてきています。数百万件の人間とエージェントのやり取りを調査した結果、Anthropic が見つけたところによると、経験豊富なClaude Codeユーザーはセッションの40%以上で完全自動承認を使用しており、新規ユーザーの約2倍の率です。

それは、現在自律エージェントがあらゆる場所で本番環境を運用しているという意味ではありません。実際にはそうではありません。しかし、ソフトウェア開発はこの先の方向性を早期に垣間見ることができます。

現在、AIはより多くの変更を生み出し、人間のレビューは負荷がかかり始めています。次に、AIはSDLCのより多くの段階に参加します。最終的には、エージェントは人間の関与を大幅に減らしながら、変更の作成、検証、デプロイ、観察、修正を行うようになるでしょう。

各段階で、私たちは人がかつて制御を提供していた場所をさらに取り除いています。問題は、AIが作業を行えるかどうかから、AIが単独で行うことを許可すべきかへと変わります。

許可は権限ではない

エージェントが有用な作業を行うにはアクセスが必要です。ソフトウェアのデプロイを支援するエージェントは、リポジトリ、CI/CDシステム、クラウド環境、またはデータベースへのアクセスが必要になることがあります。そのアクセスを奪えば、エージェントの有用性の大部分も失われます。

しかし、アクセスと権限は同じものではありません。エージェントにシステムへのアクセス許可を与えても、そのシステム内のすべてのアクションを実行する権限があるわけではありません。

従来のアクセス制御は、エージェントが何かにアクセスできるかどうかを示すことができます。しかし、エージェントが実行しようとする特定のアクションが実行すべきかどうかを判断する方法も必要です。意思決定を行うシステムが、指示した人とは異なる解釈をしたり、障害に遭遇して別の道を選んだり、誰も予想しなかった方法で正当なツールを使用したりする場合、この判断はより重要になります。

OWASPはこの問題のバージョンを過剰なエージェンシーと呼んでいます。過剰な機能、権限、自律性が有害な行動の原因となり、高影響のアクションには独立した承認が推奨されています。

NVIDIAは同じ問題にアーキテクチャレベルで取り組んでいます。そのOpen Agent Safety Platformはポリシーの実施をエージェントの外側に置き、シンプルなポイントを示しています：エージェントは自らの行動を完全に管理できると期待すべきではありません。

それがAI SDLCの構築方法を形作るべきです。エージェントはデータベースやインフラ環境、デプロイシステムへのアクセス権限が必要になることがあります。しかし、エージェントが自ら安全だと判断した変更をすべて実行すべきだという意味ではありません。

AIは確率に基づいて意思決定を行います。すべての意思決定が自動的に重要システムに対するアクションになるようにすべきではありません。

ヒューマン・イン・ザ・ループだけが全ての答えではない

明白な対応策は、重要なAIアクションの前に人間を配置することです。ある決定についてはそれがまさにすべきことです。誤りは「ヒューマン・イン・ザ・ループ」をすべての決定に対する答えにしてしまうことです。

エージェントが行うすべてのアクションに対して誰かがレビューし承認しなければならないとすれば、AIが取り除くはずだったボトルネックを再び作り出すことになります。さらに、承認が多すぎると監視が習慣化し、終日承認ボタンをクリックするだけの人は必ずしも判断力を発揮しているわけではありません。

意思決定が行われる場所について、より慎重になる必要があります。AIは与えられた仕事の範囲内で意思決定できます。ルールが既に明確な領域はポリシーで処理し、例外や実際に判断が必要な決定は人が担当します。

確立されたポリシーに合致する低リスクの変更は、誰かが見守る必要はありません。ポリシーに違反する変更は自動的に停止すべきです。ビジネス、セキュリティ、運用上の重要な影響がある例外は、人が最終判断を下す必要があります。

これは単にすべてのループに人間を入れるというモデルとは大きく異なります。目的は人間を排除することではなく、人間の注意がすべてのアクションに依存する状態を止め、統治された経路を最も容易な経路にすることです。

制御はアクションが起きる場所に置く

企業は単一のAIモデルやエージェントに標準化することはありません。開発者はさまざまなコパイロットを利用し、チームは異なるモデルを試します。AIは開発者ツール、セキュリティ製品、データプラットフォーム、社内アプリケーションに組み込まれるでしょう。

すべてのAIツールごとに別々のガバナンスプロセスを構築しようとしても規模が合いません。制御はAIが実行しようとするアクションにできるだけ近い位置に置く必要があります。

AIが生成した変更がデプロイパイプラインに入る場合、人間が生成した変更と同じポリシーが適用されるべきです。エージェントがインフラやデータ、プロダクションデータベースを変更しようとする場合でも、システムを取り巻く制御はアクターが変わったからといって消えてはなりません。

変更の出所がリスクを決定するわけではありません。リスクは変更そのものが決めます。開発者、コーディングアシスタント、 自動化プロセス、あるいは自律エージェントが同じ結果に至る別の経路を取っても、そのアクションは重要になる前に同じポリシーの対象となります。

これにより、テクノロジーが変化しても企業が毎回ガバナンスを作り直す必要がなくなります。モデルは変わり、エージェントはより高度になるでしょうが、重要システムを取り巻く制御は一貫したままでいられます。

NISTは AI Risk Management Framework において同様のリスクベースアプローチを採用しており、ガバナンスをAIライフサイクル全体で機能させるべきものと位置付け、最終段階の単一承認ではなくしています。ソフトウェアデリバリーにおいては、AIがすでにたどる経路に制御を組み込むことで、別の手動プロセスを後付けする必要がなくなります。

人が離れると、証拠も一緒に失われる

人間レビューのモデルには別の問題が潜んでいます。プロセスから人を取り除くと、レビュー自体が失われるだけでなく、レビューが行われたことを証明した人物も失われます。

これは、セキュリティ、コンプライアンス、監査要件を持つ企業にとって深刻な問題です。変更内容、変更を開始した主体、適用されたポリシー、合格したかどうか、例外を承認した人物、変更が実行された場所、そしてその後の結果をすべて把握する必要があります。

変更を自動化して証拠を手作業に残すことはできません。人主導のプロセスでは、チームはチケット、承認、パイプラインログ、スクリーンショット、会話などから後で証拠を再構築できます。しかし、変更量が増大すればこの方法は困難になり、機械が継続的に変更を作成・実行する状況では非現実的です。

証拠はデリバリープロセスの一部となるべきです。ポリシー決定、承認、例外、デプロイ、結果は作業が進行する際に記録として生成されます。監査証拠はソフトウェアデリバリーの副産物となり、事後にチームが組み立てるものではなくなります。

AI主導のSDLCにおけるガバナンスの仕事は二つに分かれます。アクションの前に実行すべきか判断し、アクションの後に何が起きたかを証明することです。

人間は消えない。私たちの仕事は変わる

人が関与する回数で制御を測る本能的な衝動は理解できます。レビューが多いほど安全に感じ、承認が多いほど安全に感じます。すべてのループに人間を残すことが安全だと感じるのです。

AIはその前提を検証します。AIが生成できるソフトウェア量が増え続ければ、人間はすべての変更をレビューし、すべてのアクションを承認し、すべてのデプロイを監視し、すべての決定を事後に再構築できなくなります。そうしようとすればAIの速度が遅くなるか、人間の監視が形だけのスタンプになるでしょう。

AI SDLC には異なる分業が必要です。AI がより多くの作業を処理できる一方で、ポリシーは繰り返し可能な決定を管理し、人間は本当に判断を要する場合に介入します。証拠はその過程で自動的に生成されるべきです。

AI が有用になるためには、より多くのアクセス権を与える必要があります。エージェントにより大きな自律性を与えることで、彼らからより多くのレバレッジを得られます。課題は、アクセスと自律性の拡大が静かに無制限の権限へと変わらないようにすることです。

人間がよりしっかりと掴む必要はありません。目標はコントロールを減らすことではなく、すべての決定を自分たちで握り続けることに依存しないコントロールモデルです。コントロールを失うことなく、握りを緩められる仕組みを構築する必要があります。