Aneesh Dhawan, 共同創設者兼CEO、Knit Aneesh Dhawan 共同創設者兼CEO、Knit

レビュー・アーキテクチャがモデルよりもエンタープライズAIで重要になる

エンタープライズAIの次の成熟段階は、より優れたモデルに依存するのではなく、モデルを取り巻く信頼できるアーキテクチャを構築することにある。過去2年間に私はAIガバナンスについて話し合ったが、常に同じ懸念に戻ってくる。ホールシネーション率、精度ベンチマーク、整合性テストである。これらは実際の問題であるが、会話は問題の間違った側に根ざしている。モデルは大幅に改善されたが、検証されていないAI出力が上級意思決定者に到達する数もそれに伴って増加している。この見落としは、レビュー・アーキテクチャの問題を示唆しており、業界はほとんど話し合っていない。モデル・センタリック・ストーリーは現実を先取りしているエンタープライズAIの主なフレームはまだモデル品質を主な変数として扱っている。モデルが十分に正確であれば、出力は信頼できる。2年前、初期のLLMがより一貫性がなくホールシネーションに傾向していたときには、この論理は理解できたが、状況は変化した。今日のモデルは、多大なタスクの範囲で、利害関係者向けの言語で整形式の、引用のある回答を生成する。組織は現在、AIをレビュー・プロセスが処理できる以上の量で使用している。エンタープライズAIの採用に関する研究は、ソフトウェア開発でこのミスマッチを文書化しており、AI支援開発者は21%多くのタスクを完了するが、プル・リクエストのレビュー時間は91%増加する。生産性は上がるが、能力はもうボトルネックではない。 レビュー能力が実際の障害である。インサイト・ワークでのデータの示すものインサイト業界はこの問題を研究するのに都合の良い場所である。研究者は懐疑主義者として訓練されており、相関、因果関係、発見、結論の違いを知っている。データの品質に疑問を投げかけることは仕事の一部である。Knit AI Trust Indexによると、92%のエンタープライズ・インサイト・プロフェッショナルは、AI生成出力が包括的なレビューなしに上級リーダーシップに到達することを報告している。Trust Indexの調査結果は3つの大きな圧力点を特定している。 ボリュームは検証能力を上回っている。 チームは、徹底的に調査するための帯域幅よりも多くの出力を生成している。 信頼性は検証行動よりも速く上昇している。 研究者はAIの品質について広く肯定的な見方を持ちながらも、レビュー慣行が追いついていないことを認識している。 AI作業のレビューのためのツールは生成のためのツールに比べて遅れている。 組織は生成能力に多くを投資しているが、AIが生成したものをレビューして追跡するためのインフラストラクチャには比較的少ないことを投資している。 磨かれた出力はより少ない検査を招くより困難な障害モードは、AIが明らかに間違った答えを生成し、誰かがそれを捕まえる場合ではない。より困難な問題は、権威的で整形式の出力に対する自動化バイアス、つまり検査を減らす傾向である。2025年の体系的なレビューは、AI & Societyで発表され、35のピアレビュー研究を調査し、磨かれた、高い信頼性のAI出力が一貫して人間のレビューの深さを減らすことを発見した。何かが正しそうに見えるとき、私たちはそれをチェックすることに少ない注意を払う。この見落としは、伝播問題を生み出す。分析者が軽くレビューした研究出力は、VPレベルのデッキのデータポイントとなり、ボードレベルの議論の基礎となる。エラーがそこまで移動すると、その起源は不可視となり、修正は高価となる。 2024年には、AI生成の不正確さによる世界的なビジネス損失は670億ドルを超えた。従業員あたりの検証コストは、AI生成コンテンツが正確かどうかを確認するだけで年間14,200ドルに達する。これらはモデル品質の問題ではなく、レビュー・アーキテクチャの問題である。成熟したAIワークフローの実際この問題をうまく管理している組織は、他よりも優れたモデルを使用しているのではない。代わりに、利用しているモデルを取り巻くより徹底的なレビューインフラストラクチャを構築している。4つの原則がそのアプローチを定義する。 可視的プロビニェンス すべてのAI出力には、入力がどこから来たかを示す透明なレコードが付随する。このレコードにより、レビューアーは出力を効率的に評価するために必要な洞察を得ることができる。追跡できない主張を評価することはできない。 ステークスによる階層化レビュー すべてのAI出力が同じリスクを伴うわけではない。成熟したワークフローは、レビューの強度を、間違えることによるダウンストリームの結果に比例して適用する。高リスク出力には、より多くの目と構造化された検証ステップが必要となる。ルーチンワークの出力はより迅速に進む。 適切な場所での摩擦 AI信頼性で最も苦労している組織は、摩擦を一様に除去し、スピードを普遍的な目標として扱っている。成功している組織は選択的であり、AI出力が組織の決定になるハンドオフポイントで、意図的な摩擦を保存している。プロセスでは、AI生成の調査結果がボードデッキに入る前に署名が必要であるか、戦略ディスカッションに入る前に構造化されたチャレンジステップが必要である。 モデル層へのフィードバック・ループ 最良のワークフローは、レビューをデータ生成プロセスとして扱い、チェックポイントとして扱わない。レビューアーがエラーをフラグしたり、AIの勧告をオーバーライドしたりすると、そのシグナルはキャプチャされ、将来の作業でAIをデプロイする方法にフィードバックされる。 OpenAI State...