参照：Anthropicの新機能がAIの信頼性問題を解決できるか？

AIの検証は、すでにしばらくの間深刻な問題となっている。 大規模言語モデル（LLM）は驚くほどの速度で進化しているが、精度を証明するという課題は未解決のままである。

Anthropicはこの問題を解決しようとしており、大手AI企業の中で最も可能性のある解決策を持っている会社だと思われる。

同社は、Citationsという新しいAPI機能をリリースした。これは、Claudeモデルの検証方法を変えるものである。この技術は、ソースドキュメントを簡単に理解できるチャンクに分割し、AIによって生成された文を元のソースにリンクさせる。学術論文が参考文献を引用するのと同様である。

Citationsは、AIが生成したコンテンツが正確で信頼できることを証明するという、AIの最も永続的な課題を解決しようとしている。複雑なプロンプトエンジニアリングや手動での検証を必要とせずに、システムはドキュメントを自動的に処理し、生成するすべての文に対して文レベルのソース検証を提供する。

データは約15%の改善を示しており、従来の方法と比較して引用の精度が向上している。

なぜ今この問題が重要か

AIの信頼性は、企業の採用（および個人の採用）のための重要な障壁となっている。組織が実験的なAIの使用からコア業務への移行を進めるにつれて、AIの出力を効率的に検証できないことによって大きなボトルネックが生じている。

現在の検証システムは明らかな問題を示している。組織は速度と精度のどちらかを選択しなければならない。手動での検証プロセスはスケールしないが、検証されていないAIの出力には多大なリスクがある。この課題は、精度が好ましいだけでなく、必須である規制された業界で特に重大である。

Citationsの導入は、AIの開発において重要な時期に起こっている。言語モデルがより洗練されるにつれて、組み込み型の検証の必要性も比例して増大している。専門的な環境で自信を持ってシステムを展開できるように、精度が妥協できない環境で使用できるシステムを構築する必要がある。

技術アーキテクチャの分解

Citationsの魔法は、そのドキュメント処理アプローチにある。Citationsは、従来のAIシステムとは異なり、ドキュメントを単なるテキストブロックとして扱わない。Citationsは、ソース資料をAnthropicが「チャンク」と呼ぶものに分割する。これらは個々の文またはユーザー定義のセクションであり、検証のための粒状基盤を形成する。

ここに技術的な説明があります。

ドキュメント処理とハンドリング

Citationsは、ドキュメントの形式に応じてそれらを異なる方法で処理する。テキストファイルの場合、標準の200,000トークンのリクエスト制限を超えることはない。これには、コンテキスト、プロンプト、およびドキュメント自体が含まれる。

PDFの処理はより複雑である。システムはPDFを視覚的に処理し、テキストとしてのみ処理しない。これにより、いくつかの重要な制約が生じる。

• 32MBのファイルサイズ制限
• ドキュメントあたりの最大100ページ
• 各ページは1,500〜3,000トークンを消費する

トークン管理

ここで、これらの制限の実用的な側面について説明する。Citationsを使用する場合、トークン予算を慎重に考慮する必要がある。ここにその説明がある。

標準テキストの場合:

• フルリクエスト制限: 200,000トークン
• 含まれるもの: コンテキスト + プロンプト + ドキュメント
• 引用出力に対する別途の課金なし

PDFの場合:

• ページあたりのトークン消費量が高い
• 視覚的な処理オーバーヘッド
• より複雑なトークン計算が必要

Citations vs RAG: 主な違い

Citationsは、Retrieval Augmented Generation (RAG)システムではない。これは重要な違いである。RAGシステムは、知識ベースから関連情報を見つけることに重点を置くが、Citationsはすでに選択された情報を使用することに重点を置く。

これは次のように考えることができる: RAGは、使用する情報を決定するが、Citationsはその情報が正確に使用されることを保証する。これは次のことを意味する。

• RAG: 情報の検索を処理する
• Citations: 情報の検証を管理する
• 両方のシステムの潜在的な組み合わせ: 両方のシステムを組み合わせて使用することができる

このアーキテクチャの選択により、Citationsは提供されたコンテキスト内での精度に優れており、検索戦略は補足的なシステムに任せることができる。

統合パスとパフォーマンス

セットアップは簡単である: Citationsは、Anthropicの標準APIを介して実行される。これは、すでにClaudeを使用している場合、半分の作業が完了していることを意味する。システムは、メッセージAPIと直接統合され、別のファイルストレージや複雑なインフラストラクチャの変更が不要になる。

価格構造は、Anthropicのトークンベースのモデルに従うが、重要な利点がある。ソースドキュメントからの入力トークンに対して支払うが、引用出力自体に対しては追加の課金がない。これにより、使用量に比例してスケールする予測可能なコスト構造が作成される。

パフォーマンスメトリックは、説得力のある物語を語っている:

• 全体的な引用精度が15%向上
• ソースの妄想が完全に排除された（10%の発生から0に減少）
• すべての主張に対する文レベルの検証

検証されていないAIシステムを使用する組織（および個人は）、特に精度が重要な規制された業界や高リスク環境では、不利な立場にある。

今後、次のようなことが見られるだろう:

• Citationsのような機能が標準になる
• テキスト以外のメディアへの検証システムの進化
• 業界別の検証基準の開発

全業界が、AIの信頼性と検証を再考する必要がある。ユーザーは、すべての主張を簡単に検証できるようになる必要がある。