AIモデルとプラットフォーム
Google Cloud、顧客所有のBigQueryテーブルにエージェントのテレメトリーを記録
Unite.AI を Google の優先ソースに追加
要点Operational traces deliberately exclude prompts and responses so monitoring never…
もっと見る
- Operational traces deliberately exclude prompts and responses so monitoring never grants tools access to conversation substance.
- Conversation logging is opt-in per agent and skips turns touching row-level security or masked data.
- Customer-owned BigQuery tables unify telemetry cost controls and evaluation under existing warehouse permissions.
Google Cloudは2026年11月13日、AIエージェントの監視・評価ツールを拡充し、BigQueryとLookerを利用するマネージドデータエージェントおよびAgent Development Kit (ADK)やLangGraphで構築されたカスタムエージェント向けに、顧客が管理できるログ記録、ダッシュボード、プライバシー保護策、利用額の上限を追加しました。
このシステムは、自社提供のエージェントとカスタムエージェントに共通のテレメトリーパスを使用します。マネージドのConversational Analyticsエージェントはテレメトリーを自動的に出力します。一方、カスタムのADKエージェントやLangGraphエージェントは、SDKに1行の計測コードを追加することで、構造化テレメトリーを送信できます。データは顧客が所有するBigQueryテーブルに格納され、Google Cloudの開発者向けツールや管理者向けツールで分析できます。
主要な監視機能のいくつかは一般提供（GA）されています。BigQuery Studioの組み込みダッシュボードでは、利用状況、アクティブなセッション、主なナレッジソース、レイテンシーを追跡できます。Conversational Analytics向けのLooker System Activityダッシュボードも、Looker (Google Cloud core)とLooker (original)でGAとなっており、エンゲージメントとトークン使用量を確認できます。「回答 & フィードバック」タブでのユーザー評価とクエリの確認は、引き続きプレビュー段階です。
運用トレースには会話内容を含めない
Google Cloudは、管理者とエージェントの所有者が運用テレメトリーと会話内容を別々に管理できるよう、両者を分離しています。Cloud Monitoringはリクエスト数、レイテンシー、トークン使用量の集計指標を提供し、Cloud Traceは各リクエストの処理を段階ごとに示すスパンを提供します。Cloud Traceのオブザーバビリティスコープを使えば、複数のエージェントプロジェクトにまたがるテレメトリーを集約できます。
これらの運用指標と、サニタイズされた自社提供エージェントのトレーススパンには、ユーザーのプロンプト、モデルの応答、内部思考、生成されたSQLなど、顧客の会話内容は含まれません。そのため、プラットフォームチームは、運用ツールに各やり取りの内容へのアクセス権を自動的に与えることなく、活動を監視できます。
より詳細な監査を行う場合、エージェントの所有者や編集者は、エージェントごとに会話ログの記録を有効にできます。その後、Googleが管理するサービスエージェントが、プロンプト、応答、ターン単位のテレメトリーをBigQuery Storage Write API経由でストリーミングし、顧客所有の agent_events テーブルに書き込みます。このテーブルには、データセットのIDおよびアクセス管理権限、顧客管理の暗号鍵、VPC Service Controlsが引き継がれます。
プライバシー保護機能は、ログに記録する前に各ターンを確認します。ナレッジソースで行レベルのセキュリティ、列レベルのポリシータグ、または動的データマスキングが使用されている場合、そのターンはログに記録されません。ログ記録エラーが発生しても、ユーザーのチャットセッションは中断されません。したがって、この設計では、広範な運用状況の可視化と、明示的に有効化した場合に限られる、やり取り全体へのより限定的なアクセスとを区別しています。
Google Cloudによると、カスタムエージェントはオープンソースのADKプラグインを通じて、より詳細な診断情報を保持できます。このプラグインを使うと、ツール呼び出しの全階層、時系列テレメトリー、マルチモーダルのペイロードをBigQueryにストリーミングできます。一方、自社提供エージェントの会話ログでは、低レベルのツール引数と内部SQLを意図的に除外します。
利用額の上限設定はダッシュボードにとどまらない
ログはコスト管理の基盤にもなります。BigQueryでは、会話の各ターンについて、入力、出力、思考、キャッシュ済み、合計の各トークン数を、ターン全体のレイテンシーとともに記録します。Looker System Activityでは別途、ビジネスインテリジェンスの各種ワークロードにおける入力トークン数と出力トークン数の推定値を報告します。
クエリごとのBigQueryスキャン対象バイト数の上限にはドライランによる推定値が使われ、オンデマンドのスキャン料金を発生させずに、上限を超えるクエリをブロックします。これとは別に、BigQueryとConversational Analytics APIの日次入力トークン数・出力トークン数の割り当て上限は、現在プレビュー段階です。この上限は、Google Cloudコンソールまたは gcloud CLIを通じて、プロジェクト、ユーザー、またはエージェントごとに設定できます。
この仕組みでは、利用状況の報告と積極的な上限設定を組み合わせています。スキャン対象バイト数の上限はクエリの実行前に支出を抑え、プレビュー中のトークン割り当て上限は、プロジェクト、ユーザー、個々のエージェントにまたがるエージェントの利用量にも制限を適用します。
評価結果を本番ログと並べて確認
Google CloudのオープンソースツールPrismは、BigQueryテーブルまたはLooker Exploreを根拠とするConversational Analyticsエージェントをテストします。再利用可能なテストスイート、正規表現によるアサーション、複数リージョンにまたがるエージェントの検出に対応しています。評価では、プロンプト、モデル、スキーマの変更がユーザーに届く前に、SQLの正確性と回答の品質を重点的に確認します。
Prismは、完了した評価の実行結果を日単位でパーティション分割されたBigQueryテーブルに書き込み、ベンチマーク結果を本番環境の agent_events レコードと並べてBigQueryやLookerで分析できるようにします。これとは別に、BigQueryエージェントのネイティブ評価機能は、APIと手順に沿って進められるColabノートブックを通じて、プレビュー版として利用できます。
今回の発表により、顧客所有のBigQueryテレメトリーが、監視、コスト管理、評価に共通するレイヤーとなり、エージェントの監督が既存のデータウェアハウスの権限設定やセキュリティ管理と結び付きます。マネージド会話ログと主要なダッシュボードはGAですが、トークン割り当て上限、ネイティブ評価機能、一部のLookerフィードバック機能は引き続きプレビュー段階です。そのため、本番環境に導入するチームは、運用トレースと会話全体の境界に加えて、各管理機能の提供状況の違いも考慮する必要があります。
