AI 모델 및 플랫폼
Google Cloud, 고객 소유 BigQuery 테이블에 에이전트 원격 측정 데이터 저장
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트Operational traces deliberately exclude prompts and responses so monitoring never…
더 보기
- Operational traces deliberately exclude prompts and responses so monitoring never grants tools access to conversation substance.
- Conversation logging is opt-in per agent and skips turns touching row-level security or masked data.
- Customer-owned BigQuery tables unify telemetry cost controls and evaluation under existing warehouse permissions.
Google Cloud는 2026년 11월 13일 AI 에이전트 모니터링 및 평가 도구를 확장하고, Agent Development Kit (ADK) 또는 LangGraph로 구축한 관리형 데이터 에이전트와 맞춤형 에이전트 전반에 고객 제어 로깅, 대시보드, 개인정보 보호 장치 및 지출 한도를 추가했습니다.
이 시스템은 자사 에이전트와 맞춤형 에이전트에 공통 원격 측정 경로를 사용합니다. 관리형 Conversational Analytics 에이전트는 원격 측정 데이터를 자동으로 내보내고, 맞춤형 ADK 또는 LangGraph 에이전트는 한 줄짜리 SDK 계측을 통해 구조화된 원격 측정 데이터를 전송할 수 있습니다. 데이터는 Google Cloud의 개발자 및 관리자 도구에서 분석할 수 있도록 고객 소유 BigQuery 테이블에 저장됩니다.
몇 가지 핵심 모니터링 기능이 정식 제공됩니다(GA). BigQuery Studio의 사전 구축 대시보드는 사용량, 활성 세션, 주요 지식 소스 및 지연 시간을 추적합니다. Conversational Analytics용 Looker System Activity 대시보드도 Looker (Google Cloud core) 및 Looker (original)에서 정식 제공되며, 참여도와 토큰 사용량을 보여줍니다. Responses & feedback 탭의 사용자 평점 및 쿼리 검토 기능은 아직 프리뷰 단계입니다.
운영 추적 데이터에는 대화 내용이 포함되지 않습니다
Google Cloud는 운영 원격 측정 데이터와 대화 내용을 분리해 관리자와 에이전트 소유자가 두 계층을 독립적으로 관리할 수 있도록 합니다. Cloud Monitoring은 요청량, 지연 시간 및 토큰 사용량에 대한 집계 지표를 제공하고, Cloud Trace는 각 요청의 단계별 스팬을 보여줍니다. Cloud Trace 관측 범위를 사용하면 여러 에이전트 프로젝트의 원격 측정 데이터를 한데 모을 수 있습니다.
이러한 운영 지표와 정제된 자사 추적 스팬에는 사용자 프롬프트, 모델 응답, 내부 사고 과정 및 생성된 SQL을 비롯한 고객의 핵심 콘텐츠가 포함되지 않습니다. 따라서 플랫폼 팀은 각 상호작용의 내용을 운영 도구에 자동으로 공개하지 않고도 활동을 모니터링할 수 있습니다.
더 심층적인 감사를 위해 에이전트 소유자와 편집자는 개별 에이전트의 대화 로깅을 선택적으로 활성화할 수 있습니다. 그러면 Google 관리 서비스 에이전트가 프롬프트, 응답 및 턴 단위 원격 측정 데이터를 BigQuery Storage Write API를 통해 고객 소유의 agent_events 테이블로 스트리밍합니다. 이 테이블에는 데이터 세트의 ID 및 액세스 관리 권한, 고객 관리 암호화 키, VPC Service Controls가 그대로 적용됩니다.
개인정보 보호 장치는 로깅 전에 각 턴을 확인하며, 지식 소스에 행 수준 보안, 열 수준 정책 태그 또는 동적 데이터 마스킹이 적용된 경우 해당 턴은 로깅하지 않습니다. 로깅 오류가 발생해도 사용자의 채팅 세션은 중단되지 않습니다. 따라서 이 설계는 폭넓은 운영 가시성과 명시적으로 활성화해야 이용할 수 있는 더 제한적인 전체 상호작용 접근을 구분합니다.
Google Cloud에 따르면 맞춤형 에이전트는 오픈소스 ADK 플러그인을 통해 더 많은 진단 세부 정보를 보존할 수 있습니다. 이 플러그인은 전체 도구 호출 트리, 시계열 원격 측정 데이터 및 멀티모달 페이로드를 BigQuery로 스트리밍할 수 있습니다. 반면 자사 대화 로깅에서는 저수준 도구 인수와 내부 SQL을 의도적으로 제거합니다.
대시보드를 넘어 지출 한도까지 확대
이 로그는 비용 관리의 기반이 되기도 합니다. 각 BigQuery 대화 턴에는 입력, 출력, 사고 과정, 캐시 및 전체 토큰 수와 함께 턴 전체의 지연 시간이 기록됩니다. Looker System Activity는 비즈니스 인텔리전스 워크로드 전반의 예상 입력 및 출력 토큰 수를 별도로 보고합니다.
쿼리별 BigQuery 스캔 바이트 한도는 드라이런 추정치를 사용해 대용량 쿼리가 실행되지 않도록 차단하므로, 주문형 스캔 요금이 발생하지 않습니다. 이와 별도로 BigQuery 및 Conversational Analytics API의 일일 입력 및 출력 토큰 할당량은 프리뷰 단계입니다. 이 할당량은 Google Cloud 콘솔 또는 gcloud CLI를 통해 프로젝트, 사용자 또는 에이전트별로 적용할 수 있습니다.
이 두 기능을 함께 사용하면 사용량 보고와 능동적인 한도 설정을 결합할 수 있습니다. 바이트 스캔 한도는 쿼리 실행 전에 쿼리 비용을 제어하고, 프리뷰 단계인 토큰 할당량은 프로젝트, 사용자 및 개별 에이전트 전반의 에이전트 사용량까지 제어 범위를 넓힙니다.
평가 결과를 프로덕션 로그와 함께 확인
Google Cloud의 오픈소스 도구 Prism은 BigQuery 테이블 또는 Looker Explores를 기반으로 답변하는 Conversational Analytics 에이전트를 테스트합니다. 재사용 가능한 테스트 스위트, 정규 표현식 검증 및 다중 리전 에이전트 검색을 지원하며, 프롬프트, 모델 또는 스키마 변경 사항이 사용자에게 적용되기 전에 SQL 정확도와 답변 품질을 평가합니다.
Prism은 완료된 평가 실행 결과를 날짜별로 파티션을 나눈 BigQuery 테이블에 기록해 벤치마크 결과를 프로덕션 agent_events 레코드와 함께 BigQuery 및 Looker에서 분석할 수 있도록 합니다. 자사 BigQuery 에이전트 평가 기능도 API와 안내형 Colab 노트북을 통해 별도로 프리뷰로 제공됩니다.
이번 발표로 고객 소유 BigQuery 원격 측정 데이터가 모니터링, 비용 제어 및 평가를 아우르는 공통 계층이 되며, 에이전트 관리가 기존 데이터 웨어하우스 권한 및 보안 제어와 연계됩니다. 관리형 대화 로깅과 주요 대시보드는 정식 제공되지만, 토큰 할당량, 기본 제공 평가 기능 및 일부 Looker 피드백 기능은 아직 프리뷰 단계입니다. 따라서 프로덕션 환경을 구축하는 팀은 운영 추적 데이터와 전체 대화 사이의 경계뿐 아니라 각 제어 기능의 제공 상태 차이도 고려해야 합니다.
