Mô hình và nền tảng AI
Google Cloud đưa dữ liệu telemetry của tác tử vào các bảng BigQuery do khách hàng sở hữu
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhOperational traces deliberately exclude prompts and responses so monitoring never…
Xem thêm
- Operational traces deliberately exclude prompts and responses so monitoring never grants tools access to conversation substance.
- Conversation logging is opt-in per agent and skips turns touching row-level security or masked data.
- Customer-owned BigQuery tables unify telemetry cost controls and evaluation under existing warehouse permissions.
Google Cloud mở rộng các công cụ giám sát và đánh giá tác tử AI vào ngày 13 tháng 11 năm 2026, bổ sung khả năng ghi nhật ký do khách hàng kiểm soát, bảng điều khiển, biện pháp bảo vệ quyền riêng tư và giới hạn chi tiêu trên BigQuery và Looker dành cho các tác tử dữ liệu được quản lý và tác tử tùy chỉnh xây dựng bằng Agent Development Kit (ADK) hoặc LangGraph.
Hệ thống sử dụng một luồng dữ liệu telemetry chung cho các tác tử do Google cung cấp và tác tử tùy chỉnh. Các tác tử Conversational Analytics được quản lý tự động phát dữ liệu telemetry, trong khi tác tử ADK hoặc LangGraph tùy chỉnh có thể gửi dữ liệu telemetry có cấu trúc bằng cách tích hợp SDK chỉ với một dòng mã. Dữ liệu được lưu vào các bảng BigQuery thuộc sở hữu của khách hàng để phân tích bằng các công cụ dành cho nhà phát triển và quản trị viên của Google Cloud.
Một số tính năng giám sát cốt lõi đã được cung cấp rộng rãi (GA). Các bảng điều khiển dựng sẵn trong BigQuery Studio theo dõi mức sử dụng, số phiên đang hoạt động, các nguồn kiến thức hàng đầu và độ trễ. Bảng điều khiển Looker System Activity dành cho Conversational Analytics cũng đã được cung cấp rộng rãi (GA) trong Looker (Google Cloud core) và Looker (original), với dữ liệu về mức độ tương tác và mức sử dụng token. Tính năng đánh giá của người dùng và xem xét truy vấn trong thẻ Phản hồi & góp ý vẫn đang ở giai đoạn xem trước.
Dấu vết vận hành không bao gồm nội dung hội thoại
Google Cloud tách dữ liệu telemetry vận hành khỏi nội dung hội thoại, để quản trị viên và chủ sở hữu tác tử có thể quản lý độc lập hai lớp dữ liệu này. Cloud Monitoring cung cấp các chỉ số tổng hợp về số lượng yêu cầu, độ trễ và mức sử dụng token, trong khi Cloud Trace cung cấp các span theo từng bước cho mỗi yêu cầu. Phạm vi khả năng quan sát của Cloud Trace có thể hợp nhất dữ liệu telemetry từ nhiều dự án tác tử.
Các chỉ số vận hành và span dấu vết đã khử thông tin nhạy cảm của tác tử do Google cung cấp không bao gồm nội dung cốt lõi của khách hàng, chẳng hạn như câu lệnh của người dùng, phản hồi của mô hình, suy nghĩ nội bộ và câu lệnh SQL được tạo ra. Nhờ đó, các nhóm nền tảng có thể giám sát hoạt động mà không tự động cấp cho công cụ vận hành quyền truy cập vào nội dung cụ thể của từng tương tác.
Để kiểm tra chuyên sâu hơn, chủ sở hữu và biên tập viên tác tử có thể chọn bật tính năng ghi nhật ký hội thoại cho từng tác tử. Sau đó, một tác tử dịch vụ do Google quản lý sẽ truyền câu lệnh, phản hồi và dữ liệu telemetry ở cấp lượt qua BigQuery Storage Write API vào một bảng BigQuery agent_events thuộc sở hữu của khách hàng. Bảng này kế thừa các quyền quản lý danh tính và quyền truy cập, khóa mã hóa do khách hàng quản lý và VPC Service Controls của tập dữ liệu.
Các biện pháp bảo vệ quyền riêng tư kiểm tra từng lượt trước khi ghi nhật ký và bỏ qua lượt đó nếu nguồn kiến thức sử dụng bảo mật ở cấp hàng, thẻ chính sách ở cấp cột hoặc tính năng che dữ liệu động. Nếu xảy ra lỗi ghi nhật ký, phiên trò chuyện của người dùng vẫn tiếp tục mà không bị gián đoạn. Do đó, thiết kế này phân biệt khả năng quan sát vận hành trên diện rộng với quyền truy cập hẹp hơn vào toàn bộ tương tác, vốn phải được bật rõ ràng.
Google Cloud cho biết tác tử tùy chỉnh có thể lưu giữ thêm thông tin chẩn đoán thông qua trình bổ trợ ADK mã nguồn mở, có khả năng truyền toàn bộ cây gọi công cụ, dữ liệu telemetry theo chuỗi thời gian và tải trọng đa phương thức vào BigQuery. Tính năng ghi nhật ký hội thoại của các tác tử do Google cung cấp chủ ý loại bỏ các tham số cấp thấp của công cụ và SQL nội bộ.
Giới hạn chi tiêu không chỉ dừng ở bảng điều khiển
Nhật ký cũng tạo cơ sở cho việc quản lý chi phí. Mỗi lượt hội thoại trong BigQuery ghi lại số lượng token đầu vào, đầu ra, suy luận, được lưu trong bộ nhớ đệm và tổng số token, cùng với tổng độ trễ của lượt đó. Looker System Activity báo cáo riêng số token đầu vào và đầu ra ước tính trên các khối lượng công việc nghiệp vụ thông minh.
Giới hạn số byte BigQuery quét cho mỗi truy vấn sử dụng ước tính chạy thử để chặn các truy vấn vượt quá quy mô cho phép mà không phát sinh phí quét theo nhu cầu. Riêng hạn mức token đầu vào và đầu ra hằng ngày cho BigQuery và Conversational Analytics API hiện đang ở giai đoạn xem trước. Có thể áp dụng các hạn mức này theo từng dự án, người dùng hoặc tác tử thông qua bảng điều khiển Google Cloud hoặc gcloud CLI.
Sự kết hợp này ghép nối báo cáo mức tiêu thụ với các giới hạn chủ động. Giới hạn quét byte giúp kiểm soát chi tiêu truy vấn trước khi thực thi, còn hạn mức token đang ở giai đoạn xem trước mở rộng việc thực thi giới hạn sang mức tiêu thụ của tác tử trên các dự án, người dùng và từng tác tử.
Kết quả đánh giá nằm cạnh nhật ký môi trường sản xuất
Công cụ mã nguồn mở Prism của Google Cloud kiểm thử các tác tử Conversational Analytics dựa trên dữ liệu trong bảng BigQuery hoặc Looker Explores. Công cụ hỗ trợ các bộ kiểm thử có thể tái sử dụng, các xác nhận bằng biểu thức chính quy và khả năng tìm tác tử trên nhiều khu vực; hoạt động đánh giá tập trung vào độ chính xác của SQL và chất lượng câu trả lời trước khi các thay đổi về câu lệnh, mô hình hoặc lược đồ đến tay người dùng.
Prism có thể ghi các lần đánh giá đã hoàn tất vào các bảng BigQuery được phân vùng theo ngày, đặt kết quả đánh giá chuẩn bên cạnh các bản ghi môi trường sản xuất agent_events để phân tích trong BigQuery và Looker. Tính năng đánh giá tác tử BigQuery gốc của Google được cung cấp riêng ở giai đoạn xem trước thông qua API và sổ tay Colab có hướng dẫn.
Thông báo này đưa dữ liệu telemetry BigQuery do khách hàng sở hữu trở thành lớp chung cho hoạt động giám sát, kiểm soát chi phí và đánh giá, đồng thời gắn việc giám sát tác tử với các quyền và biện pháp kiểm soát bảo mật hiện có của kho dữ liệu. Tính năng ghi nhật ký hội thoại được quản lý và các bảng điều khiển chính đã được cung cấp rộng rãi (GA), trong khi hạn mức token, tính năng đánh giá gốc và một số tính năng phản hồi của Looker vẫn đang ở giai đoạn xem trước. Vì vậy, với các nhóm vận hành hệ thống thực tế, thiết kế triển khai cần tính đến cả ranh giới giữa dấu vết vận hành và toàn bộ hội thoại, lẫn tình trạng khả dụng khác nhau của từng biện pháp kiểm soát.
