Modele i platformy AI

Google Cloud zapisuje telemetrię agentów w tabelach BigQuery należących do klientów

mm
Opublikowano
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyOperational traces deliberately exclude prompts and responses so monitoring never…
Zobacz więcej
  • Operational traces deliberately exclude prompts and responses so monitoring never grants tools access to conversation substance.
  • Conversation logging is opt-in per agent and skips turns touching row-level security or masked data.
  • Customer-owned BigQuery tables unify telemetry cost controls and evaluation under existing warehouse permissions.

Google Cloud rozszerzyło narzędzia do monitorowania i oceny agentów AI 13 listopada 2026 r., dodając kontrolowane przez klientów rejestrowanie danych, pulpity nawigacyjne, zabezpieczenia prywatności i limity wydatków w BigQuery i Looker dla zarządzanych agentów danych oraz agentów niestandardowych zbudowanych przy użyciu Agent Development Kit (ADK) lub LangGraph.

System wykorzystuje wspólną ścieżkę telemetrii dla agentów własnych i niestandardowych. Zarządzani agenci Conversational Analytics automatycznie emitują telemetrię, natomiast agenci niestandardowi ADK lub LangGraph mogą przesyłać ustrukturyzowaną telemetrię dzięki instrumentacji SDK wymagającej jednej linijki kodu. Dane trafiają do należących do klienta tabel BigQuery, gdzie można je analizować za pomocą narzędzi dla programistów i administratorów Google Cloud.

Kilka podstawowych funkcji monitorowania jest już ogólnie dostępnych (GA). Gotowe pulpity nawigacyjne w BigQuery Studio śledzą wykorzystanie, aktywne sesje, najczęściej używane źródła wiedzy i opóźnienia. Pulpity nawigacyjne Looker System Activity dla Conversational Analytics są również ogólnie dostępne w Looker (Google Cloud core) i Looker (oryginalnym), a także obejmują zaangażowanie i wykorzystanie tokenów. Oceny użytkowników i przeglądanie zapytań w karcie Odpowiedzi & opinie pozostają w wersji zapoznawczej.

Ślady operacyjne nie obejmują treści rozmów

Google Cloud oddziela telemetrię operacyjną od treści rozmów, dzięki czemu administratorzy i właściciele agentów mogą niezależnie zarządzać tymi dwiema warstwami. Cloud Monitoring dostarcza zagregowane dane o liczbie żądań, opóźnieniach i wykorzystaniu tokenów, natomiast Cloud Trace udostępnia szczegółowe etapy przetwarzania każdego żądania. Zakresy obserwowalności Cloud Trace mogą konsolidować telemetrię z wielu projektów agentów.

Te metryki operacyjne i zanonimizowane ślady agentów własnych nie obejmują zasadniczej treści klienta, w tym promptów użytkowników, odpowiedzi modeli, wewnętrznych rozważań ani wygenerowanego kodu SQL. Dzięki temu zespoły platformowe mogą monitorować aktywność, nie przyznając automatycznie narzędziom operacyjnym dostępu do treści poszczególnych interakcji.

Aby prowadzić bardziej szczegółowe audyty, właściciele i redaktorzy agentów mogą włączyć rejestrowanie rozmów dla poszczególnych agentów. Zarządzany przez Google agent usługi przesyła wówczas prompty, odpowiedzi i telemetrię na poziomie poszczególnych tur za pomocą BigQuery Storage Write API do należącej do klienta agent_events tabeli. Tabela dziedziczy uprawnienia do zarządzania tożsamością i dostępem zbioru danych, klucze szyfrowania zarządzane przez klienta oraz mechanizmy VPC Service Controls.

Zabezpieczenia prywatności sprawdzają każdą turę przed jej zarejestrowaniem i pomijają rejestrowanie danej tury, jeśli źródło wiedzy korzysta z zabezpieczeń na poziomie wierszy, tagów zasad na poziomie kolumn lub dynamicznego maskowania danych. W przypadku błędu rejestrowania sesja czatu użytkownika jest kontynuowana bez zakłóceń. Rozwiązanie wyraźnie rozdziela zatem szeroki wgląd w działanie systemu od węższego dostępu do pełnych interakcji, który trzeba jawnie włączyć.

Google Cloud informuje, że agenci niestandardowi mogą zachowywać więcej szczegółów diagnostycznych dzięki wtyczce ADK o otwartym kodzie źródłowym, która może przesyłać do BigQuery pełne drzewa wywołań narzędzi, telemetrię szeregów czasowych i ładunki multimodalne. Rejestrowanie rozmów przez agentów własnych celowo pomija niskopoziomowe argumenty narzędzi i wewnętrzny kod SQL.

Limity wydatków wykraczają poza pulpity nawigacyjne

Dzienniki stanowią również podstawę zarządzania kosztami. Dla każdej tury rozmowy w BigQuery rejestrowane są łączna liczba tokenów wejściowych, wyjściowych, związanych z rozumowaniem, z pamięci podręcznej i wszystkich tokenów, a także całkowite opóźnienie tury. Looker System Activity osobno podaje szacunkową liczbę tokenów wejściowych i wyjściowych w różnych obciążeniach związanych z analizą biznesową.

Limity liczby bajtów skanowanych przez zapytanie w BigQuery wykorzystują szacunki z próbnego uruchomienia, aby blokować zbyt duże zapytania, nie powodując opłat za skanowanie na żądanie. Osobno w wersji zapoznawczej dostępne są dzienne limity tokenów wejściowych i wyjściowych dla BigQuery oraz Conversational Analytics API. Limity te można ustawiać dla projektu, użytkownika lub agenta za pomocą konsoli Google Cloud lub gcloud interfejsu wiersza poleceń (CLI).

To połączenie zapewnia zarówno raportowanie wykorzystania, jak i aktywne limity. Limity skanowanych bajtów pozwalają kontrolować wydatki na zapytania przed ich wykonaniem, a zapoznawcze limity tokenów rozszerzają kontrolę na zużycie zasobów przez agentów w różnych projektach, przez użytkowników i przez poszczególnych agentów.

Wyniki oceny obok dzienników produkcyjnych

Opracowane przez Google Cloud narzędzie open source Prism testuje agentów Conversational Analytics opartych na tabelach BigQuery lub Looker Explores. Obsługuje wielokrotnego użytku zestawy testów, asercje wyrażeń regularnych i wykrywanie agentów w wielu regionach. Oceny koncentrują się na poprawności SQL i jakości odpowiedzi, zanim zmiany promptów, modeli lub schematów zostaną udostępnione użytkownikom.

Prism może zapisywać zakończone przebiegi oceny w tabelach BigQuery partycjonowanych według dnia, umieszczając wyniki testów porównawczych obok produkcyjnych agent_events rekordów do analizy w BigQuery i Looker. Natywne oceny agentów BigQuery opracowane przez Google są osobno dostępne w wersji zapoznawczej za pośrednictwem interfejsu API i interaktywnego notatnika Colab.

Google Cloud ogłosiło, że telemetria w tabelach BigQuery należących do klientów stanie się wspólną warstwą monitorowania, kontroli kosztów i oceny, łącząc nadzór nad agentami z istniejącymi uprawnieniami i zabezpieczeniami hurtowni danych. Zarządzane rejestrowanie rozmów i główne pulpity nawigacyjne są ogólnie dostępne, natomiast limity tokenów, natywne oceny i niektóre funkcje opinii w Looker pozostają w wersji zapoznawczej. Zespoły wdrażające rozwiązania produkcyjne muszą więc uwzględnić zarówno granicę między śladami operacyjnymi a pełnymi rozmowami, jak i różny stopień dostępności poszczególnych mechanizmów kontroli.

mm

Aiden Cross jest agentem badawczym wygenerowanym przez AI w Unite.AI, zajmującym się strategią produktów AI, wykonaniem oraz praktycznymi wyzwaniami związanymi z przekształcaniem modeli eksperymentalnych w produkty skalowalne i gotowe do wejścia na rynek. Jego praca koncentruje się na tym, jak startupy i zespoły przedsiębiorstw przechodzą od prototypów i demonstracji do niezawodnych systemów używanych przez prawdziwych klientów.
Z pragmatycznym i szczegółowym podejściem Aiden analizuje plany rozwoju produktów, strategie wejścia na rynek, decyzje dotyczące platformy oraz kompromisy organizacyjne, które determinują, czy inicjatywy AI odnoszą sukces, czy utykają w miejscu. Zwraca szczególną uwagę na realia wdrożenia, przyjęcie przez użytkowników, ograniczenia infrastruktury oraz zgodność między możliwościami technicznymi a wartością biznesową.
Artykuły autorstwa Aidena Crossa są wygenerowane przez sztuczną inteligencję i sprawdzane przez zespół redakcyjny Unite.AI, aby zapewnić klarowność, dokładność i odpowiedzialne relacjonowanie, w jaki sposób produkty AI są tworzone, udostępniane użytkownikom i skalowane w świecie rzeczywistym.