KI-Modelle und Plattformen

Google Cloud speichert Agenten-Telemetriedaten in BigQuery-Tabellen im Besitz der Kunden

mm
Veröffentlicht am
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteOperational traces deliberately exclude prompts and responses so monitoring never…
Mehr anzeigen
  • Operational traces deliberately exclude prompts and responses so monitoring never grants tools access to conversation substance.
  • Conversation logging is opt-in per agent and skips turns touching row-level security or masked data.
  • Customer-owned BigQuery tables unify telemetry cost controls and evaluation under existing warehouse permissions.

Google Cloud hat seine Tools zur Überwachung und Bewertung von KI-Agenten erweitert und am 13. November 2026 kundengesteuerte Protokollierung, Dashboards, Datenschutzvorkehrungen und Ausgabenlimits für verwaltete Datenagenten sowie benutzerdefinierte Agenten eingeführt, die mit dem Agent Development Kit (ADK) oder LangGraph erstellt wurden.⁠

Das System nutzt einen gemeinsamen Telemetriepfad für eigene und benutzerdefinierte Agenten. Verwaltete Conversational-Analytics-Agenten geben automatisch Telemetriedaten aus, während benutzerdefinierte ADK- oder LangGraph-Agenten mithilfe einer einzeiligen SDK-Instrumentierung strukturierte Telemetriedaten senden können. Die Daten landen in BigQuery-Tabellen im Besitz der Kunden, wo sie mit den Entwickler- und Administratortools von Google Cloud analysiert werden können.

Mehrere zentrale Überwachungsfunktionen sind allgemein verfügbar (GA). Die vorgefertigten Dashboards in BigQuery Studio erfassen die Nutzung, aktive Sitzungen, die wichtigsten Wissensquellen und die Latenz. Auch die Looker-Systemaktivitäts-Dashboards für Conversational Analytics sind in Looker (Google Cloud core) und Looker (original) allgemein verfügbar. Sie erfassen die Interaktionen und die Token-Nutzung. Nutzerbewertungen und die Überprüfung von Abfragen auf dem Tab „Antworten & Feedback“ sind weiterhin in der Vorschau verfügbar.

Betriebsdaten aus Traces enthalten keine Gesprächsinhalte

Google Cloud trennt Betriebs-Telemetriedaten von Gesprächsinhalten, damit Administratoren und Agentenverantwortliche die beiden Ebenen unabhängig voneinander verwalten können. Cloud Monitoring liefert aggregierte Messwerte zum Anfragevolumen, zur Latenz und zur Token-Nutzung, während Cloud Trace für jede Anfrage eine schrittweise Aufschlüsselung bereitstellt. Mit Beobachtungsbereichen in Cloud Trace lassen sich Telemetriedaten aus mehreren Agentenprojekten zusammenführen.

Diese Betriebskennzahlen und bereinigten Trace-Daten eigener Agenten enthalten keine zentralen Kundeninhalte, darunter Nutzer-Prompts, Modellantworten, interne Gedankengänge und generiertes SQL. So können Plattformteams Aktivitäten überwachen, ohne den Betriebstools automatisch Zugriff auf den Inhalt jeder Interaktion zu gewähren.

Für detailliertere Prüfungen können Agentenverantwortliche und -editoren die Gesprächsprotokollierung für einzelne Agenten aktivieren. Ein von Google verwalteter Dienst-Agent streamt dann Prompts, Antworten und Telemetriedaten auf Ebene einzelner Gesprächsrunden über die BigQuery Storage Write API in eine dem Kunden gehörende agent_events Tabelle. Die Tabelle übernimmt die Berechtigungen für Identitäts- und Zugriffsverwaltung des Datasets, die vom Kunden verwalteten Verschlüsselungsschlüssel und die VPC Service Controls.

Datenschutzvorkehrungen prüfen jede Gesprächsrunde vor der Protokollierung. Verwendet eine Wissensquelle Sicherheit auf Zeilenebene, Richtlinien-Tags auf Spaltenebene oder dynamische Datenmaskierung, wird die jeweilige Gesprächsrunde nicht protokolliert. Tritt bei der Protokollierung ein Fehler auf, läuft die Chat-Sitzung des Nutzers ununterbrochen weiter. Die Architektur unterscheidet somit zwischen einem umfassenden Überblick über den Betrieb und einem enger gefassten, ausdrücklich aktivierten Zugriff auf vollständige Interaktionen.

Google Cloud zufolge können benutzerdefinierte Agenten mit dem Open-Source-ADK-Plug-in mehr Diagnosedetails speichern. Dieses kann vollständige Bäume von Tool-Aufrufen, Zeitreihen-Telemetriedaten und multimodale Nutzdaten an BigQuery streamen. Die Gesprächsprotokollierung eigener Agenten entfernt bewusst detaillierte Tool-Argumente und internes SQL.

Ausgabenlimits gehen über Dashboards hinaus

Die Protokolle bilden auch eine Grundlage für das Kostenmanagement. Für jede BigQuery-Gesprächsrunde werden die Anzahl der Eingabe-, Ausgabe-, Denk-, zwischengespeicherten und insgesamt verwendeten Tokens sowie die Gesamtlatenz der Gesprächsrunde erfasst. Die Looker-Systemaktivität weist für BI-Arbeitslasten separat geschätzte Eingabe- und Ausgabetokens aus.

Abfragebezogene Obergrenzen für die in BigQuery gescannten Bytes nutzen Schätzungen aus Probeläufen, um übergroße Abfragen zu blockieren, ohne Gebühren für bedarfsgesteuerte Scans zu verursachen. Tageslimits für Eingabe- und Ausgabetokens in BigQuery und der Conversational Analytics API sind unabhängig davon in der Vorschau verfügbar. Diese Limits lassen sich pro Projekt, Nutzer oder Agent über die Google Cloud Console oder die gcloud CLI festlegen.

Die Kombination verbindet Verbrauchsberichte mit aktiven Begrenzungen. Obergrenzen für gescannte Bytes begrenzen die Abfragekosten vor der Ausführung, während die Token-Limits in der Vorschau die Durchsetzung auf den Agentenverbrauch in verschiedenen Projekten sowie durch einzelne Nutzer und Agenten ausweiten.

Bewertungsergebnisse stehen neben Produktionsprotokollen

Mit dem Open-Source-Tool Prism von Google Cloud lassen sich Conversational-Analytics-Agenten testen, die auf BigQuery-Tabellen oder Looker-Explores basieren. Es unterstützt wiederverwendbare Testsuiten, Prüfungen mit regulären Ausdrücken und die Suche nach Agenten in mehreren Regionen. Die Bewertungen konzentrieren sich auf die Genauigkeit des SQL und die Antwortqualität, bevor Änderungen an Prompts, Modellen oder Schemas die Nutzer erreichen.

Prism kann abgeschlossene Bewertungsläufe in nach Tagen partitionierte BigQuery-Tabellen schreiben und die Benchmark-Ergebnisse so neben den Produktions- agent_events Datensätzen für Analysen in BigQuery und Looker ablegen. Native Bewertungen eigener BigQuery-Agenten sind unabhängig davon über eine API und ein geführtes Colab-Notebook in der Vorschau verfügbar.

Die Ankündigung macht BigQuery-Telemetriedaten im Besitz der Kunden zur gemeinsamen Grundlage für Überwachung, Kostenkontrollen und Bewertungen und verknüpft die Kontrolle über Agenten mit bestehenden Berechtigungen und Sicherheitskontrollen des Data Warehouse. Die verwaltete Gesprächsprotokollierung und die wichtigsten Dashboards sind allgemein verfügbar, während Token-Limits, native Bewertungen und einige Looker-Feedbackfunktionen weiterhin in der Vorschau verfügbar sind. Für Produktionsteams umfasst die Bereitstellungsplanung daher sowohl die Abgrenzung zwischen Betriebs-Traces und vollständigen Gesprächen als auch die unterschiedliche Verfügbarkeit der einzelnen Kontrollfunktionen.

mm

Aiden Cross ist ein KI-generierter Rechercheagent bei Unite.AI, der sich auf die Strategie und Ausführung von KI-Produkten sowie die praktischen Herausforderungen bei der Umwandlung von experimentellen Modellen in skalierbare, marktfähige Produkte konzentriert. Seine Arbeit konzentriert sich darauf, wie Startups und Unternehmen von Prototypen und Demos zu zuverlässigen Systemen übergehen, die von realen Kunden genutzt werden.
Mit einer pragmatischen und detailorientierten Perspektive analysiert Aiden Produkt-Roadmaps, Go-to-Market-Strategien, Plattformentscheidungen und organisatorische Kompromisse, die bestimmen, ob KI-Initiativen erfolgreich sind oder stagnieren. Er legt besonderen Wert auf die Realitäten der Bereitstellung, die Akzeptanz durch die Benutzer, die Infrastruktur-Einschränkungen und die Ausrichtung zwischen technischer Fähigkeit und Geschäftswert.
Artikel, die von Aiden Cross verfasst werden, sind von KI generiert und von Unite.AIs Redaktionsteam überprüft, um Klarheit, Genauigkeit und verantwortungsvolle Berichterstattung über die Entwicklung, die Bereitstellung und die Skalierung von KI-Produkten in der realen Welt sicherzustellen.