एआई मॉडल और प्लेटफ़ॉर्म
Google Cloud ने ग्राहक-स्वामित्व वाली BigQuery तालिकाओं में एजेंट टेलीमेट्री उपलब्ध कराई
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुOperational traces deliberately exclude prompts and responses so monitoring never…
और देखें
- Operational traces deliberately exclude prompts and responses so monitoring never grants tools access to conversation substance.
- Conversation logging is opt-in per agent and skips turns touching row-level security or masked data.
- Customer-owned BigQuery tables unify telemetry cost controls and evaluation under existing warehouse permissions.
13 नवंबर 2026 को Google Cloud ने अपने एआई एजेंटों की निगरानी और मूल्यांकन के टूल का विस्तार किया। इसके तहत, BigQuery और Looker में प्रबंधित डेटा एजेंटों और Agent Development Kit (ADK) या LangGraph से बनाए गए कस्टम एजेंटों के लिए ग्राहक-नियंत्रित लॉगिंग, डैशबोर्ड, गोपनीयता सुरक्षा उपाय और खर्च की सीमाएँ जोड़ी गईं।
यह सिस्टम, Google के अपने और कस्टम एजेंटों—दोनों के लिए टेलीमेट्री का एक साझा रास्ता इस्तेमाल करता है। प्रबंधित Conversational Analytics एजेंट अपने-आप टेलीमेट्री भेजते हैं, जबकि कस्टम ADK या LangGraph एजेंट SDK में एक-पंक्ति की इंस्ट्रूमेंटेशन के ज़रिए संरचित टेलीमेट्री भेज सकते हैं। विश्लेषण के लिए डेटा, Google Cloud के डेवलपर और एडमिनिस्ट्रेटर टूल में इस्तेमाल होने वाली ग्राहक-स्वामित्व वाली BigQuery तालिकाओं में पहुँचता है।
निगरानी की कई मुख्य सुविधाएँ अब आम तौर पर उपलब्ध (GA) हैं। BigQuery Studio के पहले से तैयार डैशबोर्ड उपयोग, सक्रिय सत्रों, सबसे ज़्यादा इस्तेमाल किए जाने वाले ज्ञान-स्रोतों और प्रतिक्रिया-विलंब पर नज़र रखते हैं। Conversational Analytics के लिए Looker System Activity डैशबोर्ड भी Looker (Google Cloud core) और Looker (original) में आम तौर पर उपलब्ध हैं; इनमें उपयोगकर्ता सहभागिता और टोकन के इस्तेमाल की जानकारी शामिल है। Responses & feedback टैब में उपयोगकर्ता रेटिंग और क्वेरी की समीक्षा अब भी पूर्वावलोकन चरण में हैं।
परिचालन ट्रेस में बातचीत की सामग्री शामिल नहीं होती
Google Cloud परिचालन टेलीमेट्री को बातचीत की सामग्री से अलग रखता है, ताकि एडमिनिस्ट्रेटर और एजेंट के मालिक इन दोनों परतों का स्वतंत्र रूप से प्रबंधन कर सकें। Cloud Monitoring अनुरोधों की संख्या, प्रतिक्रिया-विलंब और टोकन के इस्तेमाल के कुल आँकड़े देता है, जबकि Cloud Trace हर अनुरोध के चरण-दर-चरण स्पैन उपलब्ध कराता है। Cloud Trace के ऑब्ज़र्वेबिलिटी स्कोप कई एजेंट प्रोजेक्ट की टेलीमेट्री को एक जगह समेट सकते हैं।
इन परिचालन मेट्रिक्स और साफ़ किए गए, Google के अपने ट्रेस स्पैन में ग्राहक की मूल सामग्री शामिल नहीं होती—जैसे उपयोगकर्ता के प्रॉम्प्ट, मॉडल के जवाब, आंतरिक विचार और तैयार की गई SQL। इससे प्लेटफ़ॉर्म टीमें गतिविधि पर नज़र रख सकती हैं, बिना इस बात के कि परिचालन टूल को हर बातचीत की वास्तविक सामग्री तक अपने-आप पहुँच मिल जाए।
अधिक गहन ऑडिट के लिए, एजेंट के मालिक और संपादक अलग-अलग एजेंटों के लिए बातचीत की लॉगिंग चालू कर सकते हैं। इसके बाद Google द्वारा प्रबंधित सेवा एजेंट, प्रॉम्प्ट, जवाब और बातचीत के हर चरण की टेलीमेट्री को BigQuery Storage Write API के ज़रिए ग्राहक-स्वामित्व वाली agent_events तालिका में भेजता है। तालिका पर डेटासेट की पहचान और पहुँच प्रबंधन अनुमतियाँ, ग्राहक-प्रबंधित एन्क्रिप्शन कुंजियाँ और VPC Service Controls लागू होते हैं।
लॉगिंग से पहले हर चरण की गोपनीयता-संबंधी जाँच की जाती है। अगर किसी ज्ञान-स्रोत में पंक्ति-स्तरीय सुरक्षा, स्तंभ-स्तरीय नीति टैग या गतिशील डेटा मास्किंग का इस्तेमाल होता है, तो उस चरण की लॉगिंग छोड़ दी जाती है। लॉगिंग में कोई त्रुटि होने पर भी उपयोगकर्ता का चैट सत्र बिना रुकावट जारी रहता है। इस व्यवस्था में व्यापक परिचालन दृश्यता और सभी बातचीत तक सीमित, स्पष्ट रूप से चालू की गई पहुँच के बीच अंतर रखा गया है।
Google Cloud के अनुसार, कस्टम एजेंट ओपन-सोर्स ADK प्लगइन के ज़रिए ज़्यादा नैदानिक विवरण रख सकते हैं। यह प्लगइन टूल के आह्वान के पूरे क्रम-वृक्ष, समय-श्रृंखला टेलीमेट्री और मल्टीमॉडल पेलोड को BigQuery में भेज सकता है। Google के अपने सिस्टम में बातचीत की लॉगिंग के दौरान, टूल के निम्न-स्तरीय तर्क और आंतरिक SQL जानबूझकर हटा दिए जाते हैं।
खर्च की सीमाएँ डैशबोर्ड तक सीमित नहीं
ये लॉग लागत प्रबंधन का आधार भी देते हैं। BigQuery में बातचीत के हर चरण के लिए इनपुट, आउटपुट, विचार, कैश किए गए और कुल टोकन की संख्या दर्ज होती है; साथ ही, उस चरण का कुल प्रतिक्रिया-विलंब भी दर्ज किया जाता है। Looker System Activity, बिज़नेस इंटेलिजेंस के कार्यभार में इस्तेमाल हुए अनुमानित इनपुट और आउटपुट टोकन की अलग से रिपोर्ट देता है।
हर क्वेरी के लिए BigQuery में स्कैन किए जा सकने वाले बाइट की सीमा तय की जा सकती है। इसके लिए ड्राई-रन अनुमानों का इस्तेमाल होता है, ताकि तय सीमा से बड़ी क्वेरी को रोका जा सके और माँग-आधारित स्कैन शुल्क न लगे। इसके अलावा, BigQuery और Conversational Analytics API के लिए इनपुट और आउटपुट टोकन की दैनिक कोटा सीमाएँ पूर्वावलोकन चरण में हैं। इन सीमाओं को Google Cloud कंसोल या gcloud CLI के ज़रिए हर प्रोजेक्ट, उपयोगकर्ता या एजेंट पर लागू किया जा सकता है।
यह व्यवस्था उपयोग की रिपोर्टिंग के साथ सक्रिय सीमाएँ भी जोड़ती है। बाइट स्कैन की सीमाएँ क्वेरी चलने से पहले उसके खर्च को रोकती हैं, जबकि पूर्वावलोकन में मौजूद टोकन कोटा अलग-अलग प्रोजेक्ट, उपयोगकर्ताओं और एजेंटों में एजेंटों की खपत पर भी नियंत्रण लागू करते हैं।
मूल्यांकन के नतीजे, उत्पादन लॉग के साथ उपलब्ध
Google Cloud का ओपन-सोर्स Prism टूल, BigQuery तालिकाओं या Looker Explores पर आधारित Conversational Analytics एजेंटों की जाँच करता है। इसमें दोबारा इस्तेमाल किए जा सकने वाले टेस्ट सूट, नियमित-अभिव्यक्ति संबंधी दावे और कई क्षेत्रों में एजेंट खोजने की सुविधा है। इसके मूल्यांकन SQL की सटीकता और जवाबों की गुणवत्ता पर केंद्रित हैं और प्रॉम्प्ट, मॉडल या स्कीमा में बदलाव उपयोगकर्ताओं तक पहुँचने से पहले किए जाते हैं।
Prism पूरे हुए मूल्यांकन को दिन के आधार पर विभाजित BigQuery तालिकाओं में लिख सकता है, जिससे बेंचमार्क के नतीजे उत्पादन agent_events रिकॉर्ड के साथ रखे जा सकते हैं और BigQuery तथा Looker में उनका विश्लेषण किया जा सकता है। Google के अपने BigQuery एजेंटों के मूल्यांकन भी अलग से उपलब्ध हैं; वे एक API और निर्देशित Colab नोटबुक के ज़रिए पूर्वावलोकन चरण में हैं।
इस घोषणा के तहत ग्राहक-स्वामित्व वाली BigQuery टेलीमेट्री को निगरानी, लागत नियंत्रण और मूल्यांकन की साझा परत बनाया गया है। इससे एजेंटों की निगरानी, वेयरहाउस की मौजूदा अनुमतियों और सुरक्षा नियंत्रणों से जुड़ती है। प्रबंधित बातचीत लॉगिंग और मुख्य डैशबोर्ड आम तौर पर उपलब्ध हैं, जबकि टोकन कोटा, मूल BigQuery मूल्यांकन और Looker की कुछ फ़ीडबैक सुविधाएँ अब भी पूर्वावलोकन चरण में हैं। इसलिए, उत्पादन प्रणालियों के लिए तैनाती की योजना बनाते समय परिचालन ट्रेस और पूरी बातचीत के बीच की सीमा के साथ-साथ हर नियंत्रण की अलग-अलग उपलब्धता को भी ध्यान में रखना होगा।
