Google Research ने व्यक्तिपरक AI वर्गीकरणकर्ताओं में मानवीय विचार-विमर्श को शामिल किया

Google Research ने 4 नवंबर, 2026 को Agile Deliberation प्रस्तुत किया—यह व्यक्तिपरक श्रेणियों के आधार पर छवि वर्गीकरणकर्ता बनाने का एक संवादात्मक ढाँचा है, जिसके साथ ओपन-सोर्स कोड और नोटबुक डेमो भी दिया गया है। 18 सत्रों वाले उपयोगकर्ता अध्ययन में शोधकर्ताओं ने बताया कि मैन्युअल प्रॉम्प्ट सुधार की तुलना में इससे वर्गीकरणकर्ता के परिणाम बेहतर हुए और प्रयास कम लगा।

यह ढाँचा उन श्रेणियों से जुड़ा है जिनकी सीमाएँ व्यक्तिगत निर्णय, सांस्कृतिक संदर्भ या संचालन संबंधी नीतियों पर निर्भर करती हैं—जैसे स्वास्थ्यकर भोजन, प्रेरक कलाकृतियाँ और भ्रामक पुरस्कारों का वादा करने वाली क्लिकबेट छवियाँ। इसकी बुनियादी धारणा यह है कि कठिन उदाहरणों को देखते हुए उपयोगकर्ता अक्सर अपनी निर्णय-सीमाओं को समझ पाते हैं। पारंपरिक लेबलिंग प्रक्रिया इन सीमाओं को एनोटेशन शुरू होने से पहले ही तय मान लेती है; ऐसे में इरादे में बदलाव असंगत लेबलों या मॉडल के मनमाने निर्णयों के रूप में सामने आते हैं।

Agile Deliberation बदलती हुई परिभाषा को एक ऐसे विनिर्देश में ढालता है जिसे मनुष्य पढ़ सकें और साथ ही उसे उस प्रॉम्प्ट के रूप में भी इस्तेमाल करता है जो विज़न-लैंग्वेज मॉडल वर्गीकरणकर्ता को निर्देश देता है। इसकी रूपरेखा पाँच कंटेंट-मॉडरेशन विशेषज्ञों के साक्षात्कारों और उनके पेशेवर कार्यप्रवाहों से ली गई 20 परिभाषाओं के गुणात्मक विश्लेषण पर आधारित है। इस विश्लेषण से पता चला कि विशेषज्ञ पहले अवधारणाओं का दायरा तय करते हैं और फिर सीमांत छवियों के ज़रिए उन्हें परिष्कृत करते हैं।

अवधारणाओं पर विचार-विमर्श के दो चरण

अवधारणा का दायरा तय करने में शुरुआती विचार को संभावित सकारात्मक और नकारात्मक उप-अवधारणाओं में बाँटा जाता है। उदाहरण के लिए, स्वास्थ्यकर भोजन का वर्गीकरणकर्ता बनाने वाला उपयोगकर्ता सलाद और अनाज के कटोरे शामिल कर सकता है, जबकि प्रसंस्कृत खाद्य पदार्थों या कच्ची, बिना तैयारी की गई सामग्री को बाहर रख सकता है। हर विकल्प के समर्थन में प्रतिनिधि छवियाँ दी जाती हैं, और जो उप-अवधारणाएँ सार्थक दृश्य पैटर्न का वर्णन नहीं करतीं, उन्हें पहला वर्गीकरणकर्ता बनाने से पहले हटाया जा सकता है।

इसके बाद अवधारणा को दोहराकर परिष्कृत करने की प्रक्रिया उन छवियों को खोजती है जो अर्थ की दृष्टि से सीमांत हों; यह केवल उन मामलों को नहीं चुनती जहाँ मॉडल का विश्वास-स्तर 0.5 के करीब हो। शोधकर्ताओं का तर्क है कि विज़न-लैंग्वेज मॉडल का विश्वास-स्तर मानवीय अस्पष्टता के अनुरूप ठीक से निर्धारित नहीं हो सकता: किसी छवि के बारे में मॉडल को पूरा भरोसा हो सकता है, जबकि वह मनुष्य के लिए कठिन हो। खोजे गए उदाहरणों से डुप्लिकेट हटाकर उन्हें समूहों में बाँटा जाता है। बहु-सशस्त्र बैंडिट नियम उन समूहों को प्राथमिकता देता है जिन्होंने पहले गलतियाँ सुधारी हों या उपयोगी प्रतिक्रिया दी हो।

अस्पष्टता खोजने का एक चरण छवियों के समूह को किसी एक समझने योग्य मुद्दे—जैसे मलाईदार सॉस, चीनी की मात्रा या परोसने की मात्रा—के इर्द-गिर्द व्यवस्थित करता है और हर छवि की अस्पष्टता का संक्षिप्त स्पष्टीकरण तैयार करता है। उपयोगकर्ता छवियों को दायरे में शामिल या उससे बाहर चिह्नित कर सकते हैं और प्राकृतिक भाषा में कारण भी जोड़ सकते हैं। प्रणाली वैकल्पिक परिभाषाएँ तैयार करती है, अब तक जुटाए गए सभी लेबलों के आधार पर उनकी जाँच करती है, F1 स्कोर में सर्वोत्तम परिणाम देने वाली परिभाषा चुनती है और उसमें मैन्युअल बदलाव की सुविधा देती है।

प्रोटोटाइप में अवधारणाओं को उप-विभाजित करने के लिए Gemini 2.5 Pro और वर्गीकरण, सीमांत प्रश्न तैयार करने तथा अस्पष्टता खोजने के लिए Gemini 2.5 Flash का इस्तेमाल किया गया है। इन मॉडलों को अतिरिक्त प्रशिक्षण या फ़ाइन-ट्यूनिंग के बिना इस्तेमाल किया गया और इंटरफ़ेस एक संवादात्मक Colab नोटबुक के ज़रिए चलता है।

प्रत्यक्ष उपयोगकर्ता अध्ययन के निष्कर्ष

पेशेवर कंटेंट-मॉडरेशन का अनुभव न रखने वाले नौ प्रतिभागियों ने लगभग 90 मिनट के दो-दो सत्र पूरे किए—एक Agile Deliberation के साथ और दूसरा मैन्युअल विचार-विमर्श के साथ। प्रणालियों का क्रम यादृच्छिक रखा गया। जाँच की गई दो अवधारणाएँ थीं स्वास्थ्यकर भोजन और पे-टू-प्ले क्लिकबेट मॉडरेशन। हर सत्र में परिभाषा तैयार करने के लगभग 45 मिनट, परीक्षण के लिए अलग रखी गई 200 छवियों का एनोटेशन, एक सर्वेक्षण और 15 मिनट का साक्षात्कार शामिल था। तुलना में ज़ीरो-शॉट वर्गीकरण और Modeling Collaborator नामक स्वचालित अवधारणा-विभाजन आधाररेखा भी शामिल थे; मैन्युअल प्रक्रिया में भाग लेने वाले लोग उस प्रणाली के विस्तृत प्रॉम्प्ट देख सकते थे।

शोधपत्र के अनुसार, पे-टू-प्ले के लिए Agile Deliberation ने अपनी ज़ीरो-शॉट आधाररेखा की तुलना में F1 स्कोर 11% बढ़ाया, जबकि मैन्युअल विचार-विमर्श से उसकी अपनी आधाररेखा के मुकाबले 8% की वृद्धि हुई। स्वास्थ्यकर भोजन के मामले में Agile Deliberation से 10% सुधार हुआ, जबकि मैन्युअल विचार-विमर्श से 3% की गिरावट आई। ये बढ़त मुख्य रूप से प्रिसिज़न में सुधार के कारण थीं और इनके साथ रिकॉल में थोड़ी कमी भी आई। सटीकता का इस्तेमाल नहीं किया गया, क्योंकि प्रतिभागियों की वैयक्तिकृत परिभाषाओं के कारण परीक्षण-लेबलों का वितरण असंतुलित था।

सभी प्रतिभागियों ने मैन्युअल विचार-विमर्श की तुलना में Agile Deliberation को प्राथमिकता दी। प्रतिभागियों ने Agile Deliberation के साथ प्रयास का औसत मान 3.11 बताया, जबकि मैन्युअल काम के साथ यह 4.67 था। असुरक्षित, तनावग्रस्त या खिन्न महसूस करने के औसत मान क्रमशः 1.67 और 3.00 थे। दोनों अंतर p<.05 पर सांख्यिकीय रूप से महत्वपूर्ण पाए गए। साक्षात्कारों से इसका व्यावहारिक कारण सामने आया: मैन्युअल प्रक्रिया में उपयोगकर्ताओं को विपरीत उदाहरण खोजने के लिए खुद खोज-वाक्य गढ़ने पड़ते थे, और कुछ को चिंता थी कि एक त्रुटि ठीक करने के लिए प्रॉम्प्ट में किया गया बदलाव दूसरी जगह के व्यवहार को बिगाड़ सकता है।

अध्ययन की सीमाएँ और कोड की उपलब्धता

मूल्यांकन की कुछ स्पष्ट सीमाएँ भी हैं। लेखकों ने आगाह किया कि नौ प्रतिभागियों की संख्या सांख्यिकीय शक्ति और निष्कर्षों की सामान्यीकरण-क्षमता को सीमित करती है। साथ ही, स्थापित परिभाषा को दूसरे सत्र में ले जाने से बचने के लिए हर व्यक्ति ने दोनों प्रणालियों का इस्तेमाल अलग-अलग अवधारणाओं पर किया। इसलिए व्यक्तिपरक अनुभव की तुलना प्रतिभागियों के भीतर की जा सकती थी, लेकिन वर्गीकरणकर्ता के प्रदर्शन की तुलना केवल प्रतिभागी समूहों के बीच की जा सकती थी। अध्ययन में अलग-अलग घटकों का स्वतंत्र मूल्यांकन नहीं किया गया और न ही अन्य जनरेटिव मॉडलों पर पूरी प्रक्रिया की जाँच की गई।

ओपन-सोर्स रिपॉज़िटरी में इससे जुड़ा कोडबेस और डेटासेट, साथ ही Jupyter या Google Colab के लिए चरण-दर-चरण निर्देशों वाली Demo.ipynb नोटबुक शामिल है। इसका डेमो LAION400M पर निकटतम-पड़ोसी खोज इंडेक्स बनाता है। डिफ़ॉल्ट सेटअप में पाइपलाइन की जाँच के लिए कुल लगभग 260 MB के दो शार्ड डाउनलोड किए जाते हैं; दस्तावेज़ में बताए गए 100-शार्ड सेटअप का कुल आकार लगभग 13 GB है। खोज, बाहरी स्रोतों से चित्र डाउनलोड करने और मॉडल को अनुरोध भेजने में कुछ सेकंड से लेकर कई मिनट तक लग सकते हैं; एक API कुंजी पर दर-सीमा लागू हो सकती है, और कई चरणों में डिस्क पर कैशिंग की सुविधा है। रिपॉज़िटरी के अस्वीकरण में कहा गया है कि यह Google का आधिकारिक रूप से समर्थित उत्पाद नहीं है।

Agile Deliberation का व्यावहारिक योगदान यह है कि वह व्यक्तिपरक मंशा को वर्गीकारक के विकास का स्पष्ट और संशोधित किया जा सकने वाला हिस्सा बनाता है। उपयोगकर्ता सकारात्मक और नकारात्मक नियमों की जाँच कर सकते हैं, उन सीमांत मामलों को देख सकते हैं जिनसे कमियाँ उजागर हुईं, और संशोधनों के लिए तर्क दे सकते हैं। सामग्री की निगरानी और चयन करने वाली टीमों के लिए, इससे श्रेणी की परिभाषा और उसे आकार देने वाले मानवीय निर्णय वर्गीकारक की विकास प्रक्रिया का ऐसा हिस्सा बन जाते हैं जिसकी जाँच की जा सकती है।