क्या एआई एजेंट वास्तविक शोध में अच्छे हैं? डीप रिसर्च बेंच रिपोर्ट के अंदर

जैसे ही बड़े भाषा मॉडल (एलएलएम) तेजी से विकसित हो रहे हैं, वे शक्तिशाली शोध सहायक के रूप में अपना वादा भी बढ़ा रहे हैं। बढ़ते हुए, वे केवल सरल तथ्यात्मक प्रश्नों का उत्तर नहीं दे रहे हैं – वे “गहरे शोध” कार्यों को संभाल रहे हैं, जिनमें बहु-चरण तर्क, विरोधाभासी जानकारी का मूल्यांकन, वेब के विभिन्न हिस्सों से डेटा स्रोत और इसे एक सुसंगत आउटपुट में संश्लेषित करना शामिल है।

यह उभरने वाली क्षमता अब विभिन्न ब्रांड नामों के तहत प्रमुख प्रयोगशालाओं द्वारा विपणन की जा रही है – ओपनएआई इसे “डीप रिसर्च” कहता है, एंथ्रोपिक इसे “एक्सटेंडेड थिंकिंग” कहता है, गूगल के जेमिनी में “सर्च + प्रो” सुविधाएं हैं, और पर्प्लेक्सिटी इसे “प्रो सर्च” या “डीप रिसर्च” लेबल करता है। लेकिन वास्तविक अभ्यास में ये प्रस्ताव कितने प्रभावी हैं? फ्यूचरसर्च द्वारा एक रिपोर्ट, जिसका शीर्षक डीप रिसर्च बेंच (डीआरबी): वेब रिसर्च एजेंटों का मूल्यांकन, सबसे कठोर मूल्यांकन प्रदान करता है – और परिणाम दोनों प्रभावशाली क्षमताओं और महत्वपूर्ण कमियों को प्रकट करते हैं।

डीप रिसर्च बेंच क्या है?

फ्यूचरसर्च टीम द्वारा बनाया गया, डीप रिसर्च बेंच एक सावधानीपूर्वक निर्मित बेंचमार्क है जो वेब-आधारित शोध कार्यों पर एआई एजेंटों के प्रदर्शन का मूल्यांकन करने के लिए डिज़ाइन किया गया है। ये सरल प्रश्न नहीं हैं जिनके सीधे उत्तर हैं – वे वास्तविक दुनिया की सेटिंग्स में विश्लेषकों, नीति निर्माताओं और शोधकर्ताओं द्वारा सामना की जाने वाली जटिल, खुली चुनौतियों को प्रतिबिंबित करते हैं।

बेंचमार्क में 8 श्रेणियों में 89 विभिन्न कार्य शामिल हैं जैसे कि:

• नंबर ढूंढें: उदाहरण के लिए, “कितने एफडीए क्लास II मेडिकल डिवाइस रिकॉल हुए?”
• दावे को मान्य करें: उदाहरण के लिए, “क्या चैटजीपीटी गूगल सर्च की तुलना में 10 गुना अधिक ऊर्जा-गहन है?”
• डेटासेट संकलित करें: उदाहरण के लिए, “2019-2023 से यूएस सॉफ्टवेयर डेवलपर्स के लिए नौकरी रुझान”।

प्रत्येक कार्य प्रकार को मानव-सत्यापित उत्तरों के साथ सावधानीपूर्वक संरचित किया जाता है और एक जमे हुए डेटासेट का उपयोग करके मूल्यांकन किया जाता है, जिसे रेट्रोसर्च कहा जाता है। यह मॉडल मूल्यांकन में स्थिरता सुनिश्चित करता है, जो लाइव वेब की बदलती स्थिति से बचाता है।

एजेंट आर्किटेक्चर: रिएक्ट और रेट्रोसर्च

डीप रिसर्च बेंच के दिल में रिएक्ट आर्किटेक्चर है, जिसका अर्थ है “रीजन + एक्ट।” यह विधि एक मानव शोधकर्ता की तरह एक समस्या को हल करने की कोशिश करती है – समस्या के बारे में सोचते हुए, एक कार्रवाई करते हुए, जैसे कि वेब खोज करना, परिणामों को देखते हुए, और फिर यह तय करते हुए कि क्या पुनरावृत्ति करना है या निष्कर्ष निकालना है।

जबकि पहले के मॉडल इस लूप का स्पष्ट रूप से पालन करते हैं, नए “सोच” मॉडल अक्सर प्रक्रिया को अधिक तरल बनाते हैं, अपनी क्रियाओं में तर्क को अधिक द्रव적으로 एम्बेड करते हैं। मूल्यांकन में स्थिरता सुनिश्चित करने के लिए, डीआरबी रेट्रोसर्च की शुरुआत करता है – एक कस्टम-निर्मित, स्थिर संस्करण वेब। लाइव इंटरनेट पर भरोसा करने के बजाय, जो लगातार बदलता रहता है, एजेंट एक क्यूरेटेड आर्काइव में टैप करते हैं वेब पेज जो टूल्स जैसे सरपर, प्लेव्राइट, और स्क्रेपरएपीआई का उपयोग करके खोजा जाता है। पैमाना प्रभावशाली है: उच्च जटिलता वाले कार्यों के लिए जैसे “साक्ष्य इकट्ठा करना”, रेट्रोसर्च में 189,000 से अधिक पृष्ठों तक पहुंच प्रदान कर सकता है, सभी समय में जमे हुए, एक निष्पक्ष और पुनरावृत्ति योग्य परीक्षण वातावरण सुनिश्चित करता है।

कौन से एआई एजेंट सबसे अच्छा प्रदर्शन करते हैं?

सभी प्रतियोगियों में, ओपनएआई का ओ3 शीर्ष प्रदर्शनकर्ता के रूप में उभरा, जिसने डीप रिसर्च बेंच पर 1.0 में से 0.51 स्कोर किया। जबकि यह मामूली लग सकता है, यह समझना महत्वपूर्ण है कि बेंचमार्क की कठिनाई: कार्य परिभाषाओं और स्कोरिंग में अस्पष्टता के कारण, यहां तक कि एक निर्दोष एजेंट भी 0.8 के आसपास शीर्ष पर पहुंच सकता है – जिसे शोधकर्ता “शोर सीलिंग” कहते हैं। दूसरे शब्दों में, आज के सबसे अच्छे मॉडल अभी भी मानव शोधकर्ताओं की तुलना में कम हैं।

फिर भी, लीडरबोर्ड से खुलासा करने वाले अंतर्दृष्टि प्रदान करता है। ओ3 न केवल पैक का नेतृत्व किया, बल्कि उसने लगभग सभी कार्य प्रकारों में गति और स्थिरता के साथ ऐसा किया। एंथ्रोपिक के क्लाउड 3.7 सोनेट ने अपने “सोच” और “गैर-सोच” मोड दोनों में बहुमुखी प्रतिभा का प्रदर्शन किया। गूगल के फ्लैगशिप मॉडल जेमिनी 2.5 प्रो ने संरचित योजना और चरण-दर-चरण तर्क की आवश्यकता वाले कार्यों को संभालने की क्षमता में उत्कृष्टता दिखाई। इस बीच, ओपन-वेट डीपसीक-आर1 ने एक सुखद आश्चर्य दिया – जीपीटी-4 टर्बो के साथ तालमेल बिठाया और खुले और बंद मॉडलों के बीच प्रदर्शन अंतर को कम किया।

सार्वभौमिक रूप से, एक स्पष्ट पैटर्न उभरा: नए, “सोच-सक्षम” मॉडल लगातार अपने पूर्ववर्ती मॉडलों की तुलना में बेहतर प्रदर्शन करते थे, और बंद-स्रोत मॉडल खुले-वजन विकल्पों पर एक उल्लेखनीय बढ़त बनाए रखते थे।

एजेंट कहां संघर्ष करते हैं?

डीप रिसर्च बेंच रिपोर्ट में उल्लिखित विफलता पैटर्न पढ़ना आश्चर्यजनक रूप से परिचित लगा। मैंने व्यक्तिगत रूप से जिन सबसे अधिक निराशाजनक पहलुओं का सामना किया है, विशेष रूप से लंबे शोध या सामग्री निर्माण सत्र के दौरान, जब एक एआई एजेंट बस यह भूल जाता है कि हम क्या कर रहे थे। जैसे ही संदर्भ विंडो फैलती है, मॉडल अक्सर धागा खोना शुरू कर देता है: महत्वपूर्ण विवरण फीके पड़ जाते हैं, लक्ष्य भ्रमित हो जाते हैं, और अचानक, प्रतिक्रियाएं अव्यवस्थित या निर्देशहीन महसूस होने लगती हैं। किसी बिंदु पर, मैंने सीखा है कि अक्सर नुकसान को कम करना और शुरू से शुरू करना बेहतर होता है, भले ही इसका मतलब यह हो कि जो कुछ भी उत्पन्न किया गया है उसे फेंक देना।

वह भूलना केवल अनुभवजन्य नहीं है – यह डीप रिसर्च बेंच मूल्यांकन में विफलता का सबसे महत्वपूर्ण भविष्यवाणी है। लेकिन यह एकमात्र दोहराया मुद्दा नहीं है। रिपोर्ट यह भी उजागर करती है कि कुछ मॉडल टूल के दोहराए जाने वाले उपयोग में फंस जाते हैं, बार-बार एक ही खोज चलाते हैं जैसे कि वे एक लूप में फंस गए हों। अन्य खराब प्रश्न निर्माण दिखाते हैं, महत्वपूर्ण रूप से खोज करने के बजाय केवल कीवर्ड मिलान करते हैं। और बहुत बार, एजेंट समय से पहले निष्कर्ष पर पहुंच जाते हैं – एक आधे तरीके से उत्तर देते हैं जो तकनीकी रूप से बॉक्स को चेक करता है लेकिन वास्तविक अंतर्दृष्टि से कम है।

शीर्ष मॉडलों के बीच भी अंतर तेज है। जीपीटी-4 टर्बो, उदाहरण के लिए, पिछले चरणों को भूलने की उल्लेखनीय प्रवृत्ति दिखाई, जबकि डीपसीक-आर1 अधिक झूठ बोलने या गलत सूचना प्रदान करने की संभावना थी। मॉडल अक्सर स्रोतों की जांच या अपने आउटपुट को अंतिम रूप देने से पहले अपने निष्कर्षों को सत्यापित करने में विफल रहे। किसी भी कार्य के लिए जो एआई पर गंभीर काम के लिए निर्भर करता है, ये मुद्दे बहुत परिचित लगेंगे – और वे इस बात पर जोर देते हैं कि हमें वास्तव में मानवों की तरह सोच और शोध करने में सक्षम एजेंट बनाने के लिए अभी भी कितना काम करना है।

मेमोरी-आधारित प्रदर्शन के बारे में क्या?

दिलचस्प बात यह है कि डीप रिसर्च बेंच ने “टूललेस” एजेंटों का भी मूल्यांकन किया, जो बाहरी टूल्स जैसे वेब सर्च या डॉक्यूमेंट रिट्रीवल तक पहुंच के बिना काम करने वाले भाषा मॉडल हैं। ये एजेंट पूरी तरह से अपने आंतरिक प्रशिक्षण डेटा और स्मृति पर निर्भर करते हैं, उत्तर पैदा करते हैं जो केवल उन्होंने प्रशिक्षण के दौरान जो सीखा है। व्यवहार में, इसका मतलब है कि वे कुछ भी देख नहीं सकते हैं या सत्यापित नहीं कर सकते हैं – वे केवल अपनी “स्मृति” पर आधारित अनुमान लगा रहे हैं।

अचंभा की बात यह है कि इन टूललेस एजेंटों ने कुछ कार्यों पर लगभग उतना ही अच्छा प्रदर्शन किया जितना कि पूर्ण शोध एजेंट। उदाहरण के लिए, दावे को मान्य करने के कार्य पर – जहां लक्ष्य एक बयान की संभावना का मूल्यांकन करना है – उन्होंने 0.61 स्कोर किया, जो टूल-सक्षम एजेंटों के 0.62 के औसत से मेल खाता है। यह सुझाव देता है कि मॉडल जैसे ओ3 और क्लाउड में मजबूत आंतरिक प्राथमिकताएं हैं और अक्सर बिना वेब खोज के सामान्य दावों की सत्यता को पहचान सकते हैं।

लेकिन अधिक मांग वाले कार्यों पर – जैसे कि डेरिव नंबर, जिसमें विभिन्न स्रोतों से मूल्यों को एक साथ रखना शामिल है, या साक्ष्य इकट्ठा करना, जिसमें संदर्भ में विभिन्न तथ्यों का मूल्यांकन करना शामिल है – ये टूललेस मॉडल पूरी तरह से टूट गए। ताज़ा जानकारी या वास्तविक समय की खोज क्षमता के बिना, उन्होंने सटीक या व्यापक उत्तर प्रदान करने के साधन की कमी की।

यह विपरीत एक महत्वपूर्ण नाजुकता को उजागर करता है: जबकि आज के एलएलएम वास्तव में “जानने” का अनुकरण कर सकते हैं, गहरे शोध न केवल पुनरावृत्ति पर निर्भर करते हैं, बल्कि तर्कसंगत, सत्यापित जानकारी के साथ – कुछ जो केवल टूल-सक्षम एजेंट वास्तव में प्रदान कर सकते हैं।

अंतिम विचार

डीआरबी रिपोर्ट एक बात स्पष्ट करती है: जबकि आज के सर्वश्रेष्ठ एआई एजेंट संकीर्ण रूप से परिभाषित कार्यों पर औसत मानवों को पार कर सकते हैं, वे अभी भी कुशल सामान्य शोधकर्ताओं से पीछे हैं – विशेष रूप से जब यह रणनीतिक रूप से योजना बनाने, प्रक्रिया के दौरान अनुकूलन करने और सूक्ष्मता के साथ तर्क करने की बात आती है।

यह अंतर विशेष रूप से लंबे या जटिल सत्रों के दौरान स्पष्ट हो जाता है – जो मैंने स्वयं अनुभव किया है, जहां एक एजेंट धीरे-धीरे कार्य के उद्देश्य को खो देता है, जिससे सुसंगतता और उपयोगिता में एक निराशाजनक टूट-फूट होती है।

जो डीप रिसर्च बेंच को इतना मूल्यवान बनाता है वह यह है कि यह केवल सतही ज्ञान का परीक्षण नहीं करता है – यह टूल के उपयोग, स्मृति, तर्क और अनुकूलन के बीच के अंतर्संबंध की जांच करता है, जो वास्तविक दुनिया के शोध के लिए एक अधिक निकट अनुरूप प्रदान करता है बेंचमार्क जैसे एमएमएलयू या जीएसएम8के।

जैसे ही एलएलएम गंभीर ज्ञान कार्य में एकीकृत होते हैं, फ्यूचरसर्च जैसे डीआरबी जैसे टूल आवश्यक होंगे ताकि यह नहीं देखा जा सके कि ये सिस्टम क्या जानते हैं, बल्कि वे वास्तव में कितनी अच्छी तरह काम करते हैं।