एजेंट लेबोरेटरी: एएमडी और जॉन्स हॉपकिन्स द्वारा एक वर्चुअल रिसर्च टीम

जबकि हर कोई एआई एजेंटों और स्वचालन के बारे में बात कर रहा था, एएमडी और जॉन्स हॉपकिन्स विश्वविद्यालय ने मानव और एआई के बीच सहयोग को बेहतर बनाने के लिए काम किया है। उनका नया ओपन-सोर्स फ्रेमवर्क, एजेंट लेबोरेटरी, वैज्ञानिक अनुसंधान को मानव-एआई टीमवर्क के माध्यम से तेज करने का एक पूर्ण पुनरावलोकन है।

एआई अनुसंधान फ्रेमवर्क को देखने के बाद, एजेंट लेबोरेटरी अपने व्यावहारिक दृष्टिकोण के लिए खड़ा है। इसके बजाय मानव शोधकर्ताओं को बदलने की कोशिश करने (जैसा कि कई मौजूदा समाधानों में है), यह समय लेने वाले शोध के पहलुओं को संभालने के द्वारा उनकी क्षमताओं को बढ़ाने पर केंद्रित है, जबकि मानव को ड्राइवर की सीट पर रखते हैं।

मुख्य नवाचार यहाँ सरल लेकिन शक्तिशाली है: पूरी तरह से स्वचालित अनुसंधान का पीछा करने (जो अक्सर संदेहास्पद परिणामों की ओर ले जाता है) के बजाय, एजेंट लेबोरेटरी एक वर्चुअल लैब बनाता है जहां कई विशेषज्ञता वाले एआई एजेंट एक साथ काम करते हैं, प्रत्येक अनुसंधान प्रक्रिया के विभिन्न पहलुओं को संभालते हुए मानव मार्गदर्शन से जुड़े रहते हैं।

वर्चुअल लैब को तोड़ना

एजेंट लेबोरेटरी को एक अच्छी तरह से संगठित अनुसंधान टीम के रूप में सोचें, लेकिन एआई एजेंट विशेषज्ञ भूमिकाएं निभा रहे हैं। एक वास्तविक अनुसंधान प्रयोगशाला की तरह, प्रत्येक एजेंट की विशिष्ट जिम्मेदारियां और विशेषज्ञता है:

• एक पीएचडी एजेंट साहित्य समीक्षा और अनुसंधान योजना को संभालता है
• पोस्टडॉक एजेंट प्रयोगात्मक दृष्टिकोण को परिष्कृत करने में मदद करते हैं
• एमएल इंजीनियर एजेंट तकनीकी कार्यान्वयन को संभालते हैं
• प्रोफेसर एजेंट अनुसंधान आउटपुट का मूल्यांकन और स्कोरिंग करते हैं

इस प्रणाली को विशेष रूप से दिलचस्प बनाने वाली बात इसकी कार्य प्रणाली है। पारंपरिक एआई टूल्स के विपरीत जो अलगाव में काम करते हैं, एजेंट लेबोरेटरी एक सहयोगी वातावरण बनाता है जहां ये एजेंट एक दूसरे के काम पर बातचीत और निर्माण करते हैं।

प्रक्रिया एक प्राकृतिक अनुसंधान प्रगति का पालन करती है:

1. साहित्य समीक्षा: पीएचडी एजेंट arXiv API का उपयोग करके शैक्षणिक पत्रों की खोज करता है, संबंधित अनुसंधान एकत्रित और व्यवस्थित करता है
2. योजना निर्माण: पीएचडी और पोस्टडॉक एजेंट विस्तृत अनुसंधान योजना बनाने के लिए मिलकर काम करते हैं
3. कार्यान्वयन: एमएल इंजीनियर एजेंट कोड लिखते और परीक्षण करते हैं
4. विश्लेषण और प्रलेखन: टीम परिणामों की व्याख्या करने और व्यापक रिपोर्ट तैयार करने के लिए एक साथ काम करती है

लेकिन यहीं पर यह वास्तव में व्यावहारिक हो जाता है: फ्रेमवर्क कम्प्यूट-लचीला है, जिसका अर्थ है कि शोधकर्ता अपनी कम्प्यूटिंग शक्ति और बजट प्रतिबंधों के आधार पर संसाधनों का आवंटन कर सकते हैं। यह इसे वास्तविक दुनिया के अनुसंधान वातावरण के लिए एक उपकरण बनाता है।

Schmidgall et al.

मानव कारक: जहां एआई मिलता है विशेषज्ञता के साथ

जबकि एजेंट लेबोरेटरी में प्रभावशाली स्वचालन क्षमताएं हैं, वास्तविक जादू “को-पायलट मोड” में होता है। इस सेटअप में, शोधकर्ता प्रक्रिया के प्रत्येक चरण में प्रतिक्रिया प्रदान कर सकते हैं, मानव विशेषज्ञता और एआई सहायता के बीच एक वास्तविक सहयोग बनाते हैं।

को-पायलट फीडबैक डेटा कुछ आकर्षक अंतर्दृष्टि प्रकट करता है। स्वचालित मोड में, एजेंट लेबोरेटरी द्वारा उत्पन्न कागजात मानव मूल्यांकन में औसतन 3.8/10 स्कोर किया गया। लेकिन जब शोधकर्ताओं ने को-पायलट मोड में भाग लिया, तो वे स्कोर 4.38/10 तक बढ़ गए। जो विशेष रूप से दिलचस्प है वह यह है कि इन सुधारों ने कहां दिखाया – कागजात स्पष्टता (+0.23) और प्रस्तुति (+0.33) में काफी अधिक स्कोर किया।

लेकिन यहाँ वास्तविकता जांच है: यहां तक कि मानव भागीदारी के साथ, ये कागजात अभी भी औसत स्वीकृत न्यूरिप्स कागज (जो 5.85 पर बैठता है) से लगभग 1.45 अंक नीचे स्कोर किया गया। यह एक विफलता नहीं है, लेकिन यह एक महत्वपूर्ण सीख है कि एआई और मानव विशेषज्ञता को एक दूसरे के पूरक होने की आवश्यकता है।

मूल्यांकन ने कुछ और दिलचस्प खुलासा किया: एआई समीक्षकों ने लगातार कागजात को मानव समीक्षकों की तुलना में लगभग 2.3 अंक अधिक दर्जा दिया। यह अंतर इस बात को रेखांकित करता है कि अनुसंधान मूल्यांकन में मानव पर्यवेक्षण क्यों महत्वपूर्ण रहता है।

Schmidgall et al.

संख्या को तोड़ना

वास्तविक अनुसंधान वातावरण में क्या वास्तव में महत्वपूर्ण है? लागत और प्रदर्शन। एजेंट लेबोरेटरी का मॉडल तुलना के दृष्टिकोण से इस संबंध में कुछ आश्चर्यजनक दक्षता लाभ प्रकट करता है।

जीपीटी-4ओ ने गति का चैंपियन के रूप में उभरा, केवल 1,165.4 सेकंड में पूरे कार्यप्रवाह को पूरा किया – यह 3.2x तेज़ है o1-मिनी और 5.3x तेज़ o1-पूर्वावलोकन की तुलना में। लेकिन जो और भी महत्वपूर्ण है वह यह है कि यह केवल $2.33 प्रति पेपर की लागत से आता है। पिछले स्वचालित अनुसंधान विधियों की तुलना में जो लगभग $15 की लागत से आती हैं, हम 84% की लागत में कमी देख रहे हैं।

मॉडल प्रदर्शन को देखते हुए:

• o1-पूर्वावलोकन ने उपयोगिता और स्पष्टता में उच्चतम स्कोर किया
• o1-मिनी ने प्रयोगात्मक गुणवत्ता स्कोर में सर्वश्रेष्ठ प्रदर्शन किया
• जीपीटी-4ओ मेट्रिक्स में पिछड़ गया लेकिन लागत-कुशलता में आगे निकल गया

वास्तविक दुनिया के निहितार्थ यहाँ महत्वपूर्ण हैं।

शोधकर्ता अब अपनी विशिष्ट आवश्यकताओं के आधार पर अपने दृष्टिकोण का चयन कर सकते हैं:

• तेजी से प्रोटोटाइपिंग की आवश्यकता है? जीपीटी-4ओ गति और लागत-कुशलता प्रदान करता है
• प्रयोगात्मक गुणवत्ता को प्राथमिकता दे रहे हैं? o1-मिनी आपका सबसे अच्छा विकल्प हो सकता है
• सबसे पॉलिश्ड आउटपुट की तलाश में? o1-पूर्वावलोकन में वादा दिखाता है

यह लचीलापन का अर्थ है कि अनुसंधान टीमें फ्रेमवर्क को अपने संसाधनों और आवश्यकताओं के अनुसार अनुकूलित कर सकती हैं, एक-आकार-फिट-सभी समाधान में बंद नहीं है।

अनुसंधान में एक नया अध्याय

एजेंट लेबोरेटरी की क्षमताओं और परिणामों को देखने के बाद, मुझे यकीन है कि हम अनुसंधान के संचालन में एक महत्वपूर्ण बदलाव को देख रहे हैं। लेकिन यह प्रतिस्थापन की कहानी नहीं है जो अक्सर हेडलाइंस को नियंत्रित करती है – यह कुछ और सूक्ष्म और शक्तिशाली है।

जबकि एजेंट लेबोरेटरी के कागजात अभी तक शीर्ष सम्मेलन मानकों को पूरा नहीं कर रहे हैं, वे अनुसंधान त्वरण के लिए एक नया परिदृश्य बना रहे हैं। इसे ऐसे सोचें जैसे कि आपके पास एआई अनुसंधान सहायकों की एक टीम है जो कभी नहीं सोती है, प्रत्येक वैज्ञानिक प्रक्रिया के विभिन्न पहलुओं में विशेषज्ञता रखती है।

शोधकर्ताओं के लिए निहितार्थ गहरे हैं:

• साहित्य समीक्षा और बुनियादी कोडिंग पर बिताया गया समय रचनात्मक विचारों की ओर मोड़ा जा सकता है
• संसाधन प्रतिबंधों के कारण अलमारी में रखे गए अनुसंधान विचार व्यवहार्य हो सकते हैं
• तेजी से प्रोटोटाइप और परीक्षण की क्षमता तेजी से सफलता की ओर ले जा सकती है

वर्तमान सीमाएं, जैसे कि एआई और मानव समीक्षा स्कोर के बीच अंतर, अवसर हैं। प्रत्येक प्रणाली के प्रत्येक संशोधन से हम मानव और एआई के बीच अधिक परिष्कृत अनुसंधान सहयोग की ओर बढ़ रहे हैं।

आगे देखते हुए, मैं तीन प्रमुख विकास देखता हूं जो वैज्ञानिक खोज को फिर से आकार दे सकते हैं:

1. मानव-एआई सहयोग के अधिक परिष्कृत पैटर्न उभरेंगे क्योंकि शोधकर्ता इन उपकरणों का प्रभावी ढंग से उपयोग करना सीखेंगे
2. लागत और समय की बचत अनुसंधान को लोकतांत्रिक बना सकती है, जिससे छोटी प्रयोगशालाओं और संस्थानों को अधिक महत्वाकांक्षी परियोजनाओं का पीछा करने की अनुमति मिल सकती है
3. तेजी से प्रोटोटाइपिंग क्षमता अनुसंधान में अधिक प्रयोगात्मक दृष्टिकोण की ओर ले जा सकती है

इस संभावना को अधिकतम करने की कुंजी यह समझना है कि एजेंट लेबोरेटरी और इसी तरह के फ्रेमवर्क स्वचालन के लिए नहीं, बल्कि विस्तार के लिए उपकरण हैं। अनुसंधान का भविष्य मानव विशेषज्ञता और एआई क्षमताओं के बीच चयन करने के बारे में नहीं है – यह उन्हें जोड़ने के लिए नवाचारी तरीके खोजने के बारे में है।