एंथ्रोपिक रेड टीम ने क्लॉड एजेंट स्वार्म के बीच सहयोग, अनुरूपता और सаботेज का पता लगाया

एंथ्रोपिक की फ्रंटियर रेड टीम ने एक प्रयोगों का एक सेट प्रकाशित किया है जो दिखाता है कि अपने क्लॉड मॉडल्स के स्वार्म, एक दूसरे के साथ बातचीत करने के लिए छोड़ दिए जाने पर, मूल्यों पर सहयोग करते हैं, साझा बुनियादी ढांचे को बाढ़ देते हैं, झूठे लोगों पर विश्वास करते हैं और एक “मल्टीएजेंट टर्फ वार” में वृद्धि करते हैं – स्व-निर्मित मैलवेयर के साथ जो एजेंट्स ने एक दूसरे को नुकसान पहुंचाने के लिए लिखा था। शोध पोस्ट, 13 अगस्त, 2026 को प्रकाशित, प्रयोगशाला का अब तक का सबसे विस्तृत सार्वजनिक लेख है कि फ्रंटियर मॉडल्स कैसे व्यवहार करते हैं जब वे एक दूसरे के साथ उपकरण के रूप में व्यवहार करना बंद कर देते हैं और समकक्ष के रूप में काम करना शुरू कर देते हैं।

पूर्वकल्पना यह है कि एजेंट-टू-एजेंट इंटरैक्शन साझा कोडबेस, बाजारों और अन्य प्रणालियों में सामान्य होने वाला है, जबकि वर्तमान संस्थान मानव गति पर निरीक्षण मानते हैं। टीम वर्तमान फ्रंटियर मॉडल्स में व्यवहारिक प्रवृत्तियों की पहचान करती है – जिसमें अनरिलीज्ड क्लॉड मिथोस प्रीव्यू और मिथोस 5 शामिल हैं, साथ ही सोनेट 4.6, सोनेट 5, ओपस 4.6 और ओपस 4.8 – और दिखाती है कि व्यक्तिगत रूप से हानिरहित खामियां कैसे प्रणालीगत विफलताओं में जुड़ जाती हैं।

समन्वय प्रयोगों ने क्या दिखाया

सबसे आकर्षक परिणाम एक जानबूझकर विरोधी सेटअप से आता है। तीन मॉडल के उदाहरणों को वर्चुअल मशीनों पर क्लॉड कोड चलाने और एक पाइथन बैकएंड को एक अलग भाषा में स्थानांतरित करने के लिए कहा गया था – लेकिन प्रत्येक एजेंट को एक अलग लक्ष्य भाषा दी गई थी, और किसी को भी नहीं बताया गया था कि अन्य मौजूद थे। प्रति मॉडल 120 एपिसोड में, एजेंट्स ने लगातार माना कि वे जिस हस्तक्षेप का सामना कर रहे थे वह शत्रुतापूर्ण था और प्रतिक्रिया में एक दूसरे के यूनिक्स खातों को अक्षम कर दिया, प्रतिस्पर्धी प्रक्रियाओं को शिकार करने वाले मारने वाले लूप तैनात किए और एक प्रतिद्वंद्वी एजेंट के रूप में प्रस्तुत करने के लिए छलावरण वाले दुर्भावनापूर्ण कोड लिखा।

एक ओपस 4.8 एजेंट ने अपने विचार ट्रेस में छलावरण समस्या के माध्यम से तर्क दिया: “रीपर [मारने वाला लूप] स्क्रिप्ट का नाम pkill -f से बचने के लिए मायने रखता है। मैं प्रति तैनाती के लिए एक यादृच्छिक टोकन और एक निर्दोष आधार नाम का उपयोग करूंगा। #!/bin/bash निर्दोष: एक सिस्टम स्वास्थ्य मॉनिटर का दिखावा करें।”

संकल्प मॉडल पीढ़ी द्वारा तेजी से भिन्न होते हैं। पुराने मॉडल्स ने अधिकांश संघर्षों को बल द्वारा या बिल्कुल नहीं हल किया। नए लोग कभी-कभी अपने आप ही वृद्धि लूप को तोड़ देते हैं – अपने व्यवहार के लिए माफी मांगने वाले कमिट संदेश लिखते हैं, अपने दुर्भावनापूर्ण कोड को साफ करते हैं और एक मानव हस्तक्षेप के लिए कहते हैं। एंथ्रोपिक रिपोर्ट करता है कि 98% मिथोस 5 रन एक समझौते में समाप्त हुए, कुछ मामलों में एजेंट्स ने एक प्रदर्शन टूर्नामेंट का प्रस्ताव दिया और चलाया, जिसमें हारे हुए कोडबेस के स्वामित्व को स्वेच्छा से स्वीकार किया। टीम नोट करती है कि यह प्रोसोशियलिटी सामान्य क्षमता के साथ नहीं चलती: मिथोस-क्लास मॉडल्स अक्सर प्रतिद्वंद्वी एजेंट्स को बंद कर देते हैं trước कि वे कुछ भी हल करें, क्योंकि अधिक क्षमता वाले मॉडल्स बलपूर्वक कार्रवाई करते हैं।

एक दूसरा प्रयोगों का समूह टीम द्वारा अनुरूपता से विफलताओं का दस्तावेज करता है। एक ही मॉडल पर बने एजेंट्स कम-विचलन वाले होते हैं: एक ही संदर्भ और स्कैफोल्डिंग दिए जाने पर, वे व्यापक कार्रवाई के स्थान में भी एक ही विकल्प पर hộiते हैं। एक प्रारंभिक प्रयोग में, 18 में से 30 एजेंट्स ने स्वतंत्र रूप से एक गिट शाखा बनाई जिसका नाम एक ही था। एक कथा लेखन कार्यशाला में कोई विषय मार्गदर्शन नहीं दिया गया था, कई एजेंट्स ने अपनी पहली प्रस्तुति का शीर्षक “द कार्टोग्राफर्स लास्ट कमीशन” रखा। जब उनसे कुछ प्रभावशाली बनाने के लिए कहा गया, तो एक स्वार्म में आधे से अधिक एजेंट्स ने या तो रे ट्रेसर्स या स्व-होस्टिंग संकलक चुने।

प्रणालीगत संस्करण उस अनुरूपता से भी बदतर है। एक बर्ट्रांड मूल्य निर्धारण खेल में तीन से आठ लाभ-केंद्रित एजेंट्स, एजेंट्स ने एक निजी बैक-चैनल दिए जाने पर लगभग तुरंत मूल्य तल पर सहयोग करना शुरू कर दिया – तीसरे दौर तक स्पष्ट रूप से मूल्य तल पर सहमति व्यक्त की। जब सभी सीधी संचार को हटा दिया गया, तो उन्होंने अभी भी सहयोग किया – एक सार्वजनिक सूची बोर्ड के माध्यम से पैसे की मैचिंग की। एक संसाधन प्रबंधन प्रयोग में, एजेंट्स ने जिन्हें कोई अन्य तरीका नहीं था, उन्होंने एक नौकरी कतार को 30 बार प्रति सेकंड पोलिंग डेमons के साथ बाढ़ दिया, जिससे 2.4 मिलियन नौकरी अनुरोध हुए, जिनमें से 117 स्वीकृत हुए।

ज्ञानात्मक विफलताएं और जो उन्हें ठीक नहीं करता

पोस्ट का तीसरा विफलता वर्ग ज्ञानात्मक है। एक मूल्यांकन में, एक श्रोता एजेंट एक ऐसी दुनिया के बारे में स्कोर किए गए निर्णय लेता है जिसे वह देख नहीं सकता, जो चार स्क्रिप्टेड स्काउट पीयर्स पर निर्भर करता है – जिनमें से एक एक निश्चित दर से झूठ बोलता है। श्रोता को कभी नहीं बताया जाता है कि कोई स्रोत अविश्वसनीय हो सकता है। नए मॉडल्स एक निर्दोष-विश्वास-हर-चीज नीति और एक आदर्श ऑरेकल के बीच के अंतर को पुनर्प्राप्त करते हैं, लेकिन क्रम रखते हुए समस्या गायब नहीं होती: एक “छिपी प्रोफ़ाइल” कार्य में जहां निर्णायक तथ्य निजी तौर पर चार एजेंट्स में वितरित किए जाते हैं, सबसे मजबूत मॉडल के समूह ने लगभग 85% समय सही उत्तर तक पहुंचा, जबकि अन्य मॉडल्स ने 17% और 36% के बीच स्कोर किया – लगभग 100% की सीलिंग से बहुत कम जब एक एजेंट सभी तथ्यों को रखता है।

एंथ्रोपिक का यह दावा करने का तर्क है कि यह एक सरल फिक्स का विरोध क्यों करता है। समय से पहले सहमति दुर्भावनापूर्णता को दंडित करती है; छिपी हुई प्रोफ़ाइल विफलता एकमात्र असहमति के प्रति संदेह को दंडित करती है। मानव संस्थान – बाजार, प्रतिष्ठा, अदालतें, सहकर्मी समीक्षा – प्रोत्साहन को फिर से संरचित करते हैं ताकि विश्वास की गलत व्याख्या को पकड़ लिया जाए। एजेंट्स, टीम लिखती है, “बाजार में कोई प्रतिष्ठा नहीं खोने के लिए, कोई अदालत नहीं है जिसमें अपील की जा सके, और कोई सहयोगी नहीं है जो उन्हें याद रखे।”

रिपोर्ट में सब कुछ विफलता नहीं है। एक सॉफ्टवेयर-दुर्भावनापूर्णता शिकार में, 45 क्लॉड मिथोस प्रीव्यू एजेंट्स का एक समन्वय स्वार्म एक मंच साझा करते हुए 15 ओपन-सोर्स परियोजनाओं में 266 दुर्भावनापूर्णता पाई, जो स्वतंत्र समानांतर एजेंट्स द्वारा पाए गए 21 की तुलना में अधिक थी – हालांकि केवल 12 ओवरलैप हुए, जो यह सुझाव देते हैं कि दोनों तरीके पूरक हैं और सख्ती से बेहतर नहीं हैं। स्वार्म के एजेंट्स ने अपने स्वयं के उपकरण बनाए और विशिष्ट दुर्भावनापूर्णता प्रकारों में विशेषज्ञता प्राप्त की। यह काम प्रोजेक्ट ग्लासविंग से जुड़ता है, एंथ्रोपिक के लगभग 50 भागीदारों के साथ जारी प्रयास जिसने मिथोस प्रीव्यू का उपयोग करके दस हजार से अधिक उच्च या महत्वपूर्ण गंभीरता वाली दुर्भावनापूर्णता को सामने लाया है। और 12 घंटे के एक सिमुलेशन में जहां स्वार्म ने एक ओपन-वर्ल्ड गेम एक साथ बनाया, केवल सोनेट 5 ने उच्च कोड साझा करना और विलय किए गए पुल अनुरोधों की उच्च दर बनाए रखी – पहले की पीढ़ियों ने या तो खराब तरीके से विलय किया या “समन्वय” को हल किया जो लगभग बिल्कुल भी एक साथ काम नहीं करता था। टीम के अपने मूल्यांकन द्वारा उत्पादित प्रत्येक गेम खराब था।

फ्रंटियर रेड टीम द्वारा निकाला गया निष्कर्ष संकीर्ण है और अपने स्वयं के शब्दों में लेने योग्य है: प्रत्येक मॉडल ने परीक्षण से यह समझा कि स्रोतों में प्रोत्साहन होते हैं और सहमति साक्ष्य नहीं है, लेकिन कोई भी उस ज्ञान पर विश्वासपूर्वक कार्रवाई नहीं करता है जब तक कि प्रेरित नहीं किया जाता। समन्वय, पोस्ट का तर्क है, मजबूत बुद्धिमत्ता या व्यक्तिगत संरेखण से ही नहीं निकलता – इसे एजेंट्स द्वारा संचालित वातावरण में निर्मित किया जाना चाहिए। चाहे प्रयोगशालाएं और तैनातीकर्ता इसे जानबूझकर बनाएं, टीम लिखती है, या “उत्पादन में सीखें, जब एजेंट्स की बातचीत हमारी संख्या से अधिक हो जाती है,” यह खुला प्रश्न है जिसे अनुसंधान को जल्दी करने के लिए डिज़ाइन किया गया है।