लीडिंग एलएलएम्स की कोडिंग व्यक्तित्व के अंदर – सोनार स्टेट ऑफ कोड रिपोर्ट से अंतर्दृष्टि

अगस्त 2025 में, सोनार ने अपनी नवीनतम स्टेट ऑफ कोड अध्ययन, लीडिंग एलएलएम्स की कोडिंग व्यक्तित्व – एक स्टेट ऑफ कोड रिपोर्ट जारी की। यह शोध सटीकता स्कोर से परे जाता है, यह देखते हुए कि वास्तव में बड़े भाषा मॉडल कोड कैसे लिखते हैं और प्रत्येक के लिए अद्वितीय “कोडिंग व्यक्तित्व” का खुलासा करते हैं।

अध्ययन ने क्लाउड सोनेट 4, क्लाउड 3.7 सोनेट, जीपीटी-4ओ, लामा 3.2 90बी, और ओपनकोडर-8बी का मूल्यांकन किया, जो सोनार के अपने स्टैटिक-विश्लेषण इंजन का उपयोग करके 4,400 से अधिक जावा असाइनमेंट पर किया गया था – 16 वर्षों से अपने फ्लैगशिप सोनारक्यूब एंटरप्राइज प्लेटफॉर्म के माध्यम से परिष्कृत प्रौद्योगिकी।

साझा ताकत

पांचों मॉडलों ने मजबूत वाक्यात्मक विश्वसनीयता का प्रदर्शन किया, जिसका अर्थ है कि उनके द्वारा उत्पन्न कोड अधिकांश मामलों में सफलतापूर्वक संकलित और चलाया गया। यह उनके ह्यूमनइवल स्कोर में परिलक्षित हुआ, एक बेंचमार्क परीक्षण जहां मॉडलों को कोडिंग समस्याओं का समाधान करने के लिए कहा जाता है और उनके समाधानों की स्वचालित रूप से सहीपन की जांच की जाती है। क्लाउड सोनेट 4 ने 95.57% ह्यूमनइवल स्कोर और 77.04% वेटेड पास@1 दर के साथ सूची में शीर्ष स्थान हासिल किया, जिसका अर्थ है कि इसका पहला प्रयास तीन-चौथाई मामलों में सही था। क्लाउड 3.7 सोनेट ने 72.46% स्कोर किया, जीपीटी-4ओ 69.67%, लामा 3.2 61.47%, और ओपनकोडर-8बी 60.43%।

यह प्रदर्शन विभिन्न प्रोग्रामिंग भाषाओं में बना रहा, जो यह दिखाता है कि ये मॉडल समस्याओं के माध्यम से तर्कसंगत रूप से सोच रहे हैं, न कि केवल स्मृति से सिंटैक्स पर निर्भर हैं।

सामान्य कमजोरियां

सबसे चिंताजनक साझा दोष खराब सुरक्षा स्वच्छता थी। सोनार ने ब्लॉकर-स्तर के दोषों को मापा, जो दोषों की सबसे गंभीर श्रेणी है – सुरक्षा मुद्दे जो सीधे बड़े उल्लंघन या सिस्टम समझौते का कारण बन सकते हैं यदि उनका फायदा उठाया जाता है। उदाहरणों में शामिल हैं कोड जो मनमानी फ़ाइल पहुंच की अनुमति देता है, एसक्यूएल या कमांड इंजेक्शन, हार्डकोडेड पासवर्ड, गलत तरीके से कॉन्फ़िगर किए गए एन्क्रिप्शन, या अविश्वसनीय प्रमाणपत्र स्वीकार करता है। ये बहुत आम थे: क्लाउड सोनेट 4 में 59.57% दोष इस गंभीरता के थे, जीपीटी-4ओ में 62.5%, और लामा 3.2 में चिंताजनक 70.73%।

रिपोर्ट में संसाधन रिसाव की पुनरावृत्ति का भी उल्लेख किया गया था, एक प्रकार का बग जहां कोड एक संसाधन खोलता है – जैसे कि फ़ाइल हैंडल, नेटवर्क सॉकेट, या डेटाबेस कनेक्शन – लेकिन इसे ठीक से बंद नहीं करता है। समय के साथ, ये रिसाव उपलब्ध सिस्टम संसाधनों को समाप्त कर सकते हैं, जिससे प्रदर्शन मुद्दे या दुर्घटनाएं हो सकती हैं। क्लाउड सोनेट 4 में 54 ऐसे उल्लंघन थे, लामा 3.2 में 50, और जीपीटी-4ओ में 25।

रखरखाव के संदर्भ में, अधिकांश मुद्दे कोड गंध थे – पैटर्न जो तुरंत कार्यक्रम को तोड़ते नहीं हैं, लेकिन इसे बनाए रखना मुश्किल बनाते हैं और भविष्य में बग के लिए अधिक प्रवण बनाते हैं। 90% से अधिक सभी पहचाने गए मुद्दे इस श्रेणी में थे, जिनमें अक्सर अनुपयोगी कोड, खराब नामकरण, अत्यधिक जटिलता, या डिज़ाइन सर्वोत्तम अभ्यासों के उल्लंघन शामिल थे।

विशिष्ट व्यक्तित्व

इस ताकत और दोषों के मिश्रण से, सोनार ने स्पष्ट “व्यक्तित्व” प्रोफाइल की पहचान की।

क्लाउड सोनेट 4 ने “द सीनियर आर्किटेक्ट” का खिताब अर्जित किया। यह सबसे अधिक वाक्यात्मक कोड लिखता है – परीक्षण सेट में 370,816 पंक्तियों के साथ – उच्च संज्ञानात्मक जटिलता के साथ, जिसका अर्थ है कि इसके तर्क पथों का अनुसरण करना मुश्किल है। यह अच्छा प्रदर्शन करता है, लेकिन जटिल बग जैसे संसाधन रिसाव और समवर्ती त्रुटियों के लिए प्रवण है, जो अनजाने में हो सकते हैं जब कई थ्रेड या प्रक्रियाएं अनजाने में बातचीत करती हैं।

ओपनकोडर-8बी “द रैपिड प्रोटोटाइप” था, जो छोटे, केंद्रित कोड – कुल 120,288 पंक्तियों – का उत्पादन करता था, लेकिन सबसे अधिक मुद्दे घनत्व के साथ। इसकी गति और संक्षिप्तता इसे प्रूफ ऑफ कॉन्सेप्ट के लिए उपयुक्त बनाती है, लेकिन सावधानी से समीक्षा किए बिना उत्पादन के लिए खतरनाक है।

लामा 3.2 90बी “द अनफुलफिल्ड प्रॉमिस” था। यह मध्यम परिणाम दिया, लेकिन सबसे खराब सुरक्षा मुद्रा के साथ, 70% से अधिक दोष ब्लॉकर-स्तर के थे।

जीपीटी-4ओ “द एफिशिएंट जनरलिस्ट” था, जो कार्यक्षमता और जटिलता के बीच संतुलन बनाता था, लेकिन अक्सर नियंत्रण प्रवाह त्रुटियों पर ठोकर खाता था – संचालन के तार्किक क्रम में त्रुटियां जो गलत परिणाम या छोड़े गए कोड का कारण बन सकती हैं।

क्लाउड 3.7 सोनेट “द बैलेंस्ड पूर्ववर्ती” था, जो अपने उत्तराधिकारी की तुलना में कम वाक्यात्मक कोड का उत्पादन करता था, लेकिन 16.4% के साथ सबसे अधिक टिप्पणी घनत्व के साथ। जबकि यह दस्तावेज़ीकरण में बेहतर था, यह अभी भी महत्वपूर्ण उच्च-गंभीरता वाले दोषों को ले जाता था।

एक सबसे आकर्षक निष्कर्ष क्लाउड सोनेट 4 और क्लाउड 3.7 की तुलना से आया। हालांकि सोनेट 4 ने अपनी पास दर में 6.3% की वृद्धि की, इसके बग का प्रतिशत जो ब्लॉकर के रूप में दर्जा दिया गया था, लगभग दोगुना हो गया, 7.10% से 13.71% तक। ब्लॉकर-स्तर के दोष 56.03% से 59.57% तक भी बढ़े। सबक: प्रदर्शन में सुधार सुरक्षा की लागत पर आ सकता है।

निष्कर्ष

सोनार की लीडिंग एलएलएम्स की कोडिंग व्यक्तित्व – एक स्टेट ऑफ कोड रिपोर्ट यह स्पष्ट करती है कि बेंचमार्क सटीकता केवल कहानी का एक हिस्सा बताती है। सुरक्षा जोखिमों, रखरखाव, और कोडिंग शैली को समझना उतना ही महत्वपूर्ण है जितना कि यह जानना कि एक मॉडल कितनी बार “सही” प्राप्त करता है।

प्रत्येक व्यक्तित्व – चाहे वह आर्किटेक्ट, प्रोटोटाइप, सामान्य व्यक्ति या संतुलित पूर्ववर्ती हो – ताकत और व्यापार-बंद के साथ आता है। विकासकर्ताओं और संगठनों के लिए निष्कर्ष यह है कि “विश्वास लेकिन सत्यापित करें”, एआई कोडिंग सहायता को मानव पर्यवेक्षण, विस्तृत कोड समीक्षा, और सख्त सुरक्षा जांच के साथ जोड़कर यह सुनिश्चित करने के लिए कि गति और सुविधा सुरक्षा या दीर्घकालिक स्थिरता के साथ समझौता नहीं करती है।