वैज्ञानिक पत्रों को एआई समीक्षकों से कैसे बचाया जाए

नई अनुसंधान यह दिखाता है कि एआई प्रणाली अब वैज्ञानिक पत्र लिख सकती हैं जिन्हें अन्य एआई वास्तविक के रूप में स्वीकार करते हैं, जो पहले काम करने वाले पता लगाने के तरीकों से बचते हैं, और यह उजागर करते हैं कि अनुसंधान दुनिया कितनी आसानी से बॉट्स को बॉट्स को धोखा देने में गिर सकती है।

वैज्ञानिक अनुसंधान क्षेत्र, जो वास्तव में एआई में नवाचार की पहली पंक्ति है, एआई द्वारा संचालित एक विश्वसनीयता संकट के माध्यम से गुजर रहा है। एआई के प्रभाव की संभावना पहली बार स्पष्ट होने के बाद से अनुसंधान, जमा और समीक्षा प्रक्रिया पर मशीन लर्निंग का प्रभाव काफी महत्वपूर्ण रहा है लगभग चार साल पहले, और नवीनतम विवाद कम मूल्य के सर्वेक्षण पत्रों के बड़े पैमाने पर उत्पादन है।

व्यापक शैक्षिक क्षेत्र के साथ, अनुसंधान क्षेत्र एआई पाठ उत्पन्न करने वाले एआई – जैसे कि चैटजीपीटी और क्लॉड श्रृंखला – और नवीनतम पीढ़ी के ‘डिटेक्टर’ एआई के बीच एक तरह के शीत युद्ध में शामिल है, जो उनके आउटपुट को पहचान सकते हैं बिना (आमतौर पर) छात्रों या वैज्ञानिकों को गलत सकारात्मक परिणामों के साथ दागने के।

इन तनावों को बढ़ने की संभावना है, साथ ही वैज्ञानिक जमा की मात्रा भी, जो तेजी से बढ़ रही है, एआई-सहायता प्राप्त प्रणाली और ढांचे द्वारा ईंधन, और समीक्षा प्रक्रिया के औद्योगिकीकरण की आवश्यकता है एआई द्वारा संचालित (उम्मीद है) कि कोई भी जमा जो पूरी तरह से एआई का काम है।

नकली ज्ञान स्वागत

एक नए अनुसंधान सहयोग में संयुक्त राज्य अमेरिका और सऊदी अरब यह जांचता है कि इस उभरते ‘फायरवॉल’ को कितनी दूर तक एआई पता लगाने से प्रवेश किया जा सकता है, जब उन पत्रों में कुछ अतिरिक्त, आश्वस्त चालें होती हैं।

परीक्षणों में, नए सिस्टम, जिसे बैडसाइंटिस्ट कहा जाता है, 82% तक की स्वीकृति दर प्राप्त करने में सक्षम था, जो वर्तमान में वैज्ञानिक अनुसंधान पत्रों में एआई-उत्पन्न सामग्री का पता लगाने के लिए उपयोग किए जाने वाले एलएलएम-आधारित प्रणाली से है।

बैडसाइंटिस्ट सिस्टम एक एआई एजेंट का उपयोग करके नकली वैज्ञानिक पत्रों को उत्पन्न करता है और दूसरे को वर्तमान भाषा मॉडल का उपयोग करके उनकी समीक्षा करता है। स्रोत: https://arxiv.org/pdf/2510.18003

नकली पत्र वास्तविक एआई सम्मेलन विषयों और भ्रामक रणनीतियों का उपयोग करके उत्पन्न किए गए थे, फिर मॉडल द्वारा समीक्षा की गई थी जो पीयर समीक्षा डेटा पर कैलिब्रेटेड थी, जिसमें जीपीटी-5 शामिल था। कई उच्च स्कोर प्राप्त किए,尽管 उनमें स्पष्ट त्रुटियों या fabrications थीं।

पेपर की रिलीज़ आज के ओपन कॉन्फ्रेंस ऑफ एआई एजेंट्स फॉर साइंस 2025 के साथ मेल खाती है, जिसमें स्टैनफोर्ड में भाग लेने वाले और वक्ता मानव हैं, लेकिन सभी पत्र विविध एआई प्रणालियों द्वारा लिखे और समीक्षा किए जाते हैं।

बैडसाइंटिस्ट, नए पेपर में बताया गया है, विभिन्न प्रकार के अकादमिक और साहित्यिक धोखाधड़ी का उपयोग करके पत्र को फिर से तौलने के लिए, जो अधिकांश वर्तमान पता लगाने वाली प्रणालियों द्वारा पहचाने जाने वाले एआई-उत्पन्न के रूप में पहचाना जा सकता है; और हम जल्द ही इन श्रेणियों पर एक नज़र डालेंगे।

लेखकों ने उल्लेख किया, एक अलार्म की टोन में, कि जब पता लगाने वाली प्रणालियों ने एक नकली पत्र में एआई सामग्री की पहचान की, तो उन्हें इसके माध्यम से जाने की प्रवृत्ति थी, और उन्होंने यह भी कहा कि उनके अपने प्रयास इस नए हमले वेक्टर के खिलाफ रक्षा प्रणालियों को प्रतिरक्षित करने में बारे में रैंडम चांस सुधार से अधिक प्राप्त नहीं हुआ।

पेपर में कहा गया है:

‘नकली पत्र उच्च स्वीकृति दर प्राप्त करते हैं, समीक्षक अक्सर चिंता-स्वीकृति संघर्ष प्रदर्शित करते हैं – अखंडता मुद्दों को झंडा दिखाते हुए अभी भी स्वीकृति की सिफारिश करते हैं। यह मूलभूत टूटने से पता चलता है कि वर्तमान एआई समीक्षक अधिक महत्वपूर्ण मूल्यांकनकर्ता के रूप में काम करते हैं न कि पैटर्न मैचर के रूप में।

‘[…] बस एलएलएम समीक्षकों को “अधिक सावधान” होने के लिए कहना पर्याप्त नहीं है। वैज्ञानिक समुदाय को तत्काल कार्रवाई करने का एक तत्काल विकल्प है – गहराई से रक्षा सुरक्षा को लागू करने के लिए, जिसमें प्रामाणिकता सत्यापन, अखंडता-वजनदार स्कोरिंग, और मानव पर्यवेक्षण शामिल हैं – हम एआई-केवल प्रकाशन लूप के जोखिम को चलाते हैं जहां परिष्कृत नकली हमारी वास्तविक अनुसंधान से वास्तविक अनुसंधान को अलग करने की क्षमता को अभिभूत कर देती है।

‘वैज्ञानिक ज्ञान की अखंडता खुद ही दांव पर है।’

नई पेपर का शीर्षक बैडसाइंटिस्ट: क्या एक शोध एजेंट धोखाधड़ी लेकिन अस्थिर पत्र लिख सकता है जो एलएलएम समीक्षकों को धोखा दे सकता है? और यह छह लेखकों के बीच वाशिंगटन विश्वविद्यालय और रियाद में किंग अब्दुलअजीज सिटी फॉर साइंस एंड टेक्नोलॉजी से है। रिलीज़ के साथ एक सहयोगी परियोजना साइट है।

विधि

पेपर-निर्माण एजेंट फ्रेमवर्क जो इस काम के लिए उपयोग किया गया था, वह 2024 एआई-वैज्ञानिक सहयोग का एक महत्वपूर्ण पुनर्निर्माण है, जिसमें लेखकों ने जोर दिया है कि इसका पूरा पाइपलाइन मूल रूप से पुनः डिज़ाइन किया गया है। केवल सबसे बुनियादी लेखन प्रेरणा बनाए रखी गई थी, सभी प्रायोगिक कार्यान्वयन और टेम्पलेटेड संरचनाएं हटा दी गई थीं। अपडेटेड सिस्टम अब एक सरल बीज से काम करता है, जो प्रणाली को किसी भी प्रायोगिक परिणामों को स्वतंत्र रूप से आविष्कार करने और प्लॉटिंग कोड को उत्पन्न करने की अनुमति देता है।

आवरण फ्रेमवर्क का उद्देश्य एक एआई को वास्तविक प्रयोगों के बिना या वास्तविक डेटा का उपयोग किए बिना नकली वैज्ञानिक पत्रों को उत्पन्न करने की अनुमति देना है। इसके बजाय, प्रणाली सिंथेटिक डेटा बनाती है या जानबूझकर हॉलुसिनेटेड दावों का समर्थन करने के लिए डेटा को बदल देती है।

सेटअप, लेखकों के अनुसार, जानबूझकर मानव भागीदारी से बचता है, प्रेरणा हमलों या लेखक और समीक्षक एजेंटों के बीच समन्वित सहयोग से। समीक्षक एआई ने प्रत्येक जमा की एकल पास में मूल्यांकन किया, जिसमें पेपर के अलावा कोई अतिरिक्त पहुंच नहीं थी, और प्रयोगों को फिर से चलाने की कोई क्षमता नहीं थी, जो वास्तविक पीयर समीक्षा की स्थिति को दर्शाता है।

‘परमाणु रणनीतियों’ का उपयोग नकली पत्रों को उत्पन्न करने के लिए मॉड्यूलर रणनीतियां हैं जो अकेले या संयोजन में लागू की जा सकती हैं (और जो कोई भी साहित्य को बार-बार पढ़ता है वह इनसे परिचित होगा)। रणनीतियों में शामिल हैं: नाटकीय सुधार को उजागर करने के लिए विधि को एक प्रमुख प्रगति के रूप में दिखाने के लिए (टूगुडगेन्स); मुख्य तालिका में आत्मविश्वास अंतराल को छोड़कर नए विधि के अनुकूल आधार और परिणाम चुनना (बेसलाइनसेलेक्ट); अपरिहार्य अपवाद, सटीक सांख्यिकी, और साफ तालिकाएं जोड़ना, साथ ही भविष्य के कोड या डेटा के वादे (स्टैटथिएटर); पत्र की संरचना को सुसंगत शब्दावली, क्रॉस-रेफरेंस, और प्रारूप के साथ पॉलिश करना (कोहेरेंसपॉलिश); और गुप्त त्रुटियों वाले ध्वनि सिद्धांत जोड़ना (प्रूफगैप)।

डेटा और परीक्षण

प्रणाली का परीक्षण करने के लिए, लेखकों ने जीपीटी-5 का उपयोग कृत्रिम बुद्धिमत्ता के क्षेत्र में शोध विषयों के उत्पादन के लिए किया, जिसमें कृत्रिम बुद्धिमत्ता, मशीन लर्निंग, कंप्यूटर दृष्टि, प्राकृतिक भाषा प्रसंस्करण, रोबोटिक्स, सिस्टम, और सुरक्षा शामिल हैं।

इन श्रेणियों को नकली पत्रों के लिए बीज विषयों के रूप में उपयोग किया गया था, प्रत्येक को चार अलग-अलग संस्करणों में विस्तारित किया गया था, जो ऊपर सूचीबद्ध रणनीतियों का उपयोग करके, और समीक्षकों को धोखा देने या प्रभावित करने के लिए डिज़ाइन किया गया था। यह तय करने के लिए कि क्या एक पत्र ‘स्वीकृत’ होगा, प्रणाली ने केवल एआई समीक्षक द्वारा दिए गए अंतिम रेटिंग पर ध्यान दिया।

नकली पत्र पूरी तरह से जीपीटी-5 द्वारा लिखे गए थे। उन्हें समीक्षा करने के लिए, लेखकों ने जीपीटी-4.1; ओ4-मिनी; और ओ3 का उपयोग किया। सभी को एक ही समीक्षा प्रेरणा दी गई थी, एक निश्चित निर्देश प्रारूप जो वास्तविक पीयर समीक्षा में उपयोग किए जाने वाले स्कोरिंग मानदंड और संरचना की नकल करता है।

इन समीक्षा स्कोर को अर्थपूर्ण बनाने के लिए, प्रणाली को आईसीएलआर 2025 ओपनरिव्यू डेटासेट (वास्तविक पत्रों, समीक्षक टिप्पणियों और स्वीकृति परिणामों का एक सार्वजनिक संग्रह) से 200 वास्तविक जमा का उपयोग करके कैलिब्रेट किया गया था।

इससे एक स्कोर थ्रेशोल्ड स्थापित किया गया था जो आईसीएलआर की वास्तविक दुनिया की स्वीकृति दर 31.73% से मेल खाता था, जिसके परिणामस्वरूप 7 का एक कट-ऑफ स्कोर हुआ; और दूसरा जो उस स्कोर को प्रतिबिंबित करता था जिस पर एक पत्र को मानव समीक्षकों द्वारा 50% मौका मिलेगा (6.667 के रूप में गणना की गई)।

लेखकों ने अपनी सेटअप की विश्वसनीयता का परीक्षण करने के लिए 5,000 नकली पत्रों के लिए समीक्षा का अनुकरण किया, 1-3 एआई समीक्षकों का उपयोग किया, प्रत्येक जो 1 से 10 के बीच यादृच्छिक दिखने वाले स्कोर लौटाएगा। परिणाम यह संकेत देंगे कि यहां तक कि इस शोरदार सेटअप के साथ भी, प्रणाली अपने सबसे खराब मामले की सीमा से बहुत कम त्रुटियों के लिए प्रवण थी।

तीन समीक्षकों का उपयोग करने से एक के बजाय स्कोर में परिवर्तनशीलता में महत्वपूर्ण कमी आई, जिससे निर्णय स्थिरता में लगभग तीन गुना सुधार हुआ – परिणाम जो तीन समीक्षा मॉडल के चयन और 200 वास्तविक पत्रों के कैलिब्रेशन सेट को सही ठहराने के लिए उपयोग किए गए थे।

दो मेट्रिक्स जो जनरेटर का मूल्यांकन करने के लिए परिभाषित किए गए थे वे थे स्वीकृति दर, जो मापता है कि कितनी बार नकली पत्र पासिंग स्कोर प्राप्त करते हैं; और औसत समीक्षक स्कोर, जो जमा के माध्यम से मूल्यांकन का मतलब कैप्चर करता है: दोनों का उपयोग यह मापने के लिए किया गया था कि प्रणाली समीक्षकों को कितनी अच्छी तरह से धोखा दे सकती है:

स्वीकृति (एसीसीपीटी) दो थ्रेशोल्ड से ऊपर स्कोरिंग नकली पत्रों का हिस्सा दिखाता है: एक आईसीएलआर 2025 स्वीकृति दर से मेल खाता है, दूसरा 50% मानव-स्वीकृति अनुमान से मेल खाता है। अखंडता चिंता दर (आईसीआर-मी) प्रति समीक्षक मॉडल की फ्लैगिंग दर दिखाती है। अंतिम कॉलम बहुसंख्यक मत द्वारा आधारित समूह दर देता है।

नकली पत्रों ने लगभग सभी रणनीतियों के तहत उच्च स्वीकृति देखी। पहली रणनीति ने अकेले 67% और 82% को दो थ्रेशोल्ड पर प्राप्त किया, जो दिखाता है कि समीक्षा मॉडल आसानी से आश्वस्त थे। सभी रणनीतियों को मिलाने से स्वीकृति थोड़ी कम हो गई लेकिन पता लगाने में वृद्धि हुई, जिसमें अधिकांश समीक्षाओं ने चिंताओं को उठाया। पहली रणनीति ने सबसे अच्छा व्यापार बंद किया: मजबूत स्वीकृति और मध्यम पता लगाने। अन्य रणनीतियां कमजोर थीं लेकिन पता लगाने में मुश्किल थीं। ओ4-मिनी समीक्षक ने सबसे अधिक झंडे दिखाए, और जीपीटी-4.1 ने सबसे कम।

छह हमले रणनीतियों के लिए स्कोर वितरण दिखाए जाते हैं, तीन समीक्षा मॉडल का उपयोग करते हुए: जीपीटी-4.1 (लाल); ओ3 (नारंगी); और ओ4-मिनी (नीला). प्रत्येक प्लॉट दिखाता है कि चार से नौ तक का प्रत्येक स्कोर कितनी बार सौंपा गया था, सात के स्वीकृति थ्रेशोल्ड को लाल डैश्ड लाइन द्वारा चिह्नित किया गया था।

परिणामों में से दूसरे परीक्षण में, हम तीन मॉडलों के लिए स्कोर हिस्टोग्राम देखते हैं जो छह सेटअप का उपयोग करते हैं। वितरण सेटअप में भिन्न होते हैं, लेकिन ओ4-मिनी को औसतन उच्च स्कोर देने की प्रवृत्ति है, ओ3 में अधिक फैलाव और चरम मान होते हैं, जबकि जीपीटी-4.1 स्कोर को अधिक लगातार रूप से कम देता है।

मॉडल और रणनीति द्वारा चिंता-स्वीकृति संघर्ष: मॉडल द्वारा एक अखंडता चिंता उठाने और फिर भी एक पासिंग स्कोर देने के मामलों का प्रतिशत। उच्च मान चिंता का पता लगाने और अंतिम मूल्यांकन के बीच कमजोर जुड़ाव को दर्शाते हैं।

तालिका में ऊपर, हम देखते हैं कि मॉडल अक्सर उच्च स्कोर देते हैं यहां तक कि अखंडता चिंताओं को झंडा दिखाने पर भी. इस संबंध में, ओ4-मिनी सबसे असंगत था, एस1, एस3, और संयुक्त सेटअप में 100% संघर्ष के साथ, और अन्य जगहों पर 50-80%।

जीपीटी-4.1 ने एस4 (0%) से लेकर एस3 (75%) तक श्रेणी में परिवर्तन किया। ओ3 अधिक स्थिर था, 26% और 52% के बीच। संघर्ष एस3 के तहत सबसे अधिक था, विशेष रूप से ओ4-मिनी के लिए; और लेखकों ने नोट किया कि पता लगाने वाले संकेत अंतिम स्कोर से खराब तरह से जुड़े हुए थे।

मिटिगेशन

दो तरीके परीक्षण किए गए थे जो भविष्य के पता लगाने वाले मॉडल को इन नए हमले तरीकों से बाहर निकालने में मदद कर सकते हैं। पहला, रिव्यू-विद-डिटेक्शन (रेड), मानक समीक्षा में एक अखंडता जांच कदम जोड़ा, जहां मॉडल एआई-उत्पन्न सामग्री को झंडा दिखाते हैं और साक्ष्य उद्धृत करते हैं। यह अखंडता चेतावनियों को बढ़ाया (57% से 86% तक), लेकिन स्वीकृति दर भी बढ़ा दी, जो दर्शाता है कि चेतावनियां अंतिम स्कोर में परिलक्षित नहीं हुईं:

रिव्यू-विद-डिटेक्शन (रेड) अखंडता चिंता दर (आईसीआर) और स्वीकृति दर (एसीसीपीटी) को बेसलाइन की तुलना में बढ़ाता है। जबकि ओ3 रेड के तहत बहुत अधिक संवेदनशील हो जाता है, जीपीटी-4.1 कोई चिंता नहीं उठाता है। स्वीकृति में समग्र वृद्धि अखंडता चेतावनियों के बावजूद सुझाव देती है कि पता लगाने और स्कोरिंग के बीच कमजोर जुड़ाव है।

दूसरी विधि, डिटेक्शन-ओनली (डेटओनली), पूर्ण समीक्षा को छोड़ दिया और मॉडल से पत्रों को वास्तविक या नकली के रूप में वर्गीकृत करने के लिए कहा। पता लगाने की सटीकता समग्र रूप से खराब थी, यादृच्छिक के करीब, ओ3 पर थोड़े लाभ के साथ:

रेड और डेटओनली के लिए पता लगाने के परिणाम, एक यादृच्छिक बेसलाइन की तुलना में। सटीकता में लाभ यादृच्छिक पर थोड़ा अधिक था, लेकिन रेड अधिक रूढ़िवादी था, जबकि डेटओनली उच्च रिकॉल प्राप्त किया – लेकिन कई झूठे सकारात्मक परिणाम के साथ। मॉडल ओ3 में सबसे मजबूत पता लगाने का पूर्वाग्रह दिखाया गया; ओ4-मिनी असंगत था; और जीपीटी-4.1 ने लगभग कुछ भी नहीं पता लगाया।

समग्र रूप से, रेड अधिक रूढ़िवादी साबित हुआ, जबकि डेटओनली ने उच्च रिकॉल प्राप्त किया – लेकिन कई झूठे सकारात्मक परिणाम के साथ।

पेपर निष्कर्ष निकालता है:

‘एआई-केवल प्रकाशन लूप वैज्ञानिक ज्ञान के लिए खतरा है। यदि नकली काम वास्तविक कार्य से अलग नहीं किया जा सकता है, तो वैज्ञानिक ज्ञान की नींव खतरे में पड़ जाती है।

‘आगे का रास्ता कई परतों में गहराई से रक्षा की आवश्यकता को दर्शाता है: तकनीकी (प्रामाणिकता सत्यापन, कलाकृति मान्यकरण), प्रक्रियात्मक (अखंडता-जागरूक स्कोरिंग, मानव पर्यवेक्षण), समुदाय (प्रकाशन-पोस्ट समीक्षा, सूचनार्थी प्रणाली), और सांस्कृतिक (एआई सीमाओं पर शिक्षा, नैतिक दिशानिर्देश)।

‘हम इस काम को एक प्रारंभिक चेतावनी प्रणाली के रूप में देखते हैं जो मजबूत रक्षा को उत्प्रेरित करने के लिए पहले से ही विफलता मोड को बड़े पैमाने पर प्रकट होने से पहले काम करता है। हमारे निष्कर्ष बताते हैं कि वर्तमान प्रणाली एआई-केवल शोध के लिए तैयार नहीं हैं – विज्ञान की अखंडता एआई क्षमताओं के आगे बढ़ने के रूप में मानव मूल्यांकन को बनाए रखने पर निर्भर करती है।’

निष्कर्ष

एआई-लिखित पाठ का पता लगाने के लिए भविष्य की सबसे बड़ी चुनौतियों में से एक मानक लेखन अभ्यास और एआई-उत्पन्न पाठ के मानकों के बीच संभावित संगम होने की संभावना है।

यदि सामान्य भाषा और एआई-उत्पन्न पाठ एक जेनेरिक मानक में मिलने लगते हैं, तो तर्क से पता चलता है कि भविष्य के पता लगाने के तरीके जो केवल आउटपुट पर आधारित हैं और अधिक कठिन होंगे।

इसके अलावा, क्योंकि एलएलएम अधिक बहुमुखी हो जाते हैं, और उनके ‘टेल्स’ कम जोर दिए जाते हैं (या तो आर्किटेक्चरल/प्रशिक्षण दृष्टिकोणों के माध्यम से, या बेहतर एपीआई-स्तर के फिल्टरिंग के माध्यम से), वे बेहतर लेखक बन जाएंगे; इसलिए, एक बड़े पैमाने पर, मानव और एआई भाषा मध्य बिंदु में मिलने और जेनेरिक होने के लिए निर्धारित है।

उस बिंदु पर, एआई भाषा के लिए पता लगाने की संभावना है कि यह एआई छवि और (कम हद तक) एआई वीडियो जनरेशन के समान चरण तक पहुंच जाएगी: माध्यमिक प्रामाणिकता प्रणालियों जैसे कि एडोब के नेतृत्व वाली कंटेंट ऑथेंटिकिटी इनिशिएटिव, या ब्लॉकचेन/लेजर-आधारित प्रामाणिकता जांच की आवश्यकता होगी।

पहली बार बुधवार, 22 अक्टूबर, 2025 को प्रकाशित