एआई मॉडल और प्लेटफ़ॉर्म
वेट-लैब के डेटा पर एआई एजेंटों को परखने के लिए OpenAI ने BioBasicsBench पेश किया
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
OpenAI ने BioBasicsBench पेश किया। 6 नवंबर 2026 को पेश किया गया यह 100 कार्यों वाला बेंचमार्क, एंज़ाइम डिज़ाइन कंपनी Ligo के साथ मिलकर तैयार किया गया है। इसका उद्देश्य यह जाँचना है कि एआई एजेंट रोज़मर्रा के वेट-लैब प्रयोगों से मिले कच्चे साक्ष्यों की व्याख्या कर सकते हैं या नहीं।
OpenAI परिणामों को औसत रिवॉर्ड के रूप में बताता है, यानी उपलब्ध अंकों के प्रतिशत के तौर पर व्यक्त किया गया औसत कार्य-स्कोर। xhigh पर—जो जाँचे गए सभी सात मॉडलों के लिए रिपोर्ट की गई तर्क-प्रयास की सबसे ऊँची सेटिंग है—GPT-6 Astra ने 66.7% अंक हासिल किए, जिसका 95% विश्वास अंतराल 60.3–73.1% था। वहीं GPT-5.6 Sol का स्कोर 43.8% रहा, जिसका विश्वास अंतराल 37.6–50.0% था। Astra ने प्रति कार्य औसतन 4,704 आउटपुट टोकन इस्तेमाल किए, जबकि Sol ने 9,099।
रोज़मर्रा के प्रयोगों से मिले साक्ष्यों पर आधारित
BioBasicsBench उस सीमा को दूर करने की कोशिश करता है, जिसकी ओर OpenAI ने वैज्ञानिक शोधपत्रों के लिए चुने गए चार्ट और छवियों पर आधारित मूल्यांकनों के संदर्भ में ध्यान दिलाया है: प्रयोगशाला के रोज़मर्रा के काम में विफल प्रयोग, अस्पष्ट छवियाँ, परस्पर विरोधी अवलोकन और समस्या-निवारण भी शामिल होते हैं। इसके कार्यों में एजेंटों को प्रयोगात्मक डेटा की व्याख्या करनी होती है, त्रुटियाँ पहचाननी होती हैं और यह समझना होता है कि साक्ष्यों से किसी निष्कर्ष की पुष्टि नहीं की जा सकती। इन कार्यों में प्रोटीन संबंधी विधियाँ, इमेजिंग और साइटोमेट्री, मात्रा-निर्धारण और परखें, न्यूक्लिक अम्ल संबंधी विधियाँ तथा आणविक क्लोनिंग शामिल हैं।
वैज्ञानिकों ने अपने प्रयोगों के आधार पर कार्य बनाए और उनके मूल्यांकन के मानदंड लिखे। इनपुट में जेल और ब्लॉट की छवियाँ, कॉलोनी प्लेटें, माइक्रोस्कोपी छवियों के स्टैक, सीक्वेंसिंग रीड, प्लेट-रीडर से निकाला गया डेटा, प्रयोगशाला की बेंच की तस्वीरें और प्रोटोकॉल के वीडियो शामिल हैं। किसी एक कार्य में कई तरह के साक्ष्य और सहायक संदर्भ-पत्रक—जैसे लैडर चार्ट और प्लास्मिड मैप—एक साथ दिए जा सकते हैं। एजेंट सुव्यवस्थित निष्कर्ष, माप या सुझाव देते हैं। मूल्यांकन मानदंडों के तहत संख्यात्मक नतीजों, उन्हें पुष्ट करने वाले तर्क और साक्ष्य अपर्याप्त होने की पहचान जैसे तत्वों के लिए अंक दिए जाते हैं।
हर कार्य की पहले Ligo के ऐसे वैज्ञानिक ने आंतरिक समीक्षा की, जिसने उसे लिखा नहीं था; फिर वेट-लैब में काम करने वाले पीएचडी-स्तर के वैज्ञानिक ने बाहरी समीक्षा की। अंत में एक और आंतरिक समीक्षा हुई, जिसमें प्रॉम्प्ट, साक्ष्य, मूल्यांकन मानदंड, लेखक के नोट और किसी मॉडल के एक उत्तर का मूल्यांकन शामिल था। इस मूल्यांकन में मॉडल और तर्क-प्रयास की 37 सेटिंगें शामिल थीं। हर सेटिंग में प्रत्येक कार्य के पाँच प्रयास किए गए, जिससे कुल 18,500 नतीजे मिले। विश्वास अंतरालों की गणना पूरे कार्यों का पुनः नमूना लेकर की गई और हर कार्य के पाँचों प्रयासों को एक साथ रखा गया।
Astra के सुधार को दर्शाने वाले उदाहरण
कोशिका-इमेजिंग के एक कार्य में GPT-5.6 Sol ने डाई के संकेत के आधार पर कोशिकाओं को मृत बताया। Astra ने पहचाना कि पहचान की खिड़कियों के एक-दूसरे पर चढ़ने से दूसरी डाई का हस्तक्षेप हो सकता है और ऐसे नियंत्रणों की माँग की जो दोनों संकेतों को अलग कर सकें। DNA क्लोनिंग के एक कार्य में Sol ने नकारात्मक नियंत्रण वाली प्लेट पर कोई कॉलोनी न दिखने के आधार पर निष्कर्ष निकाला। इसके उलट, Astra ने देखा कि प्लेट पर एम्पिसिलिन के बजाय कानामाइसिन लिखा था, जबकि प्रयोग में एम्पिसिलिन का इस्तेमाल हुआ था, और इसलिए उसे विश्वसनीय नियंत्रण मानने से इनकार कर दिया।
एक अन्य कार्य में कोशिकाएँ फोकस में आती-जाती दिखाई गईं। Sol ने उनके दिखाई देना बंद होने के लिए जैविक कारण तलाशा, जबकि Astra ने पहचान लिया कि यह z-स्टैक है—अलग-अलग गहराइयों पर ली गई छवियों की एक शृंखला। OpenAI इन उदाहरणों को बेहतर बहुविध डेटा-संभाल, प्रयोगात्मक संदर्भ के उपयोग और डेटा क्या स्थापित कर सकता है तथा क्या नहीं, इसकी पहचान का प्रमाण मानता है। उसके अनुसार, ये उदाहरण यह भी संकेत देते हैं कि रोज़मर्रा के वेट-लैब विश्लेषण के लिए अधिक सक्षम अंतर्निहित बहुविध क्षमताएँ महत्त्वपूर्ण हो सकती हैं।
बेंचमार्क की उजागर की गई विफलताएँ
OpenAI आगाह करता है कि ऊँचे स्कोर का मतलब यह नहीं है कि प्रयोगशाला में भरोसेमंद निर्णय लिए जा सकते हैं। कॉलोनी-PCR के एक कार्य में Astra ने यह मानकर लेन 4, 6, 7 और 8 चुनीं कि बड़े PCR उत्पाद का अर्थ सफल क्लोनिंग है; जबकि संदर्भ व्याख्या में लेन 5, 9 और 10 चुनी गई थीं। इस गलती के कारण गलत प्लास्मिड का शुद्धिकरण हो सकता था।
अन्य उदाहरण दिखाते हैं कि सही अवलोकन भी अंतिम उत्तर को दिशा देने में विफल हो सकते हैं। Astra ने सामान्यीकरण करते हुए कहा कि रिक्तिकाएँ—कोशिकाओं के भीतर के कक्ष—आमतौर पर आसपास की कोशिकीय सामग्री से अधिक गहरे रंग की होती हैं, जबकि उसी छवि में रिक्तिकाएँ हल्के रंग की थीं। फोकस की गहराई बदलने से कंट्रास्ट उलट सकता है, और Astra के अपने मध्यवर्ती अवलोकनों में भी यह दर्ज था कि फोकस के साथ कंट्रास्ट बदलता है। कॉलोनी गिनने के एक कार्य में, OpenAI के अनुसार, Astra पास-पास की कॉलोनियों को अलग नहीं कर पाया, दिखाई देने वाली कॉलोनियाँ छोड़ दीं और खाली अगर पर भी निशान लगा दिए। इससे बेंचमार्क के संदर्भ मान की तुलना में कॉलोनियों की गिनती लगभग 12% अधिक हो गई। प्लेट पर डाले गए घोल की मात्रा और तनुकरण स्थिर रहने पर, इतनी अधिक गिनती DNA प्रविष्टि की अनुमानित दक्षता को भी उसी अनुपात में बढ़ा-चढ़ाकर दिखाती है।
OpenAI का कहना है कि इन क्षमताओं के विकास पर नज़र रखने से उसे उनके जैव-सुरक्षा और जैव-रक्षा संबंधी परिणामों का आकलन करने में भी मदद मिलेगी।
इसलिए व्यावहारिक कसौटी केवल समग्र स्कोर में सुधार से कहीं ऊँची है: एजेंट को सटीक अवलोकनों के आधार पर निष्कर्ष तक पहुँचना होगा, नियंत्रणों की जाँच करनी होगी और उन निष्कर्षों से बचना होगा जिनका साक्ष्य समर्थन नहीं करता। BioBasicsBench इन अपेक्षाओं को सुधार के लक्ष्य बनाता है। इसमें दर्ज विफलताएँ दिखाती हैं कि प्रयोगशाला में सहायता देने की दिशा में प्रगति के लिए साक्ष्य देखने और प्रयोग के बारे में सही निर्णय लेने के बीच की दूरी पाटना अब भी ज़रूरी है।
