Ai2 ने तेज़ वैज्ञानिक रिपोर्ट जनरेशन के लिए AstaBrief 8B को ओपन‑सोर्स किया

Allen Institute for AI (Ai2) ने 2 अक्टूबर, 2026 को कहा कि वह AstaBrief 8B को ओपन‑सोर्स कर रहा है, जो एक मॉडल है जो शोध प्रश्न और प्राप्त साहित्य अंशों को उद्धृत रिपोर्ट में बदलता है, मॉडल वज़न और प्रशिक्षण डेटा जारी कर रहा है क्योंकि सिस्टम Asta में फास्ट मोड के रूप में लाइव हो रहा है, जो वैज्ञानिक कार्य के लिए उनका एजेंटिक प्लेटफ़ॉर्म है।

Asta की रिपोर्ट जनरेशन में फास्ट मोड

AstaBrief Asta की “Generate a report” सुविधा में फास्ट मोड के रूप में उपलब्ध है, जो मौजूदा Claude‑समर्थित थिंकिंग मोड के साथ चल रहा है, Ai2 की घोषणा के अनुसार। Ai2 कहता है कि इसका लक्ष्य यह परीक्षण करना था कि क्या एक छोटा, ओपन मॉडल, जो विशेष रूप से वैज्ञानिक रिपोर्ट जनरेशन के लिए प्रशिक्षित है, वह उन स्वामित्व मॉडल की रिपोर्ट गुणवत्ता के बराबर हो सकता है, जिन्हें वह उपयोग कर रहा था, जबकि जनरेशन समय और सेवा लागत को कम किया जा सके। Ai2 रिपोर्ट करता है कि पूरे Asta पाइपलाइन में, फास्ट मोड औसतन 51.1 सेकंड प्रति रिपोर्ट लेता है, जबकि थिंकिंग मोड 178.5 सेकंड लेता है, यह अंतर लगभग 3.5 गुना तेज़ और स्वामित्व मॉडल की तुलना में लगभग एक क्रम‑मात्रा में जनरेशन समय में कमी के रूप में वर्णित किया गया है।

AstaBrief 8B मॉडल कार्ड बताता है कि मॉडल Apache 2.0 के तहत लाइसेंस प्राप्त है, Qwen3-8B पर आधारित है, और Ai2 के रिस्पॉन्सिबल यूज़ गाइडलाइन्स के तहत शोध और शैक्षणिक उपयोग के लिए अभिप्रेत है। क्योंकि वज़न ओपन हैं, Ai2 कहता है कि संस्थान मॉडल को अपने स्वयं के हार्डवेयर पर चला सकते हैं, यहाँ तक कि अपने फ़ायरवॉल के पीछे, जिसे वह आवश्यक मानता है जब शोध प्रश्न संवेदनशील या अप्रकाशित कार्यों से जुड़े हों। वज़नों के साथ, Ai2 ने अपने ai2-scholarqa-lib GitHub रिपॉज़िटरी में एक उदाहरण वर्कफ़्लो जारी किया है जिसे शोधकर्ता अपने स्वयं के PDF से रिपोर्ट बनाने के लिए अनुकूलित कर सकते हैं।

प्रशिक्षण डेटा और फ़िल्टरिंग

Ai2 ने Qwen3-8B से शुरुआत की और AstaBrief को सुपरवाइज़्ड फाइन‑ट्यूनिंग के बाद डायरेक्ट प्रेफ़रेंस ऑप्टिमाइज़ेशन (DPO) के साथ बनाया। घोषणा में कहा गया है कि टीम ने रिइन्फोर्समेंट‑लर्निंग‑आधारित प्रशिक्षण पर विचार किया, जिसे उनके पहले के DR Tulu कार्य ने दिखाया था कि ओपन‑वेट्स मॉडल के लिए लम्बी रिपोर्ट जनरेशन में सुधार कर सकता है, लेकिन उन्होंने सरल विधि चुनी क्योंकि RL प्रशिक्षण अस्थिर और महंगा हो सकता है और टीम एक ऐसा सेटअप चाहती थी जो सस्ता और डिबग व इटरेट करने में आसान हो।

गति के लिए, AstaBrief को इस तरह प्रशिक्षित किया गया कि वह उपयोगकर्ता प्रश्न और प्राप्त स्निपेट्स से एक ही पास में पूरी रिपोर्ट लिखे, जिससे Claude‑आधारित थिंकिंग मोड द्वारा उपयोग किए जाने वाले स्निपेट‑सारांश और क्लस्टरिंग चरणों को बायपास किया गया और सेक्शन‑बाय‑सेक्शन लेखन को छोड़ दिया गया। Ai2 कहता है कि उसने पाया कि यह प्रदर्शन से समझौता किए बिना संभव था।

प्रशिक्षण पाइपलाइन की शुरुआत वास्तविक उपयोगकर्ता प्रश्नों से हुई जो Ai2 के ScholarQA फ्रेमवर्क के पीछे सिस्टम के माध्यम से जमा किए गए, जो Asta की रिपोर्ट जनरेशन को आधार देता है। टीम ने लॉग्स को गुणवत्ता, प्रासंगिकता और गोपनीयता के लिए फ़िल्टर किया, बीटा‑टेस्टर और बॉट ट्रैफ़िक को हटाया, अर्थपूर्ण न होने वाले बहुत छोटे प्रश्नों को छोड़ दिया, और एक LLM‑आधारित पास का उपयोग करके गैर‑अंग्रेज़ी प्रश्न, गैर‑वैज्ञानिक अनुरोध, और व्यक्तिगत जानकारी वाले प्रॉम्प्ट को पकड़ा। इससे 90K शोध‑उन्मुख प्रश्नों का पूल बचा।

सुपरवाइज़्ड चरण के लिए, पूरी रिपोर्ट लक्ष्य मल्टी‑स्टेप ScholarQA पाइपलाइन के साथ उत्पन्न किए गए, जो कई स्वामित्व प्रणालियों जैसे Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4‑mini, और GPT‑4.1 से समर्थित थे। गुणवत्ता फ़िल्टरिंग के बाद 47K उपयोगी उदाहरण बचे। DPO के लिए, जोड़े एक अलग उपसमुच्चय के प्रश्नों से आए जो SFT डेटा जनरेशन के दौरान उपयोग नहीं हुए थे: एक रिपोर्ट ScholarQA पाइपलाइन से, आमतौर पर Claude 3.5 या 3.7 Sonnet द्वारा समर्थित, और एक रिपोर्ट o3, o4‑mini, DeepSeek‑V3, या DeepSeek‑R1 द्वारा उत्पन्न। दो जज मॉडल, GPT‑4.1 और DeepSeek‑R1, प्रत्येक जोड़े के लिए विजेता चुनते। Ai2 कहता है कि जज 95 प्रतिशत समय मानव प्राथमिकताओं से सहमत रहे, और केवल उन जोड़ों को रखा गया जहाँ दोनों जज सहमत थे, जिससे लगभग 6K अंतिम उदाहरण बने। मॉडल कार्ड के अनुसार, जारी किया गया मॉडल AstaBrief-8B-SFT चेकपॉइंट से प्रारंभ किया गया और उस पर AstaBrief_DPO_Mix डेटासेट पर, DPO प्रशिक्षण Ai2 के ओपन‑इंस्ट्रक्ट फ्रेमवर्क में 8xH100 GPUs पर किया गया।

मूल्यांकन परिणाम

Ai2 का मुख्य विकास लक्ष्य SQABench‑CS2 था, जिसे घोषणा में 200 उपयोगकर्ता‑लिखित कंप्यूटर विज्ञान शोध प्रश्नों के सेट के रूप में वर्णित किया गया है। टीम ने चार मीट्रिक ट्रैक किए: रूब्रिक स्कोर, जो मापता है कि रिपोर्ट में आवश्यक सामग्री कितनी कवर हुई है; उत्तर सटीकता, जो मापती है कि प्रत्येक पैराग्राफ प्रश्न से संबंधित है या नहीं; उद्धरण सटीकता, जो मापती है कि प्रत्येक उद्धरण उस संलग्न दावे का समर्थन करता है या नहीं; और उद्धरण रिकॉल, जो मापता है कि रिपोर्ट के दावे प्रदान किए गए उद्धरणों द्वारा पूरी तरह समर्थित हैं या नहीं। द्वितीयक मूल्यांकन में DeepScholarBench का उपयोग किया गया, जो हाल के arXiv पेपरों से निर्मित 63‑प्रश्न बेंचमार्क है लम्बी शोध संश्लेषण के लिए, साथ ही Claude‑समर्थित पाइपलाइन की रिपोर्टों के खिलाफ जोड़ी‑वार तुलना।

घोषणा में बताया गया है कि टीम ने सिंथेटिक प्रशिक्षण रिपोर्टों पर चार सांख्यिकीय‑आधारित फ़िल्टरों का परीक्षण किया: आउटपुट‑टू‑इनपुट टोकन अनुपात, उद्धरण प्रासंगिकता, उद्धरण घनत्व, और उद्धरण विविधता। Ai2 कहता है कि सबसे बड़े लाभ कम उद्धरण घनत्व वाली रिपोर्टों को फ़िल्टर करने से मिले, जबकि अधिक आक्रामक फ़िल्टरिंग, फ़िल्टर संयोजन, और लर्निंग‑रेट स्विप्स ने कोई सार्थक लाभ नहीं दिया। यह व्यापक सबक को इस रूप में वर्णित करता है कि वैज्ञानिक विशेषज्ञता आवश्यक रूप से प्री‑ट्रेनिंग में अधिक वैज्ञानिक पाठ जोड़ने का मामला नहीं है, और पोस्ट‑ट्रेनिंग डेटा की संरचना और गुणवत्ता मॉडल के प्रदर्शन को महत्वपूर्ण रूप से बदल सकती है।

Ai2 कहता है कि शुरुआती SFT चेकपॉइंट्स ने समग्र सामग्री गुणवत्ता में सुधार किया, लेकिन उत्तर सटीकता और उद्धरण गुणवत्ता में Claude-चालित पाइपलाइन से अभी भी पीछे रहे, और DPO चरण ने AstaBrief को Claude पाइपलाइन और DR Tulu के रिपोर्ट जनरेशन रेंज के भीतर ला दिया। मॉडल कार्ड रिपोर्ट करता है कि ScholarQA‑CS2 टेस्ट सेट पर, AstaBrief‑8B ने ट्रैक किए गए मीट्रिक्स में औसत 87 अंक प्राप्त किए, जबकि SFT चेकपॉइंट ने 83.7 अंक और बेस Qwen3‑8B ने 77.3 अंक प्राप्त किए, और AstaBrief‑8B ने सामग्री पुनःस्मरण पर 90.2, उत्तर सटीकता पर 89, उद्धरण सटीकता पर 90.5, तथा उद्धरण पुनःस्मरण पर 78.2 अंक हासिल किए। कार्ड यह भी रिपोर्ट करता है कि AstaBrief‑8B के खिलाफ Asta ScholarQA पाइपलाइन के लिए LLM‑आधारित जीत दर विकास विभाजन पर 55 प्रतिशत और टेस्ट विभाजन पर 72 प्रतिशत थी, और DeepScholarBench स्कोर क्रमशः AstaBrief‑8B के लिए 53.50, Asta ScholarQA के लिए 60.25, तथा DR‑Tulu‑8B के लिए 56.26 दर्शाता है।

घोषणा में वर्णित एक अलग मानव अध्ययन में, तीन वैज्ञानिक शोधकर्ताओं ने प्रत्येक ने 14‑प्रश्न सेट में से चार से पाँच प्रश्न योगदान किए और तीन सिस्टमों की रिपोर्टों को समग्र पसंद, पूर्णता, प्रासंगिकता, संगठन और उद्धरण सटीकता के आधार पर रैंक किया, जिसमें टाई की अनुमति थी। Ai2 रिपोर्ट करता है कि DR Tulu ने समग्र पसंद में जीत हासिल की, जबकि तीन में से दो शोधकर्ताओं ने उद्धरण सटीकता के मामले में अन्य सिस्टमों की तुलना में AstaBrief को अधिक पसंद किया।

Ai2 चेतावनी देता है कि अधिकांश प्रशिक्षण और मूल्यांकन 2025 में पूरा किया गया था, कि प्रशिक्षण डेटा उत्पन्न करने और तुलना बिंदु के रूप में उपयोग किए गए स्वामित्व मॉडल उस समय की सीमा को दर्शाते हैं, और कि उसने वर्तमान सीमा मॉडल के खिलाफ पूरी मूल्यांकन को फिर से नहीं चलाया है।

प्रारंभिक उपयोग और घोषित अगले कदम

Ai2 रिपोर्ट करता है कि 374 Asta उपयोगकर्ताओं में से जिन्होंने Fast मोड आज़माया, 29.1 प्रतिशत ने इसे दो या अधिक दिनों तक उपयोग किया, उपयोगकर्ताओं ने औसतन 3.67 रिपोर्ट थ्रेड उत्पन्न किए, 23 प्रतिशत ने भविष्य के थ्रेड्स के लिए कभी Thinking मोड पर वापस नहीं स्विच किया, और अतिरिक्त 18 प्रतिशत ने अपने लक्ष्यों के अनुसार मोड बदलते रहे, लगभग 40 प्रतिशत थ्रेड्स के लिए Fast मोड का उपयोग किया। Fast मोड के लिए सकारात्मक प्रतिक्रिया 84.2 प्रतिशत थी, जबकि Thinking मोड के लिए 85.2 प्रतिशत, जिसे Ai2 समान दर के रूप में वर्णित करता है, यह नोट करते हुए कि प्रतिक्रिया आम तौर पर बहुत कम है जिससे मजबूत निष्कर्ष निकालना कठिन है।

Ai2 कहता है कि वह अधिक सूक्ष्म पसंद सीखने, मजबूत RAG‑plus‑RL दृष्टिकोण, बहु‑टर्न और बहु‑टूल क्षमताओं, अतिरिक्त वैज्ञानिक डेटा स्रोतों और क्वेरी विभाजन की खोज कर रहा है, साथ ही ऐसे मूल्यांकन जो यह परीक्षण करें कि मॉडल अपने स्रोतों की प्रमाणिक सीमा को बनाए रखता है या मूल अध्ययनों द्वारा स्थापित दायरे को विस्तारित करता है। घोषणा इस कार्य को Ai2 के व्यापक वैज्ञानिक‑मॉडल प्रयासों के भीतर रखती है, जिसमें NSF OMAI, एक अमेरिकी राष्ट्रीय पहल शामिल है जिसे Ai2 द्वारा वैज्ञानिक खोज के लिए पूरी तरह खुला AI बुनियादी ढांचा और मॉडल बनाने के लिए नेतृत्व किया जा रहा है, और AstaBrief को ScholarQA और DR Tulu से लेकर भविष्य के Olmo संस्करणों तक चलने वाले लंबे कार्य श्रृंखला में एक प्रयोग के रूप में वर्णित किया गया है।