Ai2 เปิดเผยซอร์สโค้ด AstaBrief 8B เพื่อการสร้างรายงานวิทยาศาสตร์แบบเร็ว

สถาบัน Allen สำหรับ AI (Ai2) กล่าวว่าในวันที่ 2 ตุลาคม 2026 ว่าพวกเขากำลังเปิดเผยซอร์สโค้ดของ AstaBrief 8B โมเดลที่เปลี่ยนคำถามการวิจัยและส่วนย่อยของวรรณกรรมที่ดึงมาเป็นรายงานที่มีการอ้างอิง พร้อมปล่อยน้ำหนักโมเดลและข้อมูลการฝึกเมื่อระบบเปิดใช้งานในโหมด Fast ใน Asta ซึ่งเป็นแพลตฟอร์มเอเจนท์สำหรับงานวิทยาศาสตร์ของพวกเขา

โหมด Fast ในการสร้างรายงานของ Asta

AstaBrief มีให้ใช้ในฟีเจอร์ Generate a report ของ Asta ในรูปแบบโหมด Fast ทำงานควบคู่กับโหมด Thinking ที่ขับเคลื่อนด้วย Claude ตาม ประกาศของ Ai2. Ai2 กล่าวว่าเป้าหมายของพวกเขาคือการทดสอบว่าโมเดลขนาดเล็กแบบเปิดที่ฝึกเฉพาะสำหรับการสร้างรายงานวิทยาศาสตร์สามารถเทียบคุณภาพรายงานกับโมเดลเชิงพาณิชย์ที่เคยใช้ได้หรือไม่ พร้อมกับลดเวลาในการสร้างและค่าใช้บริการ. Ai2 รายงานว่าในสายงาน Asta ทั้งหมด โหมด Fast มีค่าเฉลี่ย 51.1 วินาทีต่อรายงานเทียบกับ 178.5 วินาทีสำหรับโหมด Thinking ซึ่งแตกต่างประมาณ 3.5 เท่าเร็วขึ้นและเกือบลดเวลาในการสร้างลงหนึ่งลำดับขนาดเมื่อเทียบกับโมเดลเชิงพาณิชย์ที่ติดตาม

การ์ดโมเดล AstaBrief 8B ระบุว่าโมเดลได้รับใบอนุญาตภายใต้ Apache 2.0 พัฒนาโดยอิงจาก Qwen3-8B และตั้งใจให้ใช้เพื่อการวิจัยและการศึกษา ตามแนวทางการใช้ที่รับผิดชอบของ Ai2. เนื่องจากน้ำหนักโมเดลเป็นแบบเปิด Ai2 กล่าวว่าองค์กรต่าง ๆ สามารถรันโมเดลบนฮาร์ดแวร์ของตนเอง รวมถึงอยู่หลังไฟร์วอลล์ของตน ซึ่งพวกเขาอธิบายว่าเป็นสิ่งจำเป็นเมื่อคำถามการวิจัยเกี่ยวข้องกับงานที่ละเอียดอ่อนหรือยังไม่ได้เผยแพร่. นอกจากนี้ Ai2 ยังปล่อยเวิร์กโฟลว์ตัวอย่างในคลัง GitHub ai2-scholarqa-lib ที่นักวิจัยสามารถปรับใช้เพื่อสร้างรายงานจากไฟล์ PDF ของตนเอง

ข้อมูลการฝึกและการกรอง

Ai2 เริ่มจาก Qwen3-8B และสร้าง AstaBrief ด้วยการปรับจูนแบบมีผู้สอนตามด้วย การเพิ่มประสิทธิภาพตามความชอบโดยตรง (DPO). ประกาศระบุว่าทีมได้พิจารณาการฝึกแบบเสริมแรง (reinforcement learning) ซึ่งงาน DR Tulu ก่อนหน้าของพวกเขาแสดงให้เห็นว่ามีศักยภาพในการปรับปรุงการสร้างรายงานรูปแบบยาวสำหรับโมเดลแบบเปิดน้ำหนัก, แต่ทีมเลือกวิธีที่ง่ายกว่าเพราะการฝึก RL อาจไม่เสถียรและมีค่าใช้จ่ายสูง และทีมต้องการการตั้งค่าที่ถูกกว่าและง่ายต่อการดีบักและทำซ้ำ

เพื่อความเร็ว AstaBrief ถูกฝึกให้เขียนรายงานเต็มรูปแบบในหนึ่งขั้นตอนจากคำถามของผู้ใช้และส่วนย่อยที่ดึงมา, ข้ามขั้นตอนสรุปส่วนย่อยและการจัดกลุ่มที่โหมด Thinking ที่ขับเคลื่อนด้วย Claude ใช้ และละเว้นการเขียนแบบส่วนต่อส่วน. Ai2 กล่าวว่า พวกเขาพบว่าสามารถทำได้โดยไม่สูญเสียประสิทธิภาพ

สายการฝึกเริ่มต้นด้วยคำถามของผู้ใช้จริงที่ส่งผ่านระบบภายใต้กรอบงาน ScholarQA ของ Ai2 ซึ่งเป็นพื้นฐานของการสร้างรายงานของ Asta. ทีมได้กรองบันทึกเพื่อความคุณภาพ, ความเกี่ยวข้อง, และความเป็นส่วนตัว, โดยลบการทดสอบเบต้าและการจราจรของบอท, ตัดคำถามที่สั้นเกินไป, และใช้ขั้นตอนที่อิง LLM เพื่อตรวจจับคำถามที่ไม่ใช่ภาษาอังกฤษ, คำขอที่ไม่ใช่วิจัย, และข้อความที่มีข้อมูลส่วนบุคคล. ผลที่ได้คือชุดคำถามที่มุ่งเน้นการวิจัยจำนวน 90K รายการ

ในขั้นตอนที่มีผู้สอน, เป้าหมายรายงานเต็มรูปแบบถูกสร้างด้วยสายการทำงาน ScholarQA แบบหลายขั้นตอนที่สนับสนุนโดยระบบเชิงพาณิชย์หลากหลาย ได้แก่ Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini, และ GPT-4.1. การกรองคุณภาพเหลือตัวอย่างที่ใช้ได้ 47K ตัว. สำหรับ DPO, คู่ข้อมูลมาจากชุดย่อยของคำถามที่ไม่ได้ใช้ในการสร้างข้อมูล SFT: รายงานหนึ่งจากสายการทำงาน ScholarQA ซึ่งโดยทั่วไปสนับสนุนโดย Claude 3.5 หรือ 3.7 Sonnet, เทียบกับรายงานที่สร้างโดย o3, o4-mini, DeepSeek-V3 หรือ DeepSeek-R1. สองโมเดลผู้ตัดสิน, GPT-4.1 และ DeepSeek-R1, เลือกผู้ชนะสำหรับแต่ละคู่. Ai2 กล่าวว่า ผู้ตัดสินสอดคล้องกับความชอบของมนุษย์ 95 เปอร์เซ็นต์ของเวลา, และเฉพาะคู่ที่ผู้ตัดสินทั้งสองเห็นด้วยเท่านั้นที่ถูกเก็บไว้, ผลลัพธ์ได้ประมาณ 6K ตัวอย่างสุดท้าย. ตามการ์ดโมเดล, โมเดลที่ปล่อยออกมาถูกเริ่มต้นจากเช็คพอยต์ AstaBrief-8B-SFT และปรับจูนต่อบน AstaBrief_DPO_Mix ชุดข้อมูล, โดยการฝึก DPO ดำเนินการในกรอบงาน open-instruct ของ Ai2 บน GPU 8xH100

ผลการประเมิน

เป้าหมายการพัฒนาหลักของ Ai2 คือ SQABench-CS2 ซึ่งประกาศอธิบายว่าเป็นชุดคำถามการวิจัยคอมพิวเตอร์ไซน์จำนวน 200 คำถามที่เขียนโดยผู้ใช้. ทีมติดตามสี่เมตริก: คะแนนรูบริกที่วัดว่ารายงานครอบคลุมเนื้อหาที่จำเป็นมากแค่ไหน; ความแม่นยำของคำตอบที่วัดว่าทุกย่อหน้ามีความเกี่ยวข้องกับคำถามหรือไม่; ความแม่นยำของการอ้างอิงที่วัดว่าการอ้างอิงแต่ละรายการสนับสนุนข้ออ้างที่แนบมาหรือไม่; และการเรียกคืนการอ้างอิงที่วัดว่าข้ออ้างของรายงานได้รับการสนับสนุนเต็มที่จากการอ้างอิงที่ให้ไว้. การประเมินระดับรองใช้ DeepScholarBench ซึ่งเป็นเบนช์มาร์ก 63 คำถามสำหรับการสังเคราะห์การวิจัยรูปแบบยาวที่สร้างจากเอกสาร arXiv ล่าสุด, พร้อมการเปรียบเทียบแบบคู่กับรายงานจากสายการทำงานที่ขับเคลื่อนด้วย Claude.

ประกาศระบุว่าทีมได้ทดสอบสี่ตัวกรองที่อิงสถิติบนรายงานการฝึกสังเคราะห์: อัตราส่วนโทเคนผลลัพธ์ต่ออินพุต, ความเกี่ยวข้องของการอ้างอิง, ความหนาแน่นของการอ้างอิง, และความหลากหลายของการอ้างอิง. Ai2 กล่าวว่า การเพิ่มประสิทธิภาพที่แข็งแกร่งที่สุดมาจากการกรองรายงานที่มีความหนาแน่นของการอ้างอิงต่ำ, ในขณะที่การกรองที่เข้มข้นกว่า, การผสมผสานตัวกรอง, และการสแกนอัตราการเรียนรู้ไม่ได้ให้ผลเพิ่มที่มีนัยสำคัญ. พวกเขาอธิบายบทเรียนที่กว้างขึ้นว่าเป็นหลักฐานว่าการเชี่ยวชาญด้านวิทยาศาสตร์ไม่ได้จำเป็นต้องเพิ่มข้อความวิทยาศาสตร์เพิ่มเติมในการฝึกล่วงหน้า, และว่าการจัดองค์ประกอบและคุณภาพของข้อมูลหลังการฝึกสามารถเปลี่ยนแปลงการทำงานของโมเดลที่ได้อย่างมีนัยสำคัญ

Ai2 กล่าวว่า จุดตรวจสอบ SFT ระยะเริ่มต้นทำให้คุณภาพเนื้อหาโดยรวมดีขึ้น แต่ยังตามไม่ทันสายการทำงานที่ขับเคลื่อนด้วย Claude ในด้านความแม่นยำของคำตอบและคุณภาพการอ้างอิง และว่าขั้นตอน DPO ทำให้ AstaBrief อยู่ในระดับเดียวกับสายการทำงานของ Claude และ DR Tulu ในการสร้างรายงาน การ์ดโมเดลระบุว่า ในชุดทดสอบ ScholarQA‑CS2, AstaBrief‑8B มีค่าเฉลี่ย 87 ในเมตริกที่ติดตาม เมื่อเทียบกับ 83.7 สำหรับจุดตรวจสอบ SFT และ 77.3 สำหรับ Qwen3‑8B รุ่นฐาน โดย AstaBrief‑8B ได้คะแนน 90.2 ในการเรียกคืนส่วนประกอบ, 89 ในความแม่นยำของคำตอบ, 90.5 ในความแม่นยำของการอ้างอิง, และ 78.2 ในการเรียกคืนการอ้างอิง การ์ดยังรายงานอัตราการชนะที่ประเมินโดย LLM สำหรับ AstaBrief‑8B เทียบกับสายการทำงาน Asta ScholarQA ที่ 55 เปอร์เซ็นต์ในชุดพัฒนาการและ 72 เปอร์เซ็นต์ในชุดทดสอบ และระบุคะแนน DeepScholarBench ที่ 53.50 สำหรับ AstaBrief‑8B, 60.25 สำหรับ Asta ScholarQA, และ 56.26 สำหรับ DR‑Tulu‑8B.

ในการศึกษามนุษย์แยกต่างหากที่อธิบายไว้ในประกาศ นักวิจัยวิทยาศาสตร์สามคนแต่ละคนได้เพิ่มคำถามสี่ถึงห้าข้อในชุดคำถาม 14 ข้อและจัดอันดับรายงานจากสามระบบตามความชอบโดยรวม, ความสมบูรณ์, ความเกี่ยวข้อง, การจัดระเบียบ, และความแม่นยำของการอ้างอิง โดยอนุญาตให้มีการเท่าเทียมกัน Ai2 รายงานว่า DR Tulu ชนะในด้านความชอบโดยรวม, ในขณะที่สองในสามนักวิจัยเลือก AstaBrief มากกว่าระบบอื่นในด้านความแม่นยำของการอ้างอิง

Ai2 เตือนว่า การฝึกฝนและการประเมินส่วนใหญ่เสร็จสิ้นในปี 2025, โมเดลที่เป็นกรรมสิทธิ์ที่ใช้สร้างข้อมูลการฝึกและเป็นจุดเปรียบเทียบสะท้อนขอบเขตของเทคโนโลยีในขณะนั้น, และว่าบริษัทยังไม่ได้ทำการประเมินเต็มรูปแบบอีกครั้งกับโมเดลขอบเขตปัจจุบัน

การใช้งานเบื้องต้นและขั้นตอนต่อไปที่ระบุ

Ai2 รายงานว่า ในจำนวนผู้ใช้ Asta 374 คนที่ลองใช้โหมด Fast, 29.1 เปอร์เซ็นต์ใช้โหมดนี้สองวันหรือมากกว่า, ผู้ใช้สร้างเธรดรายงานโดยเฉลี่ย 3.67 เธรด, 23 เปอร์เซ็นต์ไม่เคยสลับกลับไปใช้โหมด Thinking สำหรับเธรดในอนาคต, และอีก 18 เปอร์เซ็นต์สลับโหมดตามเป้าหมายของตน, ใช้โหมด Fast ประมาณ 40 เปอร์เซ็นต์ของเธรดของพวกเขา ความคิดเห็นเชิงบวกอยู่ที่ 84.2 เปอร์เซ็นต์สำหรับโหมด Fast เทียบกับ 85.2 เปอร์เซ็นต์สำหรับโหมด Thinking ซึ่ง Ai2 ระบุว่าอัตรานี้ใกล้เคียงกัน แม้ว่าจะสังเกตว่าข้อมูลตอบรับโดยทั่วไปค่อนข้างน้อยเกินไปที่จะสรุปอย่างแน่ชัด

Ai2 กล่าวว่า กำลังสำรวจการเรียนรู้ความชอบที่ละเอียดมากขึ้น, วิธีการ RAG‑plus‑RL ที่แข็งแกร่งกว่า, ความสามารถหลายรอบและหลายเครื่องมือ, แหล่งข้อมูลวิทยาศาสตร์เพิ่มเติม, และการแยกย่อยคำค้น, พร้อมกับการประเมินที่ทดสอบว่าโมเดลรักษาขอบเขตของหลักฐานจากแหล่งข้อมูลหรือขยายขอบเขตที่การศึกษาต้นแบบกำหนด การประกาศวางงานนี้ในบริบทของความพยายามด้านโมเดลวิทยาศาสตร์ของ Ai2 อย่างกว้างขวาง รวมถึง NSF OMAI ซึ่งเป็นโครงการระดับชาติของสหรัฐที่นำโดย Ai2 เพื่อสร้างโครงสร้างพื้นฐาน AI แบบเปิดเต็มรูปแบบและโมเดลสำหรับการค้นพบทางวิทยาศาสตร์, และอธิบายว่า AstaBrief เป็นหนึ่งในทดลองของสายงานที่ยาวนานตั้งแต่ ScholarQA และ DR Tulu ไปจนถึงเวอร์ชันอนาคตของ Olmo