Ai2 开源 AstaBrief 8B 用于快速科学报告生成

Allen Institute for AI（Ai2）在2026年10月2日表示，正在开源 AstaBrief 8B，这是一种将研究问题和检索到的文献摘录转化为带引用报告的模型，并在系统以 Fast 模式在 Asta——其用于科学工作的代理平台——上线的同时发布模型权重和训练数据。

Asta 报告生成的快速模式

AstaBrief 可在 Asta 的生成报告功能中以 Fast 模式使用，与现有的 Claude 驱动的 Thinking 模式并行，根据 Ai2 的公告。Ai2 表示，其目标是测试一个专门为科学报告生成训练的小型开源模型，是否能够匹配其此前使用的专有模型的报告质量，同时缩短生成时间并降低服务成本。Ai2 报告称，在完整的 Asta 流程中，Fast 模式每份报告平均耗时 51.1 秒，而 Thinking 模式为 178.5 秒，差异约为 3.5 倍更快，且相较于所追踪的专有模型，生成时间几乎降低了一个数量级。

AstaBrief 8B 模型卡 表明，该模型在 Apache 2.0 许可证下发布，基于 Qwen3-8B，并根据 Ai2 的负责任使用指南用于研究和教育目的。由于权重是开放的，Ai2 表示机构可以在自己的硬件上运行该模型，包括在自有防火墙后，这在研究问题涉及敏感或未公开工作时是必要的。除了权重之外，Ai2 还在其 ai2-scholarqa-lib GitHub 仓库中发布了示例工作流，研究人员可以将其改编用于从自己的 PDF 生成报告。

训练数据与过滤

Ai2 从 Qwen3-8B 开始构建 AstaBrief，先进行监督微调，然后进行 直接偏好优化 (DPO)。公告称团队曾考虑基于强化学习的训练，其早期的 DR Tulu 工作已显示对开源权重模型的长篇报告生成有提升，但最终选择了更简易的方案，因为强化学习训练可能不稳定且成本高昂，团队希望采用更廉价、更易调试和迭代的设置。

为了提升速度，AstaBrief 被训练为在一次传递中从用户查询和检索到的片段生成完整报告，跳过 Claude 基础的 Thinking 模式使用的片段摘要和聚类阶段以及逐段写作。Ai2 表示他们发现这在不牺牲性能的前提下是可行的。

训练流水线始于通过 Ai2 的 ScholarQA 框架（支撑 Asta 报告生成）提交的真实用户查询。团队对日志进行了质量、相关性和隐私过滤，剔除 beta 测试者和机器人流量，去除过短的无意义查询，并使用基于 LLM 的步骤捕获非英文查询、非科学请求以及包含个人信息的提示。最终留下约 90K 条面向研究的查询。

在监督阶段，完整报告目标通过多步骤 ScholarQA 流程生成，背后使用多种专有系统：Claude 3.5 Sonnet、Claude 3.7 Sonnet、o3、o4-mini 和 GPT-4.1。质量过滤后剩余 47K 条可用示例。对于 DPO，配对来自未在 SFT 数据生成期间使用的另一子集查询：一份来自 ScholarQA 流程的报告，通常由 Claude 3.5 或 3.7 Sonnet 支持，对比由 o3、o4-mini、DeepSeek-V3 或 DeepSeek-R1 生成的报告。两个评审模型 GPT-4.1 和 DeepSeek-R1 为每对挑选出胜者。Ai2 表示评审模型在 95% 的情况下与人工偏好一致，且仅保留两者均同意的配对，产生约 6K 条最终示例。根据模型卡，发布的模型是从 AstaBrief-8B-SFT 检查点初始化，并在 AstaBrief_DPO_Mix 数据集上进行的，DPO 训练在 Ai2 的 open-instruct 框架上使用 8xH100 GPU 完成。

评估结果

Ai2 的主要开发目标是 SQABench-CS2，公告将其描述为 200 条用户自行编写的计算机科学研究问题集合。团队追踪了四项指标：rubric 分数，用于衡量报告覆盖了多少必要内容；答案精确度，衡量每段落是否与问题相关；引用精确度，衡量每条引用是否支持其所附的主张；以及引用召回率，衡量报告的主张是否全部得到提供的引用支持。二次评估使用 DeepScholarBench，这是一套由近期 arXiv 论文构建的 63 条查询的长篇研究综述基准，并与 Claude 驱动的流水线报告进行成对比较。

公告报告团队在合成训练报告上测试了四种基于统计的过滤器：输出与输入的 token 比率、引用相关性、引用密度和引用多样性。Ai2 表示，最显著的提升来自过滤掉引用密度低的报告，而更激进的过滤、过滤组合以及学习率扫描未带来显著收益。它将更广泛的经验描述为：科学专业化并不一定需要在预训练中加入更多科学文本，后训练数据的组成和质量可以实质性地改变模型的表现。

Ai2 表示，早期的 SFT 检查点提升了整体内容质量，但在答案精确度和引用质量方面仍落后于 Claude 驱动的流水线；而 DPO 阶段使 AstaBrief 的报告生成能力接近 Claude 流水线和 DR Tulu。模型卡报告称，在 ScholarQA‑CS2 测试集上，AstaBrief‑8B 在所有跟踪指标上的平均得分为 87，SFT 检查点为 83.7，基础 Qwen3‑8B 为 77.3；其中 AstaBrief‑8B 在成分召回上得分 90.2，答案精确度 89，引用精确度 90.5，引用召回 78.2。卡片还报告了 AstaBrief‑8B 对比 Asta ScholarQA 流水线的 LLM 评判胜率，开发集为 55%，测试集为 72%，并列出了 DeepScholarBench 的得分：AstaBrief‑8B 为 53.50，Asta ScholarQA 为 60.25，DR‑Tulu‑8B 为 56.26。

在公告中描述的另一项人工研究中，三位科学研究人员各自对 14 题的题目贡献了四到五个问题，并对三套系统的报告在整体偏好、完整性、相关性、组织结构和引用准确性方面进行排名，允许出现并列。Ai2 报告称，DR Tulu 在整体偏好上获胜，而三位研究人员中有两位在引用准确性上更倾向于 AstaBrief。

Ai2 警示称，大部分训练和评估工作在 2025 年完成，所使用的专有模型用于生成训练数据并作为对比点，反映了当时的前沿水平，且尚未针对当前前沿模型重新进行完整评估。

早期使用情况与后续计划

Ai2 报告称，在 374 名尝试 Fast 模式的 Asta 用户中，29.1% 在两天或以上使用该模式，用户平均生成 3.67 条报告线程，23% 从未在后续线程中切换回 Thinking 模式，另有 18% 根据目标在两种模式间交替使用，约 40% 的线程使用 Fast 模式。Fast 模式的正面反馈率为 84.2%，Thinking 模式为 85.2%，Ai2 将其描述为相似的比例，并指出反馈总体过于稀疏，难以得出强有力的结论。

Ai2 表示正在探索更细粒度的偏好学习、更强的 RAG 加 RL 方法、多回合和多工具能力、额外的科学数据来源以及查询分解，并进行评估以检验模型是否保持来源证据的范围，而不是扩大底层研究的结论。公告将此工作置于 Ai2 更广泛的科学模型计划之中，包括 NSF OMAI——由 Ai2 主导的美国国家计划，旨在构建完全开放的 AI 基础设施和用于科学发现的模型，并将 AstaBrief 描述为从 ScholarQA 与 DR Tulu 到未来 Olmo 版本的一系列实验中的一次尝试。