Ai2がAstaBrief 8Bをオープンソース化、Fast Scientific Report Generation向けに提供

Allen Institute for AI (Ai2)は2026年10月2日に、研究質問と取得した文献抜粋を引用付きレポートに変換するモデルであるAstaBrief 8Bをオープンソース化すると発表し、モデルの重みと学習データを、科学的作業のためのエージェントプラットフォームであるAstaのFast modeとしてシステムが稼働する際に公開することを明らかにした。

Astaのレポート生成における Fast Mode

AstaBriefはAstaのGenerate a report機能でFast modeとして利用可能で、既存のClaude搭載Thinking modeと並行して動作すると、Ai2の発表によれば。Ai2は、科学レポート生成に特化して訓練された小規模なオープンモデルが、使用していたプロプライエタリモデルと同等のレポート品質を実現しつつ、生成時間とサービスコストを削減できるかどうかをテストすることが目的だったと述べている。Ai2によると、Asta全体のパイプラインでFast modeはレポートあたり平均51.1秒で、Thinking modeの178.5秒と比較して約3.5倍速く、追跡したプロプライエタリモデルに比べて生成時間がほぼ1桁削減されたと説明している。

AstaBrief 8B モデルカードは、モデルがApache 2.0の下でライセンスされ、Qwen3-8Bをベースとし、Ai2のResponsible Use Guidelinesに基づく研究・教育利用を目的としていると記載している。重みがオープンであるため、Ai2は機関が自前のハードウェア、さらには自社のファイアウォールの背後でモデルを実行できると述べており、研究質問が機密または未公開の作業に関わる場合に必要だと説明している。重みと共に、Ai2はai2-scholarqa-lib GitHub リポジトリで例示的なワークフローを公開しており、研究者は自分のPDFからレポートを生成するように適応できる。

トレーニングデータとフィルタリング

Ai2はQwen3-8Bを出発点とし、教師あり微調整の後に直接嗜好最適化 (DPO)を行ってAstaBriefを構築した。発表では、チームが強化学習ベースの訓練も検討したが、以前のDR Tuluの研究でオープンウェイトモデルの長文レポート生成が改善されることが示されたものの、RL訓練は不安定でコストが高く、より安価でデバッグや反復が容易な設定を望んだため、シンプルな手法を選択したと述べている。

速度向上のため、AstaBriefはユーザーのクエリと取得したスニペットから一度のパスで全文レポートを書き出すように訓練され、ClaudeベースのThinking modeが使用するスニペット要約やクラスタリング段階、セクションごとの執筆を省略している。Ai2は、性能を犠牲にせずにこれが可能だったと述べている。

トレーニングパイプラインは、Ai2のScholarQAフレームワークの背後でシステムに提出された実際のユーザークエリから始まった。このフレームワークはAstaのレポート生成を支えている。チームはログを品質、関連性、プライバシーでフィルタリングし、ベータテスターやボットのトラフィックを除去し、意味のあるものとならない短すぎるクエリを削除し、LLMベースのパスで英語以外のクエリ、科学的でないリクエスト、個人情報を含むプロンプトを検出した。その結果、90K件の研究志向クエリのプールが残った。

教師あり段階では、マルチステップのScholarQAパイプラインで生成された全文レポートが、Claude 3.5 Sonnet、Claude 3.7 Sonnet、o3、o4-mini、GPT-4.1 といったプロプライエタリシステムの組み合わせで支えられた。品質フィルタリングにより47K件の使用可能な例が残った。DPOでは、SFTデータ生成時に使用されなかった別のクエリサブセットからペアが抽出された：ScholarQAパイプラインからのレポート（通常はClaude 3.5または3.7 Sonnetが裏付け）と、o3、o4-mini、DeepSeek-V3、またはDeepSeek-R1で生成されたレポートとの比較である。二つの判定モデル、GPT-4.1 と DeepSeek-R1 が各ペアの勝者を選出した。Ai2によれば、判定モデルは人間の嗜好と95％の確率で一致し、両方の判定モデルが同意したペアのみが残され、最終的に約6K件の例が得られた。モデルカードによると、公開されたモデルはAstaBrief-8B-SFTチェックポイントから初期化され、上記データセットでDPO訓練がAi2のopen-instructフレームワーク上で8×H100 GPUを用いて実施された。 AstaBrief_DPO_Mix データセットで、DPO訓練はAi2のopen-instructフレームワーク上で8×H100 GPUを用いて実施された。

評価結果

Ai2の主な開発対象はSQABench-CS2で、発表では200件のユーザー作成コンピュータサイエンス研究質問のセットとして説明されている。チームは4つの指標を追跡した：ルーブリックスコア（レポートが必要な内容をどれだけカバーしているかを測定）、回答精度（各段落が質問に関連しているかを測定）、引用精度（各引用がそれに付随する主張を支えるかを測定）、引用再現率（レポートの主張が提供された引用によって完全に裏付けられているかを測定）。二次評価には、最近のarXiv論文から構築された63件のクエリからなる長文研究合成ベンチマークDeepScholarBenchと、Claude搭載パイプラインからのレポートとのペア比較が使用された。

発表では、チームが合成トレーニングレポートに対して4つの統計ベースのフィルタをテストしたと報告している：出力‑入力トークン比、引用関連性、引用密度、引用多様性。Ai2は、最も大きな改善は引用密度が低いレポートを除外することから得られ、より積極的なフィルタやフィルタの組み合わせ、学習率のスイープは有意な改善をもたらさなかったと述べている。広範な教訓として、科学的専門性は必ずしも事前学習にさらに科学テキストを追加することだけで得られるものではなく、事後学習データの構成と品質がモデルの性能に実質的に影響を与えるという証拠であると説明している。

Ai2 は、初期の SFT チェックポイントが全体的なコンテンツ品質を向上させたものの、回答の正確性と引用の品質において Claude ベースのパイプラインに遅れを取っていたこと、そして DPO ステージにより AstaBrief が Claude パイプラインおよび DR Tulu と同等のレポート生成性能に近づいたことを指摘しています。モデルカードによると、ScholarQA‑CS2 テストセットにおいて AstaBrief‑8B は追跡指標全体で平均 87 を記録し、SFT チェックポイントの 83.7、ベースの Qwen3‑8B の 77.3 と比較されています。また、AstaBrief‑8B は成分リコールで 90.2、回答精度で 89、引用精度で 90.5、引用リコールで 78.2 を達成しました。カードはさらに、AstaBrief‑8B が Asta ScholarQA パイプラインに対して開発分割で 55％、テスト分割で 72％の LLM 判定勝率を示したこと、そして DeepScholarBench のスコアが AstaBrief‑8B が 53.50、Asta ScholarQA が 60.25、DR‑Tulu‑8B が 56.26 であることを報告しています。

発表で説明された別のヒューマンスタディでは、3 人の科学研究者がそれぞれ 14 問のセットから 4〜5 問ずつ出題し、3 つのシステムから生成されたレポートを全体的な好み、完全性、関連性、構成、引用精度の観点で評価し、同点も許可しました。Ai2 の報告によると、DR Tulu が全体的な好みで勝ち、3 人の研究者のうち 2 人は引用精度において他のシステムより AstaBrief を好んだとのことです。

Ai2 は、トレーニングと評価の大部分が 2025 年に実施され、トレーニングデータ生成に使用されたプロプライエタリモデルや比較対象となったモデルは当時の最先端を反映していること、そして現在の最先端モデルに対して全評価を再実施していないことを注意喚起しています。

早期利用と今後の方針

Ai2 の報告によると、Fast モードを試した 374 人の Asta ユーザーのうち 29.1％ が 2 日以上利用し、ユーザーは平均で 3.67 本のレポートスレッドを生成、23％ が今後のスレッドで Thinking モードに戻らず、さらに 18％ が目的に応じてモードを切り替え、Fast モードを全スレッドの約 40％で使用していました。Fast モードに対する肯定的なフィードバックは 84.2％で、Thinking モードの 85.2％とほぼ同等と Ai2 は評価していますが、フィードバックが全体的に少なく、強い結論を導くには不十分であることも指摘しています。

Ai2 は、より細分化された嗜好学習、強化された RAG＋RL アプローチ、マルチターンおよびマルチツール機能、追加の科学データソース、クエリ分解などを探索中であり、モデルが根拠となる情報源の証拠範囲を保持し、基礎となる研究が示す範囲を拡大しないかを検証する評価も行うと述べています。この発表は、Ai2 の広範な科学モデル取り組み、特に NSF OMAI（Ai2 が主導する米国の国家イニシアティブで、科学的発見のための完全にオープンな AI インフラとモデルを構築することを目的とする）に位置付けられ、AstaBrief を ScholarQA や DR Tulu から将来の Olmo バージョンに至る長期的なプロジェクトの一実験として位置付けています。