Ai2 открывает исходный код AstaBrief 8B для быстрой генерации научных отчётов

Институт Аллена в области искусственного интеллекта (Ai2) заявил 2 октября 2026 года, что открывает исходный код AstaBrief 8B, модели, преобразующей исследовательский вопрос и извлечённые фрагменты литературы в отчёт с цитатами, выпуская веса модели и обучающие данные одновременно с запуском режима Fast в Asta, их агентной платформе для научной работы.

Режим Fast в генерации отчётов Asta

AstaBrief доступен в функции «Создать отчёт» в Asta в режиме Fast, работающем параллельно с существующим режимом Thinking, основанным на Claude, согласно объявлению Ai2. Ai2 говорит, что цель состояла в проверке, может ли небольшая открытая модель, обученная специально для генерации научных отчётов, сопоставить качество отчётов проприетарных моделей, которые она использовала, одновременно сокращая время генерации и затраты на обслуживание. Ai2 сообщает, что по всей конвейеру Asta режим Fast в среднем занимает 51.1 секунды на отчёт против 178.5 секунды для режима Thinking, разницу, которую они описывают как примерно в 3.5 раза быстрее и почти на порядок меньше времени генерации по сравнению с проприетарными моделями, которые они отслеживали.

Карточка модели карточка модели AstaBrief 8B указывает, что модель лицензирована по Apache 2.0, основана на Qwen3-8B и предназначена для исследовательского и образовательного использования в соответствии с Руководством ответственного использования Ai2. Поскольку веса открыты, Ai2 заявляет, что организации могут запускать модель на собственном оборудовании, включая за своим файрволом, что они описывают как необходимое, когда исследовательские вопросы касаются чувствительной или неопубликованной работы. Вместе с весами Ai2 выпустил пример рабочего процесса в их репозитории ai2-scholarqa-lib на GitHub, который исследователи могут адаптировать для генерации отчётов из собственных PDF‑файлов.

Обучающие данные и фильтрация

Ai2 начал с Qwen3-8B и построил AstaBrief с помощью контролируемой доработки, а затем с прямой оптимизацией предпочтений (DPO). В объявлении говорится, что команда рассматривала обучение с подкреплением, которое их более ранняя работа DR Tulu показала может улучшить генерацию длинных отчётов для моделей с открытыми весами, но выбрала более простой рецепт, поскольку обучение с подкреплением может быть нестабильным и дорогим, а команда хотела более дешёвую и лёгкую в отладке и итерации настройку.

Для ускорения AstaBrief обучали писать полный отчёт за один проход из пользовательского запроса и извлечённых фрагментов, обходя этапы суммирования фрагментов и кластеризации, которые использует режим Thinking на основе Claude, и пропуская написание раздел за разделом. Ai2 сообщает, что им удалось сделать это без потери производительности.

Конвейер обучения начался с реальных пользовательских запросов, отправленных через систему, построенную на базе фреймворка ScholarQA от Ai2, который лежит в основе генерации отчётов Asta. Команда отфильтровала логи по качеству, релевантности и конфиденциальности, удалив трафик бета‑тестеров и ботов, исключив запросы, слишком короткие для смысла, и применив проход на основе LLM для отлова неанглийских запросов, научных запросов вне тематики и подсказок, содержащих персональную информацию. В результате остался пул из 90K запросов, ориентированных на исследования.

Для контролируемой стадии полные цели отчётов генерировались с помощью многошагового конвейера ScholarQA, поддерживаемого набором проприетарных систем: Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini и GPT‑4.1. Фильтрация по качеству оставила 47K пригодных примеров. Для DPO пары получались из отдельного подмножества запросов, не использованных при генерации данных SFT: один отчёт из конвейера ScholarQA, обычно поддерживаемый Claude 3.5 или 3.7 Sonnet, против отчёта, сгенерированного o3, o4-mini, DeepSeek‑V3 или DeepSeek‑R1. Два оценочных модели, GPT‑4.1 и DeepSeek‑R1, выбирали победителя для каждой пары. Ai2 сообщает, что судьи согласовывали с человеческими предпочтениями в 95 percent of the time, и только пары, в которых оба судьи согласились, сохранялись, что привело к примерно 6K окончательных примеров. Согласно карточке модели, выпущенная модель была инициализирована из контрольной точки AstaBrief-8B-SFT и дообучена на AstaBrief_DPO_Mix наборе данных, при этом обучение DPO проводилось в открытой инструктивной среде Ai2 на 8xH100 GPUs.

Результаты оценки

Основной целевой набор Ai2 для разработки — SQABench‑CS2, который в объявлении описывается как набор из 200 пользовательских вопросов по компьютерным наукам. Команда отслеживала четыре метрики: оценка по рубрике, измеряющая, насколько необходимый контент покрыт в отчёте; точность ответов, измеряющая, релевантен ли каждый абзац вопросу; точность цитирования, измеряющая, поддерживает ли каждая цитата заявленное утверждение; и полноту цитирования, измеряющая, полностью ли поддерживаются утверждения отчёта предоставленными цитатами. Вторичные оценки использовали DeepScholarBench, бенчмарк из 63 запросов для синтеза долгих исследований, построенный на недавних статьях arXiv, а также парные сравнения с отчётами из конвейера, основанного на Claude.

Объявление сообщает, что команда протестировала четыре фильтра, основанные на статистиках, для синтетических обучающих отчётов: отношение токенов вывода к вводу, релевантность цитат, плотность цитат и разнообразие цитат. Ai2 утверждает, что наибольшие улучшения пришли от фильтрации отчётов с низкой плотностью цитат, тогда как более агрессивная фильтрация, комбинации фильтров и переборы скоростей обучения не принесли значимых преимуществ. Они описывают более широкий вывод как доказательство того, что научная специализация не обязательно требует добавления большего количества научного текста в предобучение, и что состав и качество постобучающих данных могут существенно изменить поведение полученной модели.

Ai2 сообщает, что ранние контрольные точки SFT улучшили общее качество контента, но всё ещё отставали от конвейера на базе Claude по точности ответов и качеству цитирования, и что этап DPO привёл AstaBrief к уровню конвейера Claude и DR Tulu в генерации отчётов. В карточке модели указано, что на тестовом наборе ScholarQA‑CS2 AstaBrief‑8B в среднем набрал 87 по отслеживаемым метрикам, по сравнению с 83,7 у контрольной точки SFT и 77,3 у базовой Qwen3‑8B; при этом AstaBrief‑8B получил 90,2 по воспоминанию ингредиентов, 89 по точности ответов, 90,5 по точности цитирования и 78,2 по воспоминанию цитат. Карточка также сообщает о выигрышных показателях, оценённых LLM, для AstaBrief‑8B против конвейера Asta ScholarQA: 55 % на валидационном наборе и 72 % на тестовом наборе, а также приводит результаты DeepScholarBench: 53,50 для AstaBrief‑8B, 60,25 для Asta ScholarQA и 56,26 для DR‑Tulu‑8B.

В отдельном человеческом исследовании, описанном в объявлении, три научных исследователя внесли по четыре‑пять вопросов в набор из 14 вопросов и оценивали отчёты трёх систем по общему предпочтению, полноте, релевантности, организации и точности цитирования, допуская ничьи. Ai2 сообщает, что DR Tulu победил по общему предпочтению, тогда как два из трёх исследователей отдали предпочтение AstaBrief в точности цитирования по сравнению с другими системами.

Ai2 предупреждает, что большая часть обучения и оценки была завершена в 2025 году, что проприетарные модели, использованные для создания обучающих данных и в качестве точек сравнения, отражают состояние передового уровня на тот момент, и что полная переоценка против текущих передовых моделей не была проведена.

Раннее использование и заявленные дальнейшие шаги

Ai2 сообщает, что среди 374 пользователей Asta, попробовавших режим Fast, 29,1 % использовали его два и более дней, пользователи в среднем создали 3,67 цепочек отчётов, 23 % никогда не переключались обратно в режим Thinking для последующих цепочек, а ещё 18 % чередовали режимы в зависимости от целей, используя Fast примерно в 40 % своих цепочек. Положительная обратная связь составила 84,2 % для Fast и 85,2 % для Thinking, что Ai2 охарактеризовал как сопоставимый уровень, отмечая, что обратная связь обычно слишком скудна для надёжных выводов.

Ai2 заявляет, что исследует более детальное обучение предпочтениям, более сильные подходы RAG‑plus‑RL, возможности многократных диалогов и многопользовательских инструментов, дополнительные научные источники данных и декомпозицию запросов, а также проводит оценки, проверяющие, сохраняет ли модель доказательную область своих источников, а не расширяет выводы исходных исследований. В объявлении работа помещается в более широкие усилия Ai2 по созданию научных моделей, включая NSF OMAI — национальную инициативу США под руководством Ai2, направленную на построение полностью открытой ИИ‑инфраструктуры и моделей для научных открытий, и описывает AstaBrief как один из экспериментов в более длительной серии проектов, начиная от ScholarQA и DR Tulu и заканчивая будущими версиями Olmo.