Ai2 rend open source AstaBrief 8B pour la génération rapide de rapports scientifiques

L’Allen Institute for AI (Ai2) a déclaré le 2 octobre 2026 qu’il rendait open source AstaBrief 8B, un modèle qui transforme une question de recherche et des extraits de littérature récupérés en un rapport cité, en publiant les poids du modèle et les données d’entraînement au moment où le système est mis en ligne en tant que mode Rapide dans Asta, sa plateforme agentique pour le travail scientifique.

Mode Rapide dans la génération de rapports d’Asta

AstaBrief est disponible dans la fonction Générer un rapport d’Asta en tant que mode Rapide, fonctionnant parallèlement au mode Thinking alimenté par Claude, selon l’annonce d’Ai2. Ai2 indique que son objectif était de tester si un petit modèle open, entraîné spécifiquement pour la génération de rapports scientifiques, pouvait égaler la qualité des rapports des modèles propriétaires qu’il utilisait, tout en réduisant le temps de génération et les coûts de service. Ai2 rapporte que, sur l’ensemble du pipeline Asta, le mode Rapide moyenne 51,1 secondes par rapport contre 178,5 secondes pour le mode Thinking, une différence qu’il décrit comme environ 3,5 fois plus rapide et comme une réduction d’un ordre de grandeur du temps de génération par rapport aux modèles propriétaires suivis.

La fiche technique d’AstaBrief 8B indique que le modèle est sous licence Apache 2.0, qu’il est basé sur Qwen3-8B et qu’il est destiné à un usage de recherche et éducatif conformément aux Directives d’utilisation responsable d’Ai2. Parce que les poids sont ouverts, Ai2 affirme que les institutions peuvent exécuter le modèle sur leur propre matériel, y compris derrière leur propre pare-feu, ce qu’il décrit comme nécessaire lorsque les questions de recherche portent sur des travaux sensibles ou non publiés. En plus des poids, Ai2 a publié un flux de travail d’exemple dans son référentiel GitHub ai2-scholarqa-lib que les chercheurs peuvent adapter pour générer des rapports à partir de leurs propres PDF.

Données d’entraînement et filtrage

Ai2 a commencé à partir de Qwen3-8B et a construit AstaBrief avec un affinement supervisé suivi de optimisation directe des préférences (DPO). L’annonce indique que l’équipe a envisagé un entraînement basé sur l’apprentissage par renforcement, ce que son travail antérieur sur DR Tulu avait montré capable d’améliorer la génération de rapports longs pour les modèles à poids ouverts, mais elle a choisi la méthode plus simple car l’entraînement par RL peut être instable et coûteux, et l’équipe souhaitait une configuration moins chère et plus facile à déboguer et à itérer.

Pour gagner en rapidité, AstaBrief a été entraîné à rédiger le rapport complet en une seule passe à partir de la requête utilisateur et des extraits récupérés, contournant les étapes de synthèse et de regroupement des extraits utilisées par le mode Thinking basé sur Claude et en sautant l’écriture section par section. Ai2 affirme avoir constaté que cela était possible sans sacrifier les performances.

Le pipeline d’entraînement a commencé avec de vraies requêtes d’utilisateurs soumises via le système du cadre ScholarQA d’Ai2, qui sous-tend la génération de rapports d’Asta. L’équipe a filtré les journaux pour la qualité, la pertinence et la confidentialité, en supprimant le trafic des bêta-testeurs et des bots, en écartant les requêtes trop courtes pour être significatives, et en utilisant un passage basé sur un LLM pour détecter les requêtes non anglophones, les demandes non scientifiques et les invites contenant des informations personnelles. Il en est résulté un ensemble de 90 000 requêtes axées sur la recherche.

Pour la phase supervisée, les cibles de rapports complets ont été générées avec le pipeline multi-étapes ScholarQA soutenu par un mélange de systèmes propriétaires : Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini et GPT‑4.1. Le filtrage de qualité a laissé 47 000 exemples utilisables. Pour le DPO, les paires proviennent d’un sous-ensemble distinct de requêtes non utilisées lors de la génération des données SFT : un rapport du pipeline ScholarQA, généralement soutenu par Claude 3.5 ou 3.7 Sonnet, contre un rapport généré par o3, o4-mini, DeepSeek‑V3 ou DeepSeek‑R1. Deux modèles de jugement, GPT‑4.1 et DeepSeek‑R1, ont choisi un gagnant pour chaque paire. Ai2 indique que les juges étaient d’accord avec les préférences humaines 95 % du temps, et seules les paires sur lesquelles les deux juges étaient d’accord ont été conservées, produisant environ 6 000 exemples finaux. Selon la fiche technique, le modèle publié a été initialisé à partir du point de contrôle AstaBrief‑8B‑SFT et affiné sur le AstaBrief_DPO_Mix jeu de données, avec l’entraînement DPO réalisé dans le cadre open‑instruct d’Ai2 sur 8 x H100 GPU.

Résultats de l’évaluation

L’objectif principal de développement d’Ai2 était SQABench‑CS2, que l’annonce décrit comme un ensemble de 200 questions de recherche en informatique rédigées par les utilisateurs. L’équipe a suivi quatre métriques : le score de grille, qui mesure la quantité de contenu nécessaire couvert par un rapport ; la précision des réponses, qui mesure si chaque paragraphe est pertinent par rapport à la question ; la précision des citations, qui mesure si chaque citation soutient l’affirmation qui lui est associée ; et le rappel des citations, qui mesure si les affirmations d’un rapport sont entièrement étayées par les citations fournies. Les évaluations secondaires ont utilisé DeepScholarBench, un benchmark de 63 requêtes pour la synthèse de recherche longue construit à partir de récents articles arXiv, ainsi que des comparaisons par paires avec des rapports issus du pipeline alimenté par Claude.

L’annonce indique que l’équipe a testé quatre filtres basés sur des statistiques sur des rapports d’entraînement synthétiques : le ratio jetons sortie/entrée, la pertinence des citations, la densité des citations et la diversité des citations. Ai2 affirme que les gains les plus importants provenaient du filtrage des rapports à faible densité de citations, tandis que des filtrages plus agressifs, des combinaisons de filtres et des variations du taux d’apprentissage n’ont apporté aucun gain significatif. Elle décrit la leçon plus large comme une preuve que la spécialisation scientifique n’est pas nécessairement une question d’ajout de texte scientifique supplémentaire à la pré‑formation, et que la composition et la qualité des données post‑formation peuvent modifier de manière substantielle les performances du modèle résultant.

Ai2 indique que les premiers points de contrôle SFT ont amélioré la qualité globale du contenu mais restaient en retard par rapport au pipeline propulsé par Claude en termes de précision des réponses et de qualité des citations, et que l’étape DPO a placé AstaBrief dans la même gamme que le pipeline Claude et DR Tulu pour la génération de rapports. La fiche modèle rapporte que, sur le jeu de test ScholarQA‑CS2, AstaBrief‑8B a obtenu une moyenne de 87 sur les métriques suivies, contre 83.7 pour le point de contrôle SFT et 77.3 pour le Qwen3‑8B de base, AstaBrief‑8B obtenant 90.2 en rappel des ingrédients, 89 en précision des réponses, 90.5 en précision des citations et 78.2 en rappel des citations. La fiche indique également des taux de victoire évalués par LLM pour AstaBrief‑8B face au pipeline Asta ScholarQA de 55 % sur le sous‑ensemble de développement et de 72 % sur le sous‑ensemble de test, et répertorie des scores de 53.50 pour AstaBrief‑8B, 60.25 pour Asta ScholarQA et 56.26 pour DR‑Tulu‑8B.

Dans une étude humaine distincte décrite dans l’annonce, trois chercheurs scientifiques ont chacun fourni entre quatre et cinq questions dans un ensemble de 14 questions et ont classé les rapports des trois systèmes selon la préférence globale, la complétude, la pertinence, l’organisation et la précision des citations, les égalités étant autorisées. Ai2 indique que DR Tulu a remporté la préférence globale, tandis que deux des trois chercheurs ont préféré AstaBrief aux autres systèmes en ce qui concerne la précision des citations.

Ai2 avertit que la majeure partie de la formation et de l’évaluation a été réalisée en 2025, que les modèles propriétaires utilisés pour générer les données d’entraînement et servir de points de comparaison reflètent l’état de l’art à cette époque, et qu’elle n’a pas refait l’évaluation complète contre les modèles de pointe actuels.

Première utilisation et prochaines étapes annoncées

Ai2 indique que parmi les 374 utilisateurs d’Asta ayant testé le mode Fast, 29.1 % l’ont utilisé pendant deux jours ou plus, les utilisateurs ont généré en moyenne 3.67 fils de rapports, 23 % n’ont jamais repassé en mode Thinking pour les fils futurs, et 18 % supplémentaires ont alterné entre les modes selon leurs objectifs, utilisant le mode Fast pour environ 40 % de leurs fils. Les retours positifs s’élevaient à 84.2 % pour le mode Fast contre 85.2 % pour le mode Thinking, ce qu’Ai2 qualifie de taux similaire tout en soulignant que les retours sont généralement trop rares pour permettre des conclusions solides.

Ai2 indique qu’elle explore un apprentissage des préférences plus granulaire, des approches RAG-plus-RL plus robustes, des capacités multi‑tour et multi‑outil, des sources de données scientifiques supplémentaires et la décomposition des requêtes, ainsi que des évaluations visant à vérifier si un modèle préserve le périmètre probatoire de ses sources plutôt que d’élargir ce que les études sous‑jacentes ont établi. L’annonce situe ce travail dans le cadre des efforts plus larges d’Ai2 en matière de modèles scientifiques, notamment le NSF OMAI, une initiative nationale américaine dirigée par Ai2 visant à créer une infrastructure et des modèles d’IA entièrement ouverts pour la découverte scientifique, et décrit AstaBrief comme une expérience dans une série de travaux allant de ScholarQA et DR Tulu aux futures versions d’Olmo.