Ai2 maakt AstaBrief 8B open-source voor snelle wetenschappelijke rapportgeneratie

Het Allen Institute for AI (Ai2) zei op 2 oktober 2026 dat het AstaBrief 8B open-source maakt, een model dat een onderzoeksvraag en opgehaalde literatuurfragmenten omzet in een geciteerd rapport, en dat de modelgewichten en trainingsgegevens vrijgeeft terwijl het systeem live gaat als Fast mode in Asta, haar agentische platform voor wetenschappelijk werk.

Fast Mode in Asta’s Report Generation

AstaBrief is beschikbaar in de ‘Generate a report’-functie van Asta als Fast mode, die naast de bestaande Claude-gedreven Thinking mode draait, volgens Ai2-verklaring. Ai2 zegt dat het doel was te testen of een klein, open model dat specifiek getraind is voor wetenschappelijke rapportgeneratie, de rapportkwaliteit van de proprietaire modellen waarmee het werkte, kon evenaren, terwijl het de generatie tijd en de servicekosten verminderde. Ai2 meldt dat de Fast mode in de volledige Asta-pijplijn gemiddeld 51,1 seconden per rapport kost, vergeleken met 178,5 seconden voor de Thinking mode, een verschil dat het beschrijft als ongeveer 3,5 keer sneller en als bijna een orde-van-magnitude reductie in generatie tijd ten opzichte van de proprietaire modellen die het vergeleken heeft.

De AstaBrief 8B modelkaart vermeldt dat het model onder Apache 2.0 is gelicentieerd, gebaseerd is op Qwen3-8B, en bestemd is voor onderzoek- en onderwijsgebruik volgens Ai2’s Responsible Use Guidelines. Omdat de gewichten open zijn, zegt Ai2 dat instellingen het model op hun eigen hardware kunnen draaien, inclusief achter hun eigen firewall, wat zij beschrijven als noodzakelijk wanneer onderzoeksvragen betrekking hebben op gevoelige of ongepubliceerde werken. Naast de gewichten heeft Ai2 een voorbeeld‑workflow vrijgegeven in haar ai2-scholarqa-lib GitHub‑repository die onderzoekers kunnen aanpassen om rapporten te genereren uit hun eigen PDF‑bestanden.

Training Data and Filtering

Ai2 begon met Qwen3-8B en bouwde AstaBrief met begeleide fijn-afstemming, gevolgd door directe voorkeuroptimalisatie (DPO). De aankondiging stelt dat het team overwoog training op basis van reinforcement learning, waarvan hun eerdere DR Tulu‑werk had aangetoond dat het de lange‑vorm rapportgeneratie voor open‑weight modellen kan verbeteren, maar ze kozen voor het eenvoudigere recept omdat RL‑training onstabiel en duur kan zijn en het team een opstelling wilde die goedkoper en gemakkelijker te debuggen en itereren was.

Voor snelheid werd AstaBrief getraind om het volledige rapport in één doorgang te schrijven vanuit de gebruikersvraag en opgehaalde fragmenten, waarbij de fragment‑samenvattings‑ en clustering‑stappen die de door Claude aangedreven Thinking mode gebruikt, werden overgeslagen, evenals het schrijven sectie per sectie. Ai2 zegt dat dit mogelijk bleek te zijn zonder concessies te doen aan de prestaties.

De trainings‑pipeline begon met echte gebruikersvragen die via het systeem achter Ai2’s ScholarQA‑framework werden ingediend, dat de rapportgeneratie van Asta ondersteunt. Het team filterde de logs op kwaliteit, relevantie en privacy, verwijderde beta‑testers‑ en bot‑verkeer, liet vragen die te kort waren weg, en gebruikte een LLM‑gebaseerde stap om niet‑Engelse vragen, niet‑wetenschappelijke verzoeken en prompts met persoonlijke informatie te detecteren. Dat liet een pool van 90K onderzoek‑gerichte queries over.

Voor de begeleide fase werden volledige rapportdoelen gegenereerd met de meerstaps ScholarQA‑pipeline, ondersteund door een mix van propriëtaire systemen: Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini en GPT-4.1. Kwaliteitsfiltering leverde 47K bruikbare voorbeelden op. Voor DPO kwamen paren uit een afzonderlijke subset van vragen die niet tijdens de SFT‑datageneratie werden gebruikt: één rapport uit de ScholarQA‑pipeline, meestal ondersteund door Claude 3.5 of 3.7 Sonnet, tegenover een rapport gegenereerd door o3, o4-mini, DeepSeek‑V3 of DeepSeek‑R1. Twee beoordelingsmodellen, GPT-4.1 en DeepSeek‑R1, selecteerden een winnaar voor elk paar. Ai2 zegt dat de beoordelaars 95 percent van de tijd overeenkwamen met menselijke voorkeuren, en alleen paren waarop beide beoordelaars het eens waren werden behouden, waardoor ongeveer 6K definitieve voorbeelden werden geproduceerd. Volgens de modelkaart werd het vrijgegeven model geïnitialiseerd vanuit de AstaBrief-8B‑SFT‑checkpoint en fijn afgestemd op de AstaBrief_DPO_Mix dataset, met DPO‑training uitgevoerd in Ai2’s open‑instruct‑framework op 8 × H100‑GPU’s.

Evaluation Results

Het belangrijkste ontwikkelingsdoel van Ai2 was SQABench‑CS2, dat de aankondiging beschrijft als een verzameling van 200 door gebruikers geschreven computerwetenschappelijke onderzoeksvragen. Het team volgde vier metriek­en: rubric‑score, die meet hoeveel noodzakelijke inhoud een rapport dekt; antwoord‑precisie, die meet of elke alinea relevant is voor de vraag; citatie‑precisie, die meet of elke citatie de bijbehorende bewering ondersteunt; en citatie‑recall, die meet of de beweringen van een rapport volledig worden ondersteund door de gegeven citaties. Secundaire evaluaties maakten gebruik van DeepScholarBench, een benchmark van 63 vragen voor lange‑vorm onderzoeks‑synthese gebouwd op recente arXiv‑papers, plus pairwise‑vergelijkingen met rapporten uit de door Claude aangedreven pipeline.

De aankondiging meldt dat het team vier statistiek‑gebaseerde filters testte op synthetische trainingsrapporten: output‑naar‑input‑token‑ratio, citatie‑relevantie, citatie‑dichtheid en citatie‑diversiteit. Ai2 zegt dat de sterkste winst voortkwam uit het filteren van rapporten met een lage citatie‑dichtheid, terwijl agressievere filtering, filtercombinaties en learning‑rate‑sweeps geen betekenisvolle winst opleverden. Het beschrijft de bredere les als bewijs dat wetenschappelijke specialisatie niet per se draait om het toevoegen van meer wetenschappelijke tekst aan pre‑training, en dat de samenstelling en kwaliteit van post‑training data het gedrag van het uiteindelijke model aanzienlijk kan beïnvloeden.

Ai2 zegt dat vroege SFT-checkpoints de algehele inhoudskwaliteit hebben verbeterd, maar nog steeds achterliepen op de Claude‑aangedreven pijplijn wat betreft antwoordprecisie en citatiekwaliteit, en dat de DPO-fase AstaBrief binnen het bereik van de Claude-pijplijn en DR Tulu bracht voor rapportgeneratie. De modelkaart meldt dat op de ScholarQA‑CS2‑testset AstaBrief‑8B een gemiddelde score van 87 behaalde over de gevolgde metriek, vergeleken met 83,7 voor de SFT-checkpoint en 77,3 voor de basis‑Qwen3‑8B, waarbij AstaBrief‑8B 90,2 scoorde op ingrediënt‑herinnering, 89 op antwoordprecisie, 90,5 op citatie‑precisie en 78,2 op citatie‑herinnering. De kaart meldt ook dat LLM‑beoordeelde winpercentages voor AstaBrief‑8B ten opzichte van de Asta ScholarQA‑pijplijn 55 percent waren op de ontwikkelingsset en 72 percent op de testset, en vermeldt DeepScholarBench‑scores van 53,50 voor AstaBrief‑8B, 60,25 voor Asta ScholarQA en 56,26 voor DR‑Tulu‑8B.

In een aparte menselijk onderzoek beschreven in de aankondiging leverden drie wetenschappelijke onderzoekers elk vier tot vijf vragen binnen een set van 14 vragen en rangschikten rapporten van de drie systemen op algehele voorkeur, volledigheid, relevantie, organisatie en citatie‑nauwkeurigheid, waarbij gelijke scores waren toegestaan. Ai2 meldt dat DR Tulu de hoogste algehele voorkeur behaalde, terwijl twee van de drie onderzoekers AstaBrief verkozen boven de andere systemen op het gebied van citatie‑nauwkeurigheid.

Ai2 waarschuwt dat het grootste deel van de training en evaluatie in 2025 is voltooid, dat de propriëtaire modellen die werden gebruikt om trainingsdata te genereren en als vergelijkingspunten te dienen de stand van de kunst op dat moment weerspiegelen, en dat het de volledige evaluatie niet opnieuw heeft uitgevoerd tegen de huidige toonaangevende modellen.

Vroeg Gebruik en Aangegeven Volgende Stappen

Ai2 meldt dat onder de 374 Asta‑gebruikers die Fast‑modus hebben geprobeerd, 29,1 percent het op twee of meer dagen gebruikten, gebruikers gemiddeld 3,67 rapportthreads genereerden, 23 percent nooit terugschakelde naar Thinking‑modus voor toekomstige threads, en nog eens 18 percent wisselden tussen de modi afhankelijk van hun doelen, waarbij ze Fast‑modus voor ongeveer 40 percent van hun threads gebruikten. Positieve feedback bedroeg 84,2 percent voor Fast‑modus versus 85,2 percent voor Thinking‑modus, wat Ai2 karakteriseert als een vergelijkbaar percentage, terwijl wordt opgemerkt dat feedback over het algemeen te schaars is om sterke conclusies te ondersteunen.

Ai2 zegt dat het meer fijnmazig voorkeur‑leren onderzoekt, sterkere RAG‑plus‑RL‑benaderingen, multi‑turn‑ en multi‑tool‑mogelijkheden, extra wetenschappelijke databronnen en query‑decompositie, samen met evaluaties die testen of een model de bewijslast van zijn bronnen behoudt in plaats van uit te breiden wat de onderliggende studies hebben vastgesteld. De aankondiging plaatst het werk binnen Ai2’s bredere inspanningen op het gebied van wetenschappelijke modellen, inclusief NSF OMAI, een nationale Amerikaanse initiatief geleid door Ai2 om volledig open AI‑infrastructuur en modellen voor wetenschappelijke ontdekking te bouwen, en beschrijft AstaBrief als één experiment in een langere reeks werk dat loopt van ScholarQA en DR Tulu tot toekomstige versies van Olmo.