Ai2 open-sourcer AstaBrief 8B til hurtig videnskabelig rapportgenerering

Allen Institute for AI (Ai2) sagde den 2. oktober 2026, at de open-sourcer AstaBrief 8B, en model der omdanner et forskningsspørgsmål og hentede litteraturuddrag til en citeret rapport, og frigiver modelvægtene og træningsdataene, mens systemet lanceres som Fast‑tilstand i Asta, deres agentbaserede platform for videnskabeligt arbejde.

Fast‑tilstand i Astas rapportgenerering

AstaBrief er tilgængelig i Astas funktion Generer en rapport som Fast‑tilstand, der kører parallelt med den eksisterende Claude-drevne Thinking‑tilstand, ifølge Ai2’s meddelelse. Ai2 siger, at deres mål var at teste, om en lille, open model, der er specifikt trænet til videnskabelig rapportgenerering, kunne matche rapportkvaliteten fra de proprietære modeller, de havde brugt, samtidig med at genereringstiden og driftsomkostningerne reduceres. Ai2 rapporterer, at på tværs af den fulde Asta‑pipeline er Fast‑tilstand i gennemsnit 51.1 sekunder pr. rapport sammenlignet med 178.5 sekunder for Thinking‑tilstand, en forskel de beskriver som omkring 3.5 gange hurtigere og næsten en størrelsesordens reduktion i genereringstid i forhold til de proprietære modeller, de fulgte.

Modelkortet for AstaBrief 8B angiver, at modellen er licenseret under Apache 2.0, er baseret på Qwen3-8B, og er beregnet til forskning og undervisningsbrug i henhold til Ai2’s retningslinjer for ansvarlig brug. Da vægtene er åbne, siger Ai2, at institutioner kan køre modellen på deres egen hardware, også bag deres egen firewall, hvilket de beskriver som nødvendigt, når forskningsspørgsmål berører følsomt eller upubliceret arbejde. Sammen med vægtene frigav Ai2 en eksempelarbejdsgang i deres ai2-scholarqa-lib GitHub‑repository, som forskere kan tilpasse til at generere rapporter fra deres egne PDF‑filer.

Træningsdata og filtrering

Ai2 startede fra Qwen3-8B og byggede AstaBrief med superviseret finjustering efterfulgt af direkte præferenceoptimering (DPO). Meddelelsen siger, at teamet overvejede forstærknings‑læringsbaseret træning, som deres tidligere DR Tulu‑arbejde havde vist kan forbedre langtidsrapportgenerering for open‑weights‑modeller, men valgte den enklere metode, fordi RL‑træning kan være ustabil og dyr, og teamet ønskede en opsætning, der var billigere og lettere at fejlfinde og iterere på.

For hastighed blev AstaBrief trænet til at skrive hele rapporten i ét pass ud fra brugerens forespørgsel og hentede uddrag, og omgåede dermed snippet‑opsummerings‑ og klyngningsstadierne, som den Claude‑baserede Thinking‑tilstand bruger, samt sprang sektion‑for‑sektion‑skrivning over. Ai2 siger, at de fandt dette muligt uden at gå på kompromis med ydeevnen.

Trænings‑pipeline startede med reelle brugerforespørgsler indsendt gennem systemet bag Ai2’s ScholarQA‑ramme, som understøtter Astas rapportgenerering. Teamet filtrerede loggene for kvalitet, relevans og privatliv, fjernede beta‑testere og bot‑trafik, droppede forespørgsler, der var for korte til at være meningsfulde, og brugte et LLM‑baseret trin til at fange ikke‑engelske forespørgsler, ikke‑videnskabelige anmodninger og prompt‑indhold med personlige oplysninger. Det resulterede i en pulje på 90K forskningsorienterede forespørgsler.

I den superviserede fase blev fulde rapportmål genereret med den flertrins ScholarQA‑pipeline, understøttet af en blanding af proprietære systemer: Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini og GPT‑4.1. Kvalitetsfiltrering efterlod 47K brugbare eksempler. Til DPO kom par fra et separat udsnit af forespørgsler, der ikke blev brugt under SFT‑datagenerering: én rapport fra ScholarQA‑pipeline, typisk understøttet af Claude 3.5 eller 3.7 Sonnet, mod en rapport genereret af o3, o4-mini, DeepSeek‑V3 eller DeepSeek‑R1. To dommer‑modeller, GPT‑4.1 og DeepSeek‑R1, udvalgte en vinder for hvert par. Ai2 siger, at dommerne var enige med menneskelige præferencer 95 procent af tiden, og kun de par, hvor begge dommere var enige, blev beholdt, hvilket resulterede i omkring 6K endelige eksempler. Ifølge modelkortet blev den frigivne model initialiseret fra AstaBrief‑8B‑SFT‑checkpointet og finjusteret på AstaBrief_DPO_Mix datasættet, med DPO‑træning udført i Ai2’s open‑instruct‑ramme på 8xH100 GPU’er.

Evalueringsresultater

Ai2’s primære udviklingsmål var SQABench‑CS2, som meddelelsen beskriver som et sæt på 200 brugerskrevne computer‑science‑forskningsspørgsmål. Teamet fulgte fire metrikker: rubrikscore, som måler hvor meget nødvendigt indhold en rapport dækker; svarpræcision, som måler om hvert afsnit er relevant for spørgsmålet; citationspræcision, som måler om hver citation understøtter den tilknyttede påstand; og citations‑recall, som måler om en rapports påstande er fuldt understøttet af de leverede citationer. Sekundære evalueringer brugte DeepScholarBench, et benchmark med 63 forespørgsler for langtidsforskningssynthese bygget på nylige arXiv‑papirer, samt parvise sammenligninger mod rapporter fra den Claude‑drevne pipeline.

Meddelelsen rapporterer, at teamet testede fire statistikbaserede filtre på syntetiske træningsrapporter: output‑til‑input‑token‑ratio, citationsrelevans, citations‑densitet og citations‑diversitet. Ai2 siger, at de største gevinster kom fra at filtrere rapporter med lav citations‑densitet, mens mere aggressiv filtrering, filterkombinationer og lærings‑rate‑sweeps ikke tilførte meningsfulde gevinster. De beskriver den bredere lektie som bevis på, at videnskabelig specialisering ikke nødvendigvis handler om at tilføje mere videnskabelig tekst til fortræning, og at sammensætningen og kvaliteten af post‑træningsdata kan påvirke, hvordan den resulterende model præsterer.

Ai2 oplyser, at tidlige SFT-kontrolpunkter forbedrede den samlede indholdskvalitet, men stadig lå efter den Claude-baserede proces med hensyn til svarpræcision og kildehenvisningernes kvalitet, og at DPO-trinnet bragte AstaBrief tæt på Claude-processen og DR Tulu ved rapportgenerering. Modelkortet angiver, at AstaBrief-8B på testsættet ScholarQA-CS2 opnåede et gennemsnit på 87 på tværs af de fulgte målepunkter, sammenlignet med 83,7 for SFT-kontrolpunktet og 77,3 for basismodellen Qwen3-8B. AstaBrief-8B fik 90,2 for genfinding af indholdselementer, 89 for svarpræcision, 90,5 for kildehenvisningernes præcision og 78,2 for genfinding af kildehenvisninger. Kortet angiver også LLM-bedømte sejrsrater for AstaBrief-8B over Asta ScholarQA-processen på 55 procent på udviklingsdelen og 72 procent på testdelen, samt DeepScholarBench-scorer på 53,50 for AstaBrief-8B, 60,25 for Asta ScholarQA og 56,26 for DR-Tulu-8B.

I en separat menneskelig undersøgelse beskrevet i meddelelsen bidrog tre videnskabelige forskere hver med fire til fem spørgsmål i et sæt på 14 spørgsmål og rangerede rapporter fra de tre systemer efter samlet præference, fuldstændighed, relevans, organisering og citationsnøjagtighed, hvor ligestilling var tilladt. Ai2 rapporterer, at DR Tulu vandt på samlet præference, mens to af de tre forskere foretrak AstaBrief frem for de andre systemer med hensyn til citationsnøjagtighed.

Ai2 advarer om, at størstedelen af træningen og evalueringen blev afsluttet i 2025, at de proprietære modeller, der blev brugt til at generere træningsdata og som sammenligningspunkter, afspejler frontlinjen på det tidspunkt, og at de ikke har gentaget den fulde evaluering mod de nuværende frontlinjemodeller.

Tidlig brug og angivne næste skridt

Ai2 rapporterer, at blandt 374 Asta‑brugere, der har prøvet Fast‑tilstand, brugte 29,1 procent den på to eller flere dage, brugerne genererede i gennemsnit 3,67 rapporttråde, 23 procent vendte aldrig tilbage til Thinking‑tilstand for fremtidige tråde, og yderligere 18 procent skiftede mellem tilstandene afhængigt af deres mål, hvor de brugte Fast‑tilstand for cirka 40 procent af deres tråde. Positiv feedback lå på 84,2 procent for Fast‑tilstand versus 85,2 procent for Thinking‑tilstand, hvilket Ai2 karakteriserer som en lignende rate, mens de bemærker, at feedback generelt er for sparsom til at understøtte stærke konklusioner.

Ai2 siger, at de undersøger mere finmasket præference‑læring, stærkere RAG‑plus‑RL‑tilgange, multi‑turn‑ og multi‑tool‑kapaciteter, yderligere videnskabelige datakilder og forespørgsels‑dekomposition, sammen med evalueringer, der tester, om en model bevarer bevisomfanget fra sine kilder i stedet for at udvide, hvad de underliggende studier fastslog. Meddelelsen placerer arbejdet inden for Ai2’s bredere videnskabelige model‑indsats, herunder NSF OMAI, et amerikansk nationalt initiativ ledet af Ai2 for at bygge fuldt åben AI‑infrastruktur og modeller til videnskabelig opdagelse, og beskriver AstaBrief som et eksperiment i en længere række af arbejde, der strækker sig fra ScholarQA og DR Tulu til fremtidige versioner af Olmo.