Ai2 rende open source AstaBrief 8B per la generazione rapida di report scientifici

L’Allen Institute for AI (Ai2) ha dichiarato il 2 ottobre 2026 di rendere open source AstaBrief 8B, un modello che trasforma una domanda di ricerca e gli estratti di letteratura recuperati in un report citato, rilasciando i pesi del modello e i dati di addestramento mentre il sistema viene lanciato come modalità Fast in Asta, la sua piattaforma agente per il lavoro scientifico.

Modalità Fast nella generazione di report di Asta

AstaBrief è disponibile nella funzionalità Genera un report di Asta come modalità Fast, funzionante accanto alla modalità Thinking alimentata da Claude, secondo l’annuncio di Ai2. Ai2 afferma che il suo obiettivo era verificare se un modello piccolo e open, addestrato specificamente per la generazione di report scientifici, potesse eguagliare la qualità dei report dei modelli proprietari finora utilizzati, riducendo al contempo i tempi di generazione e i costi di servizio. Ai2 riferisce che, nell’intera pipeline di Asta, la modalità Fast ha una media di 51,1 secondi per report rispetto a 178,5 secondi per la modalità Thinking, una differenza descritta come circa 3,5 volte più veloce e quasi un ordine di grandezza di riduzione del tempo di generazione rispetto ai modelli proprietari monitorati.

La scheda modello AstaBrief 8B dichiara che il modello è concesso in licenza Apache 2.0, si basa su Qwen3-8B ed è destinato a usi di ricerca e educativi secondo le Linee Guida per l’Uso Responsabile di Ai2. Poiché i pesi sono open, Ai2 afferma che le istituzioni possono eseguire il modello sul proprio hardware, anche dietro il proprio firewall, considerato necessario quando le domande di ricerca riguardano lavori sensibili o non pubblicati. Oltre ai pesi, Ai2 ha rilasciato un flusso di lavoro di esempio nel suo repository GitHub ai2-scholarqa-lib che i ricercatori possono adattare per generare report dai propri PDF.

Dati di addestramento e filtraggio

Ai2 è partito da Qwen3-8B e ha costruito AstaBrief con un fine-tuning supervisionato seguito da ottimizzazione diretta delle preferenze (DPO). L’annuncio afferma che il team ha valutato un addestramento basato sul reinforcement learning, che il loro precedente lavoro DR Tulu aveva dimostrato potesse migliorare la generazione di report lunghi per modelli a peso aperto, ma ha scelto la ricetta più semplice perché l’addestramento RL può essere instabile e costoso e il team desiderava una configurazione più economica e più facile da debug e iterare.

Per velocità, AstaBrief è stato addestrato a scrivere l’intero report in un unico passaggio a partire dalla query dell’utente e dagli snippet recuperati, evitando le fasi di sintesi e clustering degli snippet utilizzate dalla modalità Thinking basata su Claude e saltando la scrittura sezione per sezione. Ai2 afferma di aver constatato che ciò fosse possibile senza compromettere le prestazioni.

La pipeline di addestramento è iniziata con query reali degli utenti inviate attraverso il sistema dietro il framework ScholarQA di Ai2, che sostiene la generazione di report di Asta. Il team ha filtrato i log per qualità, rilevanza e privacy, rimuovendo il traffico di beta-tester e bot, scartando query troppo brevi per essere significative e utilizzando un passaggio basato su LLM per intercettare query non in inglese, richieste non scientifiche e prompt contenenti informazioni personali. Questo ha lasciato un pool di 90 000 query focalizzate sulla ricerca.

Per la fase supervisionata, gli obiettivi di report completi sono stati generati con la pipeline multi-step ScholarQA supportata da un mix di sistemi proprietari: Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini e GPT-4.1. Il filtraggio di qualità ha lasciato 47 000 esempi utilizzabili. Per il DPO, le coppie provengono da un sottoinsieme separato di query non utilizzate durante la generazione dei dati SFT: un report dalla pipeline ScholarQA, tipicamente supportato da Claude 3.5 o 3.7 Sonnet, contro un report generato da o3, o4-mini, DeepSeek-V3 o DeepSeek-R1. Due modelli giudice, GPT-4.1 e DeepSeek-R1, hanno scelto un vincitore per ogni coppia. Ai2 afferma che i giudici hanno concordato con le preferenze umane nel 95 percento dei casi, e solo le coppie su cui entrambi i giudici hanno concordato sono state mantenute, producendo circa 6 000 esempi finali. Secondo la scheda modello, il modello rilasciato è stato inizializzato dal checkpoint AstaBrief-8B-SFT e affinato su AstaBrief_DPO_Mix dataset, con l’addestramento DPO condotto nel framework open-instruct di Ai2 su 8xH100 GPUs.

Risultati della valutazione

L’obiettivo principale di sviluppo di Ai2 era SQABench-CS2, che l’annuncio descrive come un insieme di 200 domande di ricerca in informatica scritte dagli utenti. Il team ha monitorato quattro metriche: punteggio rubric, che misura quante informazioni necessarie copre un report; precisione delle risposte, che misura se ogni paragrafo è pertinente alla domanda; precisione delle citazioni, che misura se ogni citazione supporta l’affermazione a cui è associata; e richiamo delle citazioni, che misura se le affermazioni di un report sono pienamente supportate dalle citazioni fornite. Le valutazioni secondarie hanno utilizzato DeepScholarBench, un benchmark di 63 query per la sintesi di ricerca a lungo termine basato su recenti articoli arXiv, più confronti a coppie contro i report della pipeline alimentata da Claude.

L’annuncio riferisce che il team ha testato quattro filtri basati su statistiche sui report di addestramento sintetici: rapporto token output/input, rilevanza delle citazioni, densità delle citazioni e diversità delle citazioni. Ai2 afferma che i guadagni più consistenti sono derivati dal filtrare i report con bassa densità di citazioni, mentre filtri più aggressivi, combinazioni di filtri e sweep dei tassi di apprendimento non hanno apportato miglioramenti significativi. Descrive la lezione più ampia come prova che la specializzazione scientifica non è necessariamente una questione di aggiungere più testo scientifico al preaddestramento, e che la composizione e la qualità dei dati post-addestramento possono cambiare materialmente le prestazioni del modello risultante.

Ai2 afferma che i primi checkpoint SFT hanno migliorato la qualità complessiva del contenuto ma sono rimasti indietro rispetto alla pipeline alimentata da Claude in termini di precisione delle risposte e qualità delle citazioni, e che la fase DPO ha portato AstaBrief a livelli comparabili con la pipeline Claude e DR Tulu nella generazione di report. La scheda modello segnala che sul set di test ScholarQA-CS2, AstaBrief-8B ha ottenuto una media di 87 nelle metriche tracciate, rispetto a 83.7 per il checkpoint SFT e 77.3 per il Qwen3-8B di base, con AstaBrief-8B che ha raggiunto 90.2 nel richiamo degli ingredienti, 89 nella precisione delle risposte, 90.5 nella precisione delle citazioni e 78.2 nel richiamo delle citazioni. La scheda riporta inoltre i tassi di vittoria valutati da LLM per AstaBrief-8B contro la pipeline Asta ScholarQA del 55 percento nella divisione di sviluppo e del 72 percento nella divisione di test, e elenca i punteggi DeepScholarBench di 53.50 per AstaBrief-8B, 60.25 per Asta ScholarQA e 56.26 per DR-Tulu-8B.

In un altro studio umano descritto nell’annuncio, tre ricercatori scientifici hanno contribuito con quattro o cinque domande ciascuno all’interno di un set di 14 domande e hanno classificato i report dei tre sistemi in base a preferenza complessiva, completezza, rilevanza, organizzazione e accuratezza delle citazioni, consentendo i pareggi. Ai2 segnala che DR Tulu ha vinto in termini di preferenza complessiva, mentre due dei tre ricercatori hanno preferito AstaBrief rispetto agli altri sistemi per l’accuratezza delle citazioni.

Ai2 avverte che la maggior parte dell’addestramento e della valutazione è stata completata nel 2025, che i modelli proprietari utilizzati per generare i dati di addestramento e come punti di confronto riflettono lo stato dell’arte di quel periodo, e che non ha ripetuto la valutazione completa contro i modelli di frontiera attuali.

Uso Precoce e Prossimi Passi Dichiarati

Ai2 segnala che tra i 374 utenti di Asta che hanno provato la modalità Fast, il 29.1 percento l’ha utilizzata per due o più giorni, gli utenti hanno generato in media 3.67 thread di report, il 23 percento non è mai tornato alla modalità Thinking per i thread futuri, e un ulteriore 18 percento ha alternato le modalità a seconda dei propri obiettivi, utilizzando la modalità Fast per circa il 40 percento dei propri thread. Il feedback positivo è stato dell’84.2 percento per la modalità Fast contro l’85.2 percento per la modalità Thinking, che Ai2 caratterizza come un tasso simile, osservando che il feedback è generalmente troppo scarso per supportare conclusioni solide.

Ai2 afferma di stare esplorando un apprendimento delle preferenze più dettagliato, approcci RAG-plus-RL più robusti, capacità multi-turno e multi-strumento, ulteriori fonti di dati scientifici e la decomposizione delle query, insieme a valutazioni che verificano se un modello preserva l’ambito probatorio delle sue fonti invece di ampliare quanto stabilito dagli studi sottostanti. L’annuncio colloca il lavoro all’interno dei più ampi sforzi di Ai2 sui modelli scientifici, inclusi NSF OMAI, un’iniziativa nazionale statunitense guidata da Ai2 per costruire infrastrutture AI completamente aperte e modelli per la scoperta scientifica, e descrive AstaBrief come un esperimento in una più lunga serie di lavori che vanno da ScholarQA e DR Tulu alle future versioni di Olmo.