Ai2 Membuka Sumber AstaBrief 8B untuk Pembuatan Laporan Ilmiah Cepat

Allen Institute for AI (Ai2) mengatakan pada 2 Oktober 2026 bahwa mereka membuka sumber AstaBrief 8B, sebuah model yang mengubah pertanyaan penelitian dan kutipan literatur yang diambil menjadi laporan yang disitasi, merilis bobot model dan data pelatihan seiring sistem diluncurkan sebagai Mode Cepat di Asta, platform agenik mereka untuk pekerjaan ilmiah.

Mode Cepat dalam Pembuatan Laporan Asta

AstaBrief tersedia dalam fitur Generate a report di Asta sebagai Mode Cepat, berjalan bersamaan dengan Mode Thinking yang didukung Claude yang ada, menurut pengumuman Ai2. Ai2 mengatakan tujuan mereka adalah menguji apakah model kecil yang terbuka dan dilatih khusus untuk pembuatan laporan ilmiah dapat menyamai kualitas laporan dari model proprietari yang mereka gunakan sambil mengurangi waktu pembuatan dan biaya layanan. Ai2 melaporkan bahwa di seluruh pipeline Asta, Mode Cepat rata‑rata memakan 51.1 detik per laporan dibandingkan dengan 178.5 detik untuk Mode Thinking, selisih yang mereka gambarkan sebagai sekitar 3.5 kali lebih cepat dan hampir satu orde besarnya pengurangan waktu pembuatan dibandingkan model proprietari yang dipantau.

The kartu model AstaBrief 8B menyatakan bahwa model ini dilisensikan di bawah Apache 2.0, berbasis Qwen3-8B, dan ditujukan untuk penggunaan penelitian dan pendidikan sesuai Pedoman Penggunaan Bertanggung Jawab Ai2. Karena bobotnya terbuka, Ai2 mengatakan institusi dapat menjalankan model ini pada perangkat keras mereka sendiri, termasuk di balik firewall mereka, yang mereka gambarkan sebagai diperlukan ketika pertanyaan penelitian menyentuh pekerjaan sensitif atau yang belum dipublikasikan. Selain bobot, Ai2 merilis alur kerja contoh di repositori GitHub ai2-scholarqa-lib yang dapat disesuaikan oleh peneliti untuk menghasilkan laporan dari PDF mereka sendiri.

Data Pelatihan dan Penyaringan

Ai2 memulai dari Qwen3-8B dan membangun AstaBrief dengan fine‑tuning terawasi diikuti oleh optimisasi preferensi langsung (DPO). Pengumuman tersebut menyatakan tim mempertimbangkan pelatihan berbasis reinforcement learning, yang pekerjaan DR Tulu sebelumnya telah menunjukkan dapat meningkatkan pembuatan laporan bentuk panjang untuk model dengan bobot terbuka, namun memilih resep yang lebih sederhana karena pelatihan RL dapat tidak stabil dan mahal serta tim menginginkan konfigurasi yang lebih murah dan lebih mudah untuk debug serta iterasi.

Untuk kecepatan, AstaBrief dilatih untuk menulis laporan lengkap dalam satu langkah langsung dari pertanyaan pengguna dan potongan teks yang diambil, melewati tahap penyaringan dan pengelompokan potongan yang digunakan oleh Mode Thinking berbasis Claude serta melewatkan penulisan per bagian. Ai2 mengatakan mereka menemukan hal ini memungkinkan tanpa mengorbankan kinerja.

Pipeline pelatihan dimulai dengan kueri pengguna nyata yang dikirim melalui sistem di balik kerangka kerja ScholarQA milik Ai2, yang menjadi dasar pembuatan laporan Asta. Tim menyaring log untuk kualitas, relevansi, dan privasi, menghapus lalu lintas beta‑tester dan bot, menyingkirkan kueri yang terlalu pendek untuk bermakna, serta menggunakan proses berbasis LLM untuk menangkap kueri non‑Inggris, permintaan non‑ilmiah, dan prompt yang berisi informasi pribadi. Hal itu menghasilkan kumpulan 90K kueri yang berfokus pada penelitian.

Untuk tahap terawasi, target laporan lengkap dihasilkan dengan pipeline ScholarQA multi‑langkah yang didukung oleh campuran sistem proprietari: Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini, dan GPT‑4.1. Penyaringan kualitas menyisakan 47K contoh yang dapat digunakan. Untuk DPO, pasangan diambil dari subset kueri terpisah yang tidak digunakan selama pembuatan data SFT: satu laporan dari pipeline ScholarQA, biasanya didukung oleh Claude 3.5 atau 3.7 Sonnet, melawan laporan yang dihasilkan oleh o3, o4-mini, DeepSeek‑V3, atau DeepSeek‑R1. Dua model penilai, GPT‑4.1 dan DeepSeek‑R1, memilih pemenang untuk setiap pasangan. Ai2 mengatakan penilai setuju dengan preferensi manusia 95 persen waktu, dan hanya pasangan yang disetujui kedua penilai yang dipertahankan, menghasilkan sekitar 6K contoh akhir. Menurut kartu model, model yang dirilis diinisialisasi dari checkpoint AstaBrief-8B-SFT dan di‑fine‑tune pada AstaBrief_DPO_Mix dataset, dengan pelatihan DPO dilakukan dalam kerangka kerja open‑instruct milik Ai2 pada 8xH100 GPUs.

Hasil Evaluasi

Target pengembangan utama Ai2 adalah SQABench‑CS2, yang dalam pengumuman digambarkan sebagai sekumpulan 200 pertanyaan penelitian ilmu komputer yang ditulis oleh pengguna. Tim melacak empat metrik: skor rubrik, yang mengukur seberapa banyak konten penting yang dicakup laporan; presisi jawaban, yang mengukur apakah setiap paragraf relevan dengan pertanyaan; presisi sitasi, yang mengukur apakah setiap sitasi mendukung klaim yang terkait; dan recall sitasi, yang mengukur apakah klaim laporan sepenuhnya didukung oleh sitasi yang diberikan. Evaluasi sekunder menggunakan DeepScholarBench, sebuah benchmark 63 kueri untuk sintesis penelitian bentuk panjang yang dibangun dari makalah arXiv terbaru, serta perbandingan berpasangan terhadap laporan dari pipeline berbasis Claude.

Pengumuman tersebut melaporkan bahwa tim menguji empat filter berbasis statistik pada laporan pelatihan sintetis: rasio token output‑to‑input, relevansi sitasi, kepadatan sitasi, dan keragaman sitasi. Ai2 mengatakan peningkatan terbesar berasal dari penyaringan laporan dengan kepadatan sitasi rendah, sementara penyaringan yang lebih agresif, kombinasi filter, dan penyapuan learning‑rate tidak memberikan peningkatan yang berarti. Mereka menggambarkan pelajaran yang lebih luas sebagai bukti bahwa spesialisasi ilmiah tidak selalu bergantung pada penambahan lebih banyak teks ilmiah pada pra‑pelatihan, dan bahwa komposisi serta kualitas data pasca‑pelatihan dapat secara material mengubah kinerja model yang dihasilkan.

Ai2 mengatakan checkpoint SFT awal meningkatkan kualitas konten secara keseluruhan tetapi masih tertinggal dibandingkan pipeline yang didukung Claude dalam hal presisi jawaban dan kualitas sitasi, serta bahwa tahap DPO membawa AstaBrief ke dalam kisaran pipeline Claude dan DR Tulu dalam pembuatan laporan. Kartu model melaporkan bahwa pada set tes ScholarQA-CS2, AstaBrief-8B memperoleh rata-rata 87 pada metrik yang dilacak, dibandingkan dengan 83.7 untuk checkpoint SFT dan 77.3 untuk Qwen3-8B dasar, dengan AstaBrief-8B mencetak 90.2 pada recall bahan, 89 pada presisi jawaban, 90.5 pada presisi sitasi, dan 78.2 pada recall sitasi. Kartu tersebut juga melaporkan tingkat kemenangan yang dinilai LLM untuk AstaBrief-8B melawan pipeline Asta ScholarQA sebesar 55 persen pada split pengembangan dan 72 persen pada split tes, serta mencantumkan skor DeepScholarBench sebesar 53.50 untuk AstaBrief-8B, 60.25 untuk Asta ScholarQA, dan 56.26 untuk DR-Tulu-8B.

Dalam studi manusia terpisah yang dijelaskan dalam pengumuman, tiga peneliti ilmiah masing-masing menyumbangkan empat hingga lima pertanyaan dalam satu set 14 pertanyaan dan memberi peringkat laporan dari tiga sistem berdasarkan preferensi keseluruhan, kelengkapan, relevansi, organisasi, dan akurasi sitasi, dengan hasil seri diizinkan. Ai2 melaporkan bahwa DR Tulu menang dalam preferensi keseluruhan, sementara dua dari tiga peneliti lebih memilih AstaBrief dibandingkan sistem lain dalam akurasi sitasi.

Ai2 memperingatkan bahwa sebagian besar pelatihan dan evaluasi selesai pada tahun 2025, bahwa model proprietari yang digunakan untuk menghasilkan data pelatihan dan menjadi titik perbandingan mencerminkan frontier pada saat itu, dan bahwa mereka belum menjalankan kembali evaluasi penuh terhadap model frontier terkini.

Penggunaan Awal dan Langkah Selanjutnya yang Dinyatakan

Ai2 melaporkan bahwa di antara 374 pengguna Asta yang telah mencoba mode Fast, 29.1 persen menggunakannya selama dua hari atau lebih, pengguna menghasilkan rata-rata 3.67 thread laporan, 23 persen tidak pernah beralih kembali ke mode Thinking untuk thread selanjutnya, dan 18 persen lainnya bergantian antara mode tergantung pada tujuan mereka, menggunakan mode Fast untuk kira-kira 40 persen dari thread mereka. Umpan balik positif tercatat sebesar 84.2 persen untuk mode Fast dibandingkan 85.2 persen untuk mode Thinking, yang Ai2 gambarkan sebagai tingkat yang serupa sambil mencatat bahwa umpan balik umumnya terlalu jarang untuk mendukung kesimpulan yang kuat.

Ai2 mengatakan bahwa mereka sedang mengeksplorasi pembelajaran preferensi yang lebih halus, pendekatan RAG-plus-RL yang lebih kuat, kemampuan multi-turn dan multi-tool, sumber data ilmiah tambahan, serta dekomposisi kueri, bersama dengan evaluasi yang menguji apakah sebuah model mempertahankan ruang lingkup bukti dari sumbernya alih-alih memperluas apa yang telah ditetapkan oleh studi dasar. Pengumuman tersebut menempatkan pekerjaan ini dalam upaya model ilmiah yang lebih luas dari Ai2, termasuk NSF OMAI, sebuah inisiatif nasional AS yang dipimpin oleh Ai2 untuk membangun infrastruktur AI terbuka sepenuhnya dan model untuk penemuan ilmiah, dan menggambarkan AstaBrief sebagai satu eksperimen dalam rangkaian kerja yang lebih panjang mulai dari ScholarQA dan DR Tulu hingga versi Olmo di masa depan.