Ai2, 빠른 과학 보고서 생성을 위해 AstaBrief 8B를 오픈소스 공개

Allen Institute for AI (Ai2)는 2026년 10월 2일에 AstaBrief 8B를 오픈소스한다고 발표했습니다. 이 모델은 연구 질문과 검색된 문헌 발췌를 인용된 보고서로 전환하는 모델이며, 모델 가중치와 학습 데이터를 공개하고, 해당 시스템은 Asta의 Fast 모드로 실시간 제공됩니다. Asta는 과학 작업을 위한 에이전시 플랫폼입니다.

Asta 보고서 생성의 Fast 모드

AstaBrief는 Asta의 “보고서 생성” 기능에서 Fast 모드로 제공되며, 기존의 Claude 기반 Thinking 모드와 함께 작동한다고 Ai2의 발표에 밝혔습니다. Ai2는 목표가 과학 보고서 생성을 위해 특별히 훈련된 작은 오픈 모델이 기존에 사용하던 독점 모델들의 보고서 품질에 맞출 수 있는지 테스트하면서, 생성 시간과 서비스 비용을 줄이는 것이었다고 말했습니다. Ai2에 따르면 전체 Asta 파이프라인에서 Fast 모드의 평균 보고서 생성 시간은 51.1초이며, Thinking 모드의 178.5초와 비교해 약 3.5배 빠르고, 추적한 독점 모델에 비해 거의 한 자릿수 감소한 생성 시간이라고 설명했습니다.

AstaBrief 8B 모델 카드에 따르면 이 모델은 Apache 2.0 라이선스를 가지고 있으며, Qwen3-8B를 기반으로 하고, Ai2의 책임 있는 사용 가이드라인에 따라 연구 및 교육 목적으로 사용하도록 의도되었습니다. 가중치가 공개되어 있기 때문에 Ai2는 기관들이 자체 하드웨어, 자체 방화벽 뒤에서 모델을 실행할 수 있다고 말했으며, 이는 연구 질문이 민감하거나 아직 공개되지 않은 작업과 관련될 때 필요하다고 설명했습니다. 가중치와 함께 Ai2는 ai2-scholarqa-lib GitHub 저장소에 예시 워크플로를 공개했으며, 연구자들이 이를 자신의 PDF에서 보고서를 생성하도록 맞춤화할 수 있습니다.

학습 데이터 및 필터링

Ai2는 Qwen3-8B를 기반으로 시작하여 감독된 미세조정 후 직접 선호 최적화 (DPO)를 통해 AstaBrief를 구축했습니다. 발표에 따르면 팀은 강화학습 기반 훈련을 고려했으며, 이전 DR Tulu 작업이 오픈 가중치 모델의 장문 보고서 생성에 개선을 가져올 수 있음을 보여주었지만, 강화학습 훈련이 불안정하고 비용이 많이 들며, 팀이 더 저렴하고 디버깅 및 반복이 쉬운 설정을 원했기 때문에 보다 단순한 방식을 선택했다고 합니다.

속도를 위해 AstaBrief는 사용자 질의와 검색된 스니펫을 한 번에 받아 전체 보고서를 작성하도록 훈련되었으며, Claude 기반 Thinking 모드가 사용하는 스니펫 요약 및 클러스터링 단계와 섹션별 작성 과정을 건너뛰었습니다. Ai2는 성능을 손상시키지 않으면서 이것이 가능했음을 발견했다고 말했습니다.

학습 파이프라인은 Asta의 보고서 생성을 뒷받침하는 Ai2의 ScholarQA 프레임워크 뒤에서 제출된 실제 사용자 질의에서 시작되었습니다. 팀은 로그를 품질, 관련성 및 프라이버시 기준으로 필터링하여 베타 테스터 및 봇 트래픽을 제거하고, 의미 없는 짧은 질의를 제외했으며, LLM 기반 검사를 사용해 비영어 질의, 비과학적 요청 및 개인 정보를 포함한 프롬프트를 걸러냈습니다. 그 결과 90K개의 연구 중심 질의 풀이 남았습니다.

감독 단계에서는 다단계 ScholarQA 파이프라인을 사용해 전체 보고서 타깃을 생성했으며, 이는 Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini, 그리고 GPT-4.1 등 다양한 독점 시스템을 기반으로 했습니다. 품질 필터링을 거쳐 47K개의 사용 가능한 예제가 남았습니다. DPO 단계에서는 SFT 데이터 생성에 사용되지 않은 별도의 질의 하위 집합에서 쌍을 만들었으며, 하나는 일반적으로 Claude 3.5 또는 3.7 Sonnet을 기반으로 한 ScholarQA 파이프라인의 보고서이고, 다른 하나는 o3, o4-mini, DeepSeek-V3 또는 DeepSeek-R1이 생성한 보고서였습니다. 두 평가 모델인 GPT-4.1과 DeepSeek-R1이 각 쌍에서 승자를 선정했습니다. Ai2에 따르면 평가자들은 95%의 경우 인간 선호와 일치했으며, 두 평가자가 모두 동의한 쌍만을 유지해 약 6K개의 최종 예제가 만들어졌습니다. 모델 카드에 따르면, 공개된 모델은 AstaBrief-8B-SFT 체크포인트에서 초기화된 뒤 해당 데이터셋으로 미세조정되었습니다. AstaBrief_DPO_Mix 데이터셋에 대해 DPO 훈련은 Ai2의 open-instruct 프레임워크에서 8xH100 GPU를 사용해 수행되었습니다.

평가 결과

Ai2의 주요 개발 목표는 SQABench-CS2였으며, 발표에 따르면 이는 200개의 사용자가 직접 작성한 컴퓨터 과학 연구 질문 집합이라고 합니다. 팀은 네 가지 지표를 추적했습니다: 루브릭 점수(보고서가 필요한 내용을 얼마나 포괄하는지 측정), 답변 정확도(각 단락이 질문과 관련 있는지 측정), 인용 정확도(각 인용이 해당 주장을 뒷받침하는지 측정), 인용 재현율(보고서의 주장이 제공된 인용으로 완전히 뒷받침되는지 측정). 부가 평가로는 최근 arXiv 논문을 기반으로 만든 63개 질의의 장문 연구 종합 벤치마크인 DeepScholarBench와 Claude 기반 파이프라인 보고서와의 쌍별 비교를 사용했습니다.

발표에 따르면 팀은 합성 학습 보고서에 네 가지 통계 기반 필터를 테스트했습니다: 출력 대비 입력 토큰 비율, 인용 관련성, 인용 밀도, 인용 다양성. Ai2는 가장 큰 향상이 낮은 인용 밀도를 가진 보고서를 필터링함으로써 얻어졌으며, 보다 공격적인 필터링, 필터 조합 및 학습률 스위프는 의미 있는 향상을 가져오지 못했다고 밝혔습니다. 이는 과학적 전문화가 반드시 사전 학습에 더 많은 과학 텍스트를 추가하는 문제는 아니며, 사후 학습 데이터의 구성과 품질이 모델 성능에 실질적인 변화를 줄 수 있다는 교훈이라고 설명했습니다.

Ai2는 초기 SFT 체크포인트가 전체 콘텐츠 품질을 개선했지만 답변 정확도와 인용 품질 면에서 Claude 기반 파이프라인에 여전히 뒤처졌으며, DPO 단계가 AstaBrief를 Claude 파이프라인 및 DR Tulu와 보고서 생성 측면에서 비슷한 수준으로 끌어올렸다고 밝혔습니다. 모델 카드에 따르면 ScholarQA‑CS2 테스트 세트에서 AstaBrief‑8B는 추적된 메트릭에서 평균 87점을 기록했으며, 이는 SFT 체크포인트의 83.7점과 기본 Qwen3‑8B의 77.3점에 비해 높은 수치입니다. AstaBrief‑8B는 성분 회수율 90.2점, 답변 정확도 89점, 인용 정확도 90.5점, 인용 회수율 78.2점을 기록했습니다. 카드에는 또한 AstaBrief‑8B가 Asta ScholarQA 파이프라인에 대해 개발 분할에서는 55%, 테스트 분할에서는 72%의 LLM 판단 승률을 보였으며, DeepScholarBench 점수는 AstaBrief‑8B 53.50점, Asta ScholarQA 60.25점, DR‑Tulu‑8B 56.26점으로 나타났습니다.

발표에서 별도로 진행된 인간 연구에 따르면, 세 명의 과학 연구자가 각각 14문항 중 4~5개의 질문을 기여하고 세 시스템의 보고서를 전체 선호도, 완전성, 관련성, 조직성, 인용 정확도 측면에서 평가했으며, 동점도 허용되었습니다. Ai2는 DR Tulu가 전체 선호도에서 우승했으며, 세 연구자 중 두 명은 인용 정확도 측면에서 다른 시스템보다 AstaBrief를 선호했다고 보고했습니다.

Ai2는 대부분의 훈련 및 평가가 2025년에 완료되었으며, 훈련 데이터 생성을 위해 사용된 독점 모델과 비교 대상 모델이 당시의 최첨단을 반영하고 있고, 현재 최첨단 모델에 대해 전체 평가를 다시 실행하지 않았다고 주의했습니다.

초기 사용 및 향후 계획

Ai2는 Fast 모드를 사용해 본 374명의 Asta 사용자 중 29.1%가 두 번 이상 사용했으며, 사용자는 평균 3.67개의 보고서 스레드를 생성했고, 23%는 향후 스레드에서 Thinking 모드로 전환하지 않았으며, 또 다른 18%는 목표에 따라 모드를 번갈아 사용해 전체 스레드의 약 40%를 Fast 모드로 진행했다고 보고했습니다. Fast 모드에 대한 긍정적 피드백은 84.2%였으며 Thinking 모드는 85.2%였으며, Ai2는 두 비율이 비슷하다고 평가하면서도 피드백이 전반적으로 너무 적어 강력한 결론을 내리기에는 부족하다고 언급했습니다.

Ai2는 보다 세분화된 선호 학습, 강력한 RAG‑plus‑RL 접근법, 다중 턴 및 다중 도구 기능, 추가 과학 데이터 소스, 질의 분해 등을 탐색하고 있으며, 모델이 근거 범위를 유지하는지 여부를 테스트하는 평가도 진행 중이라고 밝혔습니다. 이번 발표는 Ai2의 광범위한 과학 모델 노력의 일환으로, NSF OMAI와 같은 미국 국가 이니셔티브를 포함해 과학 발견을 위한 완전 개방형 AI 인프라와 모델을 구축하는 작업에 해당하며, AstaBrief를 ScholarQA와 DR Tulu에서 향후 Olmo 버전까지 이어지는 긴 작업 라인 중 하나의 실험으로 설명했습니다.