LlamaIndex, 정확도와 근거 향상을 구현한 Extract V2.5 출시

LlamaIndex는 2026년 10월 1일에 새로운 세대의 스키마 기반 문서 추출 에이전트인 Extract v2.5를 소개했습니다. Adrian Lyjak와 Eli Stewart가 작성한 블로그 게시물에서 회사는 세 가지 추출 티어 모두에서 정확도가 향상되고 최고 두 티어인 Agentic 및 Agentic Plus에 대한 근거가 강화되었으며, 이 향상이 페이지당 가격 인상 없이 이루어졌다고 보고했습니다.

티어별 벤치마크 향상

LlamaIndex는 ExtractBench라는 공개 문서 추출 벤치마크에서 Cost Effective 티어의 전체 F1 점수가 87.1에서 93.9로, Agentic 티어는 89.8에서 95.8로, 가장 높은 정확도를 자랑하는 Agentic Plus 티어는 95.1에서 96.4로 상승했다고 보고했습니다. 회사에 따르면 Cost Effective 티어가 이제 이전 Agentic 티어를 앞서며, Agentic 티어는 이전 Agentic Plus 티어를 앞선다고 합니다.

ExtractBench는 8개 비즈니스 도메인과 67가지 문서 유형에 걸쳐 총 4,869페이지, 370개의 기업 문서를 테스트하며, 각 문서 유형에는 고유한 스키마가 있습니다. LlamaIndex는 공개 데이터셋, 평가 하네스 및 방법론과 함께 이 벤치마크를 공개했으며, 최첨단 VLM, 코딩 에이전트 및 특수 추출 API들을 평가했습니다.

새로운 에이전트 하네스와 구조적 추론

회사에 따르면 v2.5는 문서 추출을 위해 특별히 설계된 새로운 에이전트 하네스 위에서 실행되며, 최신 코딩 에이전트에서 영감을 얻고 모델에 맞춰 비전, 추론, 검증 전반의 오류 모드를 처리하도록 조정되었습니다. LlamaIndex는 이 결과 에이전트가 여러 페이지의 컨텍스트를 교차 참조하고 값을 정확한 출처에 근거시킬 수 있다고 밝혔습니다.

게시물에서 ‘구조적 추론’이라고 부르는 이 기능은 문서 유형, 레이아웃 및 정보 밀도에 따라 추출을 맞춤화하기 위해 문서 표현을 활용합니다. 에이전트는 복잡한 문서에는 더 많은 노력을 들이고, 단순한 문서는 낮은 지연 시간으로 처리합니다. v2.5에서는 팀이 Agentic Plus용 하네스를 Cost Effective 및 Agentic 티어에도 적용하여, 문서 표현, 도구 및 모델 구성을 평가한 후 각 티어의 비용 제한에 맞게 도구와 추출 전략을 조정했습니다. 또한 회사는 에이전트가 스키마와 추출 지침을 따르는 방식을 개선했으며, 최대 3,200개의 필드를 포함하는 작업도 지원한다고 밝혔습니다. 추출된 레코드를 데이터베이스와 매칭하기 위해 레코드 ID가 필수적인 사용자에게는 프롬프트에 이를 명시하도록 권고합니다.

긴 목록, 페이지 간 레코드, 스캔된 양식

긴 목록 작업에서 LlamaIndex는 Cost Effective 티어의 점수가 82.0에서 92.6으로, Agentic 티어는 86.1에서 95.5로, Agentic Plus 티어는 94.5에서 96.3으로 상승했다고 보고했습니다. 회사는 v2.5가 중간 표현을 사용해 전체 데이터셋을 처리하고 출력 결과를 사용자의 스키마에 맞춰 검증한다고 밝혔습니다. 한 예로 17페이지 분량의 펀드 제출서에서 이전 Cost Effective 티어는 238개 보유 자산 중 87개만 반환했지만, v2.5는 전체 238개를 반환해 해당 문서의 추출 점수를 52.8에서 98.7로 끌어올렸다고 합니다.

페이지에 걸친 레코드에서 Cost Effective 티어는 80.3에서 92.0으로, Agentic 티어는 85.5에서 96.5로, Agentic Plus 티어는 93.6에서 96.7으로 점수가 상승했습니다. United Way Worldwide Schedule I 보조금 명세서에서 회사는 Agentic v2.0이 페이지 구분에서 멈춰 보조금 목적과 주소가 불완전하게 남았지만, v2.5는 다음 페이지의 연속 내용을 동일 레코드에 포함한다고 밝혔습니다.

스캔된 양식에서는 Cost Effective 티어가 89.6에서 93.9로, Agentic 티어가 90.9에서 95.7로, Agentic Plus 티어가 94.4에서 96.1로 점수가 상승했습니다. 주석이 달린 W-14 폐기 허가서에서 회사는 이전 Agentic 티어가 검토자의 날짜와 허가 번호를 결합하고 검토자 메모를 담수 깊이 필드에 추가했지만, v2.5는 원래 값과 주석을 스키마가 요구하는 필드로 분리한다고 밝혔습니다.

고급 인용 및 근거

이번 릴리스에서는 Agentic 및 Agentic Plus 티어를 위한 고급 인용 기능을 도입했으며, 이는 문서에 정확히 나타나지 않는 값도 포함해 어려운 필드에 대한 근거 증거의 경계 상자를 찾아냅니다. 초기 버전은 이전에 Agentic Plus에서 제공되었으며, LlamaIndex는 이 기능의 근거 정확도를 더욱 향상시키고 Agentic 티어에도 확대했다고 밝혔습니다. 회사는 ExtractBench 근거 점수가 Agentic에서 46.8에서 80.6으로, Agentic Plus에서 46.4에서 82.2로 상승했다고 보고했습니다. 비교 차트에는 Sonnet 5.5의 63.2, GPT-6 SOL의 77.6, Opus 5.5의 77.5, Reducto Deep Extract의 50.8, Extend Max의 21.8, 그리고 자체 Cost Effective 티어의 54.3이라는 근거 점수가 나와 있습니다.

회사에 따르면 경계 상자 인용은 신뢰도 점수와 결합되어 팀이 자동으로 처리할 추출값과 추가 검토가 필요한 값을 판단하도록 돕고, 인간이 개입하는 워크플로우에서 검토자가 플래그된 값을 원본 문서와 비교 확인할 수 있게 합니다.

스프레드시트 모드 및 제공 여부

v2.5는 기본 스프레드시트 추출 기능을 추가했습니다. 스프레드시트 모드에서는 에이전트가 평탄화된 표현이 아니라 워크북 셀을 직접 다루며, 사용자는 추출 설정에서 이 모드를 활성화할 수 있습니다.

Extract v2.5는 LlamaCloud, llp라는 Go 기반 명령줄 도구, Claude Code와 Codex를 포함한 에이전트 클라이언트를 위한 MCP 서버, 그리고 Python llama-cloud SDK를 통해 제공되며, 여기서 추출 작업은 버전 2.5를 선택하고 cite_sources 및 confidence_scores 옵션을 활성화할 수 있습니다. LlamaIndex는 사용자가 기존 스키마를 사용하여 워크플로를 대표하는 문서에서 v2.5를 실행하도록 권장했으며, 이 버전이 추출 품질에서 크게 향상될 것으로 기대한다고 밝혔습니다. 특히 이전에 수동 정리가 필요했거나 자동화하기에 충분히 신뢰할 수 없었던 문서에 대해 그렇습니다.