NVIDIA, 임베딩·재순위화·파싱을 위한 Nemotron 3.5 오픈 모델 공개

NVIDIA는 2026년 10월 21일 Nemotron Retriever 제품군을 확장해 임베딩, 재순위화, 문서 추출을 위한 신규 오픈 모델을 상업적으로 이용할 수 있도록 공개했다. 여기에는 8B BF16, 1B BF16, 1B NVFP4 변형 모델인 Nemotron 3.5 Embed, Nemotron 3.5 Rerank 8B BF16, 그리고 매개변수 6억 3,100만 개를 갖춘 Nemotron 3.5 Parse가 포함된다.

Hugging Face에 공개된 NVIDIA 작성 발표문에서 회사는 이번 출시가 멀티모달 검색, 관련성 순위 지정, 문서 처리 기능을 추가해 기업의 에이전트 워크플로를 지원한다고 밝혔다. NVIDIA는 검색 품질이 에이전트가 생성하는 답변과 작업의 LLM 추론 비용 모두에 영향을 미치는 요인이라고 설명했다. 근거가 불완전하거나 관련성이 낮은 상태로 반환되면 에이전트가 검색을 더 많이 수행하고 문서를 더 많이 검토하게 되며, 작업을 마치기 전에 추론 토큰을 추가로 소모한다는 것이다.

Embed 및 Rerank의 네 가지 변형은 서로 다른 배포 용도를 지원한다. Nemotron 3.5 Embed 8B BF16은 텍스트와 시각 정보가 풍부한 문서를 대상으로 품질 중심의 검색을 제공하도록 설계됐다. 1B BF16 모델은 8B 모델의 멀티모달 검색 기능을 더 작은 규모로 구현해 멀티모달 색인 및 쿼리 처리에 적합하다. 1B NVFP4 모델은 텍스트 인코더와 이미지 인코더 모두에 NVFP4 양자화를 적용해, 지원 하드웨어에서 대규모 문서 색인 및 높은 처리량의 검색을 목표로 한다. Nemotron 3.5 Rerank 8B BF16은 쿼리와 문서 쌍을 함께 채점해 텍스트 및 이미지 후보의 관련성 순위를 더욱 정교하게 조정하고, 검색 증강 생성과 에이전트 기반 워크플로에 사용할 근거를 선별한다. 검색 대상에는 문서 텍스트뿐 아니라 표, 차트, 인포그래픽, 데이터시트, 회로도와 같은 이미지도 포함된다. NVIDIA는 34개 언어로 텍스트 검색을 평가하고, 18개 언어를 아우르는 MIRACL Vision 및 KoViDoRe를 통해 다국어 시각 검색을 평가했다. 또한 모델이 테스트한 언어 외의 언어도 처리할 수 있다고 설명했다.

에이전트 기반 검색 실험

검색이 에이전트 동작에 미치는 영향을 측정하기 위해 NVIDIA는 ViDoRe v3, BRIGHT, BrowseComp-Plus에서 Nemotron 3.5 Embed와 Rerank를 평가했다. ViDoRe v3는 텍스트와 이미지 입력을 함께 사용하고, BRIGHT와 BrowseComp-Plus는 텍스트 입력만 사용한다. 테스트한 파이프라인에서 에이전트는 검색 도구로 말뭉치를 검색하고, 반환된 근거를 검토한 뒤 후속 쿼리를 조정한다. 테스트 구성에서는 임베딩만 사용하거나 임베딩과 재순위화를 함께 사용하는 설정에서 서로 다른 모델을 적용해 검색 도구의 구현을 바꿨으며, 에이전트의 LLM, 도구, 작업 집합, 말뭉치, 실행 정책은 동일하게 유지했다. 평가에서는 에이전트가 각 작업에 필요한 관련 정보를 찾았는지와 모든 턴에 걸쳐 작업당 에이전트 추론 토큰 총량을 추적했으며, 입력 토큰과 출력 토큰을 모두 집계했다.

NVIDIA에 따르면 파이프라인에 Nemotron 3.5 Rerank를 추가하면 8B 임베딩 모델과 함께 사용할 때 쿼리당 에이전트 기반 토큰 비용이 약 14%, 1B 모델과 함께 사용할 때 13% 감소했으며, 두 구성 모두에서 검색 정확도가 향상됐다. NVIDIA는 8B 임베딩 모델과 함께 사용했을 때 재순위화 모델이 에이전트 기반 토큰 비용은 비슷하면서 Qwen3-VL-Reranker-8B보다 nDCG@10이 약 0.9포인트 높았다고 밝혔다.

리더보드 결과

NVIDIA에 따르면 ViDoRe v3.1에서 Nemotron 3.5 Embed 8B BF16은 nDCG@10 61.17을 기록해 2026년 10월 20일 기준으로 밀집 검색 모델 가운데 1위를 차지했다. 회사는 이 점수가 자사 Llama Nemotron Embed VL 1B 모델의 52.23보다 8.94포인트 높은 수치라고 설명했다. 증류된 1B BF16 모델은 nDCG@10 58.38을 기록했으며, NVIDIA에 따르면 8B 교사 모델 점수의 95.4%를 달성했다. MIRACL Vision에서는 8B 모델이 nDCG@10 72.6을 기록해 Qwen3-VL-Embedding-8B보다 4.3포인트 높았으며, NVIDIA는 두 임베딩 모델 모두 이미지와 텍스트를 함께 입력했을 때 KoViDoRe에서 Qwen 기준 모델을 앞섰다고 밝혔다.

NVIDIA는 MTEB 팀과 함께 이미지 전용, 텍스트 전용, 이미지와 텍스트 결합 입력을 평가하는 ViDoRe v3.1 재순위화 리더보드를 공개한다. NVIDIA에 따르면 재순위화 모델은 결합 입력에서 nDCG@10 60.49를 기록해 59.17을 기록한 Qwen3-VL-Reranker-8B를 앞섰으며, 2026년 10월 20일 기준 해당 리더보드 1위를 차지했다.

처리량 및 도메인별 미세 조정

프로덕션 배포와 관련해 NVIDIA는 NVFP4 변형 모델이 NVIDIA GB200에서 1B BF16 모델보다 처리량이 27.1% 높아 초당 101.3건 대비 128.8건의 문서를 처리한다고 밝혔다. 이미지와 텍스트를 결합한 입력을 사용하는 ViDoRe v3에서 검색 정확도는 BF16 모델의 99.85% 수준을 유지했다. 회사가 RTX PRO 6000 Blackwell Server Edition에서 진행한 테스트에서는 NVIDIA NIM이 초당 쿼리 요청 6,031건을 처리했다. 이는 비슷한 vLLM 구성의 초당 요청 2,099건보다 약 2.9배 높은 수치이며, 패시지 처리량은 비슷한 수준이라고 설명했다.

NVIDIA는 합성 데이터 생성, 하드 네거티브 마이닝, NVIDIA NeMo AutoModel을 활용한 미세 조정, 평가를 하나의 워크플로로 안내하는 멀티모달 임베딩 미세 조정 레시피도 공개했다. 이를 통해 팀은 자체 문서 모음에서 쿼리와 관련성 레이블을 만들 수 있다. NVIDIA가 이 레시피를 자체 테스트할 때는 Qwen3.8-Flash-Next가 생성한 합성 쿼리 8,591개와 차트 및 인포그래픽 이미지 8,202개를 사용했으며, 관련 이미지가 여러 개 있는 열거형 및 개방형 쿼리에 초점을 맞췄다. 쿼리 6,872개를 대상으로 한 번의 에포크 동안 미세 조정한 뒤, 1,719개의 홀드아웃 합성 쿼리에서 1B BF16 모델의 nDCG@10은 37.34에서 44.12로 상승했다. NVIDIA는 이를 상대적 성능 향상 18%라고 설명했다. 8B BF16 모델은 41.44에서 42.75로 상승해 상대적 성능이 3% 향상됐다.

모델 아키텍처 및 학습

8B 임베딩 모델의 경우, NVIDIA는 Ministral-3-8B-Instruct를 기반으로 개발하고 언어 구성 요소를 Nemotron-3-Embed-8B-BF16에서 초기화한 다음, 이미지 및 텍스트 말뭉치에 대조 학습을 적용해 멀티모달 검색용 표현을 만들었습니다. 1B 모델은 코사인 손실과 평균 제곱 오차 손실을 사용해 학생 모델의 임베딩을 교사 모델의 임베딩에 맞추는 방식으로 8B 모델을 증류했으며, 언어 구성 요소는 Nemotron-3-Embed-1B-BF16에서 초기화했습니다. NVIDIA에 따르면 임베딩 학습 중 언어 구성 요소가 고정된 상태로 유지되므로 텍스트 전용 임베딩은 해당 Nemotron 3 Embed 모델의 임베딩과 일치할 것으로 예상됩니다. 따라서 기존 텍스트 임베딩과 벡터 인덱스를 그대로 사용할 수 있습니다.

Nemotron 3.5 Rerank는 8B 임베딩 모델과 동일한 백본 아키텍처를 공유하지만, 쿼리와 문서를 각각 임베딩해 유사도를 산출하는 대신 교차 인코더로 작동하며 각 쿼리-문서 쌍을 함께 인코딩합니다. 그런 다음 다층 퍼셉트론 점수화 헤드가 단일 스칼라 관련성 로짓을 출력합니다. 모든 모델은 공개적으로 이용할 수 있는 데이터와 합성 다국어·멀티모달 데이터를 혼합해 학습했으며, 최종 공개 가중치는 체크포인트 앙상블을 통해 생성했습니다. NVIDIA에 따르면 학습 데이터에 관한 추가 정보는 각 모델의 Hugging Face 모델 카드에서 확인할 수 있습니다.

Nemotron 3.5 Parse

Nemotron 3.5 Parse는 문서 이미지의 의미를 전달하는 구조를 보존하면서 이를 기계가 읽을 수 있는 텍스트로 변환합니다. 모델은 문서 요소와 각 요소의 위치 및 읽기 순서를 감지한 다음, 표와 차트를 Markdown, HTML 표, 구조화된 블록으로 출력합니다. 개발자는 이 결과를 색인화하고 검색하거나 후속 처리에 활용할 수 있습니다. NVIDIA가 공개한 수치에 따르면 Parse는 NVIDIA H100 한 대에서 초당 10.5페이지를 처리하며 ParseBench 점수 75.20을 기록해, 2026년 10월 20일 기준 매개변수가 10억 개 미만인 모델 중 1위를 차지했습니다. ParseBench는 표와 차트 추출, 콘텐츠 충실도, 의미적 서식 지정, 시각적 근거 연결 능력을 평가합니다.

세 가지 추론 모드를 사용하면 같은 모델에서 처리량과 정확도의 균형을 조정할 수 있습니다. 단일 패스는 페이지마다 한 번씩 읽으며, 초당 16.1페이지의 속도로 72.74점을 기록합니다. 이중 패스는 초기 페이지 분석에서 표시된 표와 차트를 다시 살펴보며, 초당 11.2페이지의 속도로 74.92점을 기록합니다. 삼중 패스는 추가 감지 단계를 통해 정교화할 영역을 더 찾아내며, 초당 10.5페이지의 속도로 75.20점을 기록합니다. NVIDIA는 비교 대상 중 다른 어떤 구성도 정확도와 처리량을 동시에 높이지 못한다는 점에서 이 세 가지 작동 지점 모두 자사 비교에서 파레토 최적이라고 설명합니다.

Parse의 학습 데이터에는 기업 문서, 과학 논문, 양식, 표, 차트, 다국어 텍스트가 포함됐으며, 합성 데이터 엔진을 통해 데이터 범위를 넓혔습니다. NVIDIA는 163개의 언어 및 문자 체계 조합을 아우르는 평가 전반에서 강력한 성능을 보였다고 밝혔습니다. NVIDIA는 후속 학습에 그룹 상대 정책 최적화(Group Relative Policy Optimization)를 적용하고, 올바른 구조에는 보상을 주고 실패에는 불이익을 주는 맞춤형 보상 함수를 사용했습니다. NVIDIA에 따르면 이 방식은 반복적인 생성 루프와 닫히지 않은 블록을 줄이고, 표의 일관성을 높이며, 차트 스키마 준수도를 개선했습니다. 또한 NVIDIA는 모델 개선에 공동으로 개발한 오픈 소스 기법이 결정적인 역할을 했다며 LightOn에 감사를 표했습니다.

파트너 평가 및 이용 가능 여부

이번 발표에는 기업 파트너들의 초기 평가가 포함됐습니다. Elastic과 관련해 게시물은 Elasticsearch의 Inference API를 통해 NVIDIA 추론 엔드포인트에서 Nemotron Retriever 임베딩 및 재순위화 모델을 사용할 수 있다고 설명합니다. Nemotron 3는 곧 Elastic Inference Service에 추가될 예정이며, 온프레미스 배포 지원은 로드맵에 포함돼 있습니다. Vectorize는 Hindsight Agent Memory에서 Nemotron 3.5 Embed를 테스트했습니다. 게시물에 따르면 이 모델은 긴 대화 기억력 벤치마크 두 가지에서 1위를 차지했고, LoCoMo에서 recall@10 93.8%, BEAM 100K에서 65.9%를 기록해 경쟁 임베딩 모델 7종을 앞섰으며, MRR과 recall@5에서도 가장 높은 점수를 얻었습니다. Perplexity의 평가에서는 Nemotron 3.5 Rerank 8B가 Perplexity의 비공개 재순위화 벤치마크 72개 작업에서 평균 점수가 가장 높았고, 6개 도메인 모두에서 강력한 결과를 보였습니다. 기업용 PDF 검색 벤치마크에서 8B 임베딩 모델을 테스트한 Turbopuffer는 다음으로 성능이 좋은 모델보다 Recall@20에서 관련 결과를 약 5% 더 많이 찾았다고 보고했으며, 현재 이 모델들을 기본 임베딩 옵션으로 제공하고 있습니다.

가중치, 데이터, 학습 레시피는 Hugging Face에서 이용할 수 있으며, NVIDIA NIM과 AI 클라우드 및 추론 파트너인 Baseten, DeepInfra, FriendliAI를 통해 프로덕션 환경에 배포할 수 있습니다. 임베딩 및 재순위화 파인튜닝 레시피는 NVIDIA NeMo Nemotron GitHub 저장소에 공개돼 있습니다.