NVIDIA, 2조 8천억 토큰 규모의 인도계 언어 사전 학습 말뭉치와 개방형 파이프라인 공개

NVIDIA는 IIT Madras 및 산하 AI4Bharat 연구소와 협력해 2026년 10월 16일 Nemotron-pretraining-Indic-v1을 공개했다. 이 말뭉치는 22개 인도 언어로 구성된 약 2조 8천억 토큰 규모의 합성 사전 학습 말뭉치로, 곧 공개될 예정이다. 이와 함께 말뭉치 제작에 사용한 개방형 GPU 가속 데이터 생성 파이프라인도 공개했다.

22개 언어는 인도 헌법에 명시된 언어들이다. 발표에 따르면 이 언어들은 인도인의 97%, 즉 2011년 인구조사 기준 약 12억 명이 사용하는 제1언어다. 게시물의 저자로는 AI4Bharat 연구진인 Mohammed Safi Ur Rahman Khan, Mitesh Khapra, Anoop Kunchukuttan과 NVIDIA의 Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen, Utkarsh Vaidya가 참여했다. AI4Bharat를 이끄는 Khapra는 인도 언어 기술이 영어에 뒤처지는 핵심 원인으로 “인도 언어 데이터가 충분하지 않다”는 점을 꼽았다.

이 파이프라인에는 프롬프트, LLM 워크플로, 품질 검사 등 전체 생성 절차가 담겨 있어 개발자가 자체 원본 자료에 맞게 조정할 수 있다. NVIDIA는 모든 레코드가 선별된 원본 문서로 거슬러 올라갈 수 있으며, 각 결과물은 입력 자료와 대조해 확인한다고 밝혔다.

말뭉치 구성 및 언어 범위

말뭉치는 네이티브 문자 표기 토큰 2,601.0억 개와 로마자 표기 토큰 224.6억 개로 구성되며, Gemma-4 토크나이저로 집계했다. NVIDIA는 이 수치가 학습 실행의 토큰 예산이 아니라 승인된 재작성 결과를 포함한 최종 말뭉치의 규모를 나타내며, 사용한 토크나이저에 따라 달라진다고 설명했다.

34개의 언어·문자 체계 조합을 아우르는 이 말뭉치는 22개 언어 모두에 네이티브 문자 표기 데이터를 제공하고, 그중 12개 언어에는 로마자 표기 텍스트도 제공한다. 네이티브 문자 표기와 로마자 표기를 모두 지원하는 언어는 벵골어, 구자라트어, 힌디어, 칸나다어, 말라얄람어, 마라티어, 네팔어, 오디아어, 펀자브어, 타밀어, 텔루구어, 우르두어다. 나머지 10개 언어는 네이티브 문자 표기 데이터만 제공한다. 아삼어, 보도어, 도그리어, 카슈미르어, 콘카니어, 마이틸리어, 마니푸르어, 산스크리트어, 산탈리어, 신디어가 이에 해당한다.

게시물은 네이티브 문자 표기를 해당 언어의 문자 체계로 쓰되 텍스트 자체는 영어에서 번역한 경우로 정의한다. 로마자 표기는 인도계 언어 텍스트를 라틴 문자로 쓴 것을 뜻한다. 두 가지 문자 표기를 모두 지원하는 12개 언어의 경우, 로마자 표기에는 승인된 네이티브 문자 번역본 중 일부가 포함된다.

두 가지 번역 워크플로

생성 과정은 웹 텍스트, 질의응답 자료, 수학, 코드 및 기타 전문 콘텐츠를 아우르는 Nemotron-CC-v2 하위 집합 15개에 포함된 문서에서 시작한다. NVIDIA의 오픈소스 합성 데이터 프레임워크인 NeMo Data Designer가 번역, 품질 검사, 표적 보정을 수행하며, 전 과정에서 원본 식별자를 유지해 결과물을 원본 문서까지 추적할 수 있도록 한다.

두 가지 문자 표기를 모두 지원하는 12개 언어의 문서는 Google의 Gemma-4-31B-it를 사용해 전체를 번역한다. 팀은 전체 문서를 대상으로 여러 모델을 비교한 뒤 이 모델을 선정했다고 밝혔다. 프롬프트는 번역할 문장과 보존할 콘텐츠를 구분하며, 보존 대상에는 코드, 수식, URL, 서식 등이 포함된다. 그런 다음 같은 모델이 다차원 품질 지표(Multidimensional Quality Metrics) 프레임워크에서 착안한 평가 기준에 따라 각 결과물을 영어 원문과 대조해 의미, 유창성, 용어, 문체, 서식을 평가한다. 100점 만점에 75점 이상을 받은 결과물만 채택하며, 그보다 낮은 점수를 받은 결과물은 평가 피드백을 바탕으로 수정한 뒤 같은 기준으로 다시 평가한다. NVIDIA는 이 보정 과정을 통해 네이티브 문자 표기 및 로마자 표기 데이터에서 토큰 4,384억 개를 복구했으며, 이 수치는 이미 말뭉치 전체 규모에 포함돼 있다고 밝혔다. 또한 표본을 대상으로 한 사람의 검토와 의도적으로 오류를 넣은 테스트를 통해 프롬프트와 검사 절차를 개선했다고 설명했다.

승인된 네이티브 문자 번역본을 별도의 문자 변환 단계에 투입해 로마자 표기 데이터를 만든다. NVIDIA에 따르면, 초기 사람 검토 결과 이 2단계 방식은 영어에서 로마자 표기 텍스트를 바로 생성하는 방식보다 환각으로 추가된 내용이 적고 영어 문장이 남는 경우도 적었다.

나머지 10개 언어는 IIT Madras에서 인큐베이팅한 교육 분야 AI 비영리 연구기관 Bodhan AI의 문서 단위 모델 Indic Translate를 사용해 번역하며, 이 모델은 영어와 22개 인도 언어를 지원한다. Gemma-4-31B-it는 각 번역문을 영어 원문과 대조해 평가한다. 8개 언어에는 문서 전체를 번역하는 방식을 적용한다. 더 긴 산탈리어 문서는 서로 겹치는 구간으로 나눠 번역한 뒤 다시 결합하며, 마니푸르어는 먼저 벵골 문자로 번역한 다음 해당 언어의 네이티브 문자인 메이테이 마예크 문자로 변환한다. 이 워크플로에서도 100점 만점에 75점이라는 기준을 유지하며, 피드백에 기반한 재작성 없이 네이티브 문자 표기 데이터만 생성한다.

계속 학습한 결과

Nemotron 3.5 Super VL 기술 보고서는 인도어 추가 사전학습 직전의 체크포인트와 해당 단계 이후의 체크포인트를 비교합니다. 설정된 학습 토큰 예산은 1,000억 개였으며, 이 가운데 10%(100억 개)는 합성 인도어 텍스트와 자연 인도어 텍스트를 혼합한 데이터에 할당하고, 나머지 90%는 이전 학습 데이터 혼합의 상대적 비율을 유지하는 데 사용했습니다. 보고된 인도어 지식 및 추론 벤치마크 5개, 즉 MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, Indic GSM8K 모두에서 점수가 올랐으며, 상승 폭은 4.98~9.82퍼센트포인트였습니다. NVIDIA는 이 비교가 합성 데이터 코퍼스의 기여도를 따로 분리해 측정한 것이 아니라 합성 및 자연 인도어 데이터를 결합한 학습 단계를 다룬다고 밝혔습니다. 또한 GSM8K 평가에서는 추론 시 입력 가능한 컨텍스트 한도를 초과해 오디아어를 제외했다고 설명했습니다.

게시물에 따르면, 공개된 Nemotron 3.5 Super VL은 지식, 추론, 수학, 코드, 번역을 아우르는 6개 작업 벤치마크 중 5개에서 Nemotron 3 Super보다 높은 점수를 기록했습니다. 반면 IFEval 1.5의 지시 이행 점수는 2.04점 하락했습니다. 또한 인도어로 작성된 어시스턴트형 프롬프트를 대상으로 하는 Sarvam AI의 오픈 벤치마크 IndiVibe에서 유용성, 유창성, 언어 및 문자 체계의 충실도, 적절한 답변 길이 등 4개 평가 항목 모두에서 성능이 향상됐습니다.

NVIDIA는 향후 Nemotron 모델을 개발할 때 이 코퍼스를 기반으로 삼을 계획이라고 밝혔습니다. 또한 복원된 재작성 데이터와 10개 언어 그룹을 포함한 전체 코퍼스의 평가는 통제된 연구를 위해 앞으로 진행해야 할 단계라고 설명했습니다.

이용 가능 여부와 명시된 한계

데이터세트 구성에는 언어, 문자 체계, 지역 태그가 사용됩니다. 예를 들어 hi-Deva-IN은 데바나가리 문자로 표기한 힌디어를, hi-Latn-IN은 로마자로 표기한 힌디어를 나타냅니다. Hugging Face Datasets의 스트리밍 기능을 사용하면 전체 코퍼스를 다운로드하지 않고도 레코드를 살펴볼 수 있습니다. 오픈 소스인 NeMo Data Designer용 Nemotron Bharat 번역 플러그인은 번역 및 평가 프롬프트, 선택적 피드백 기반 재작성, 문서 분할, 문자 체계 변환 기능을 제공합니다.

NVIDIA는 번역이 인도 언어로 처음부터 작성된 텍스트를 대체하지 않으며, 현지의 지식과 문화를 빠짐없이 반영한다고 보장할 수도 없다고 경고합니다. 또한 코퍼스를 적절한 출처에서 확보한 자연 인도어 텍스트와 함께 사용할 것을 권고합니다. 품질 평가는 주로 자동화 방식으로 이루어지며, 언어별로 검토 범위가 다른 표본 추출 방식의 사람 검토가 이를 보완합니다. 12개 언어 작업 흐름에서는 번역기가 평가자 역할도 맡습니다. 게시물은 선별된 텍스트에도 오류가 남아 있을 수 있고, 10개 언어 작업 흐름에는 원어민의 검증을 더 폭넓게 진행할 필요가 있다고 밝혔습니다. 또한 소스 ID를 확인해 처리 과정에서 생긴 중복은 제거하지만, 의미가 유사한 콘텐츠를 의미적으로 중복 제거하지는 않는다고 설명했습니다.

연계 벤치마크 제품군

코퍼스와 함께 IIT 마드라스의 AI4Bharat는 NVIDIA의 지원을 받아 인도어 전반에서 LLM을 평가하기 위한 오프라인 벤치마크 모음인 오픈형 Indic-LLM-Eval-Suite를 선보였습니다. 이 제품군은 계속 발전해 나갈 예정입니다.

첫 번째 버전에는 기존 인도어 벤치마크와 MILU-1.5 및 IndicIFEval-1.5를 비롯한 업데이트 버전, 그리고 8개 역량 범주에 맞게 조정한 영어 벤치마크가 포함됩니다. 8개 범주는 일반 대화, 지시 이행, 수학, STEM, 상식 추론, 지식, 코드, 번역입니다. 각 평가를 NVIDIA NeMo-Gym에 통합해 공통 평가 인터페이스를 제공하면서도 벤치마크별 채점 절차는 그대로 유지합니다.

AI4Bharat에 따르면 MILU를 감사한 결과 질문 누락, 그림 누락, 오역이 발견됐으며, 개정판인 MILU-1.5에서 이를 바로잡았습니다. 또한 IndicIFEval의 평가 코드에서 일부 제약 조건을 잘못 확인하거나 알리지 않은 채 무시하는 문제를 수정했습니다. 이 제품군의 구축 방법론은 벤치마크 특성을 반영한 번역과 자동 품질 평가, 표적 수정, 원어민 검증을 결합합니다.

AI4Bharat는 여러 최신 오픈 웨이트 인도계 언어 모델과 다국어 대규모 언어 모델을 평가 제품군 전반에 걸쳐 평가한 결과, 모든 작업에서 일관되게 가장 우수한 성능을 보이는 단일 모델은 없었다고 밝혔다. 연구소는 이번 초기 공개가 출발점이라고 설명하며, 벤치마크를 추가하고 커뮤니티의 기여를 반영하며, 인도계 언어 LLM의 발전을 지속적으로 추적할 수 있도록 결과를 주기적으로 갱신할 계획이라고 밝혔다.