Translated, 45개 언어 연구 모델 Lara Mini 공개

Translated는 2026년 11월 12일 Lara Mini를 발표했다. 영어와 다른 44개 언어를 아우르는 6조 개 토큰으로 처음부터 학습한 연구 모델로, EU 공식 언어 24개를 모두 포함한다. 이 시스템의 매개변수는 72억 개이며, 토큰당 활성화되는 매개변수는 6억 개뿐이다.

전문가 혼합 아키텍처는 토큰마다 라우팅된 전문가 128개 중 4개를 활성화하고, 공유 전문가 1개는 계속 활성 상태로 유지한다. 34개 레이어는 Gated DeltaNet 선형 어텐션 레이어 14개, 512토큰 윈도를 사용하는 슬라이딩 윈도 어텐션 레이어 13개, 전역 어텐션 레이어 7개로 구성돼 전체 어텐션에 비해 추론 상태의 증가를 억제한다. 초기 학습이 끝난 뒤 별도의 1,000억 토큰 단계에서 컨텍스트 윈도를 4,096토큰에서 131,072토큰으로 확장했다.

Translated는 공개된 자료를 바탕으로 데이터 세트를 구축하고, 이를 필터링하고 중복을 제거해 13조 8,000억 토큰 규모의 풀을 만들었다. 초기 학습 토큰의 97%는 문서를 처음 읽을 때 나온 것이었다. 영어 데이터는 2조 4,900억 토큰으로 41.4%를 차지했고, 나머지 44개 언어 데이터는 2조 1,800억 토큰으로 36.4%를 차지했다. 나머지는 코드, 수학 자료, 지도 미세 조정 데이터와 같은 형식으로 구성된 예시가 채웠다.

영어 데이터 대체 실험

별도의 실험에서 연구진은 동일한 체크포인트를 사용해 1,000억 토큰 규모의 어닐링을 두 차례 통제된 방식으로 진행했다. 어닐링은 학습률이 0으로 감소하는 최종 학습 단계다. 다국어 데이터 비중 33%를 영어로 대체하자 영어 비중은 27%에서 60%로 늘었다. 기술 보고서에 따르면 영어 개발 데이터 평균 점수는 0.3포인트 오르는 데 그쳤고, 지원 언어의 다국어 평균 점수는 2.7포인트 하락했다.

이 실험은 어닐링 단계에만 적용되며, 주요 사전 학습 단계에서 다국어 데이터 비중이 미치는 영향은 측정하지 않는다. 별도의 라우팅 분석에서는 언어별로 전문가 그룹을 따로 배정하는 것이 아니라 언어들이 전문가를 공유하는 것으로 나타났다. 네트워크 초기에는 서로 관련된 언어들이 비슷한 방식으로 라우팅됐고, 중간 레이어에서는 라우팅 방식이 거의 동일했다. 저자들은 라우팅을 공유한다고 해서 의미 표현도 공유한다는 뜻은 아니라고 주의를 당부하며, 이번 실험으로 다국어 학습이 일반적인 추론 능력이나 영어 성능을 향상한다는 점이 입증된 것은 아니라고 밝혔다.

벤치마크 점수와 그 한계

Translated는 일반 프롬프트와 설정, 답변 추출 방식을 사용해 영어, 다국어, 수학, 코드 벤치마크 26개에서 Lara Mini와 다른 오픈 기반 모델 56개를 평가했다. 활성 매개변수가 최대 20억 개인 모델 36개 가운데 Lara Mini의 전체 평균은 57.0으로, granite-4.0-h-tiny의 53.9와 Qwen3-1.7B의 53.8을 앞섰다. 이들 모델이 보고한 사전 학습 토큰 총량은 각각 22조 5,000억 개와 36조 개로, Lara Mini의 초기 학습에 사용된 6조 개보다 많았다.

Translated가 발표한 결과에서 Lara Mini는 다국어 이해도 56.7점, 수학 59.9점으로 해당 모델군 1위를 차지했고, 영어는 66.4점으로 2위, 코드는 45.1점으로 5위를 기록했다. 전체 점수는 네 분야 평균에 동일한 가중치를 적용하며, 다국어 벤치마크의 경우 모든 모델에 대해 Lara Mini가 지원하는 비영어 언어의 평균을 산출한다. 이 비교에는 지시 미세 조정 모델이 아니라 기반 모델이 포함됐다. 언어별 성능에도 차이가 있으며, 학습 데이터가 제한적인 아제르바이잔어와 벵골어는 지원 언어 가운데 점수가 가장 낮은 편이었다.

Translated가 측정한 Lara Mini의 생성 속도는 A100 GPU에서 양자화 없이 사용자 1명만 사용할 때 초당 약 1,100자였다. 속도 비교에서 전체 평균 점수가 더 높았던 모든 모델은 텍스트 생성 속도가 최소 1.8배 느렸다. 이점은 사용자 1명이 긴 프롬프트를 사용하는 경우 가장 컸으며, 여러 사용자가 GPU를 공유하면 그 차이는 줄어든다.

연구 접근 및 제품 계획

공개된 모델은 지시를 따르거나 대화하는 시스템이 아니라 텍스트 이어쓰기용 기반 모델이며, 안전성 조정도 거치지 않았다. 모델 카드는 모델이 틀리거나 편향되거나 불쾌감을 주는 텍스트를 생성할 수 있다고 경고하며, 추가 학습 없이 어시스턴트로 배포해서는 안 된다고 안내한다.

가중치에 접근하려면 승인을 받아야 하며, 각 요청은 Translated가 검토한다. 가중치에는 연구 및 기타 비상업적 목적에 한해 CC BY-NC-SA 4.0 라이선스가 적용되고, 코드와 토크나이저에는 Apache 2.0 라이선스가 적용된다. Translated는 상업용 라이선스를 별도로 제공하며, 모델과 함께 학습 데이터는 공개하지 않는다.

Translated의 연구 페이지에 따르면 일부 기업 고객도 모델을 사용할 수 있으며, 전문 분야의 주권형 애플리케이션을 위한 미세 조정이 활용 목적 가운데 하나다. Lara Mini는 차세대 Lara Translate를 구동하기 위해 개발된 기반 모델 제품군인 Lara 4의 일부다.

2026년 11월 13일에 공개된 후속 발표에 따르면 Lara Mini는 아직 Lara Translate에서 사용할 수 없었다. 회사는 다음 Lara Translate 앱에서 오프라인 텍스트 번역의 기반 모델로 Lara Mini를 사용할 계획이었다. 텍스트가 기기 밖으로 나가지 않도록 휴대전화에서 처리하는 방식이다. 45개 언어라는 수치는 학습 범위를 나타내며, 오프라인 번역 출시 시 지원할 언어는 명시되지 않았다.

계획 중인 앱은 연구를 구체적인 제품 시험으로 이어간다. 즉, Translated의 평가에서 보고된 효율성과 다국어 성능을 유지하면서, 정보가 제한된 연구용 체크포인트를 기기 내에서 작동하는 비공개 번역 기능으로 전환하는 것이다.