Translated、45言語に対応する研究モデル「Lara Mini」を発表

Translatedは2026年11月12日、Lara Miniを発表した。英語とその他44言語（EUの公用語24言語すべてを含む）にまたがる6兆トークンでゼロから学習させた研究モデルだ。72億パラメーターを持つこのシステムは、トークンごとに6億パラメーターだけを稼働させる。

専門家混合アーキテクチャでは、トークンごとにルーティングされた128の専門家のうち4つを稼働させる一方、共有専門家1つは常時稼働する。34層は、Gated DeltaNetによる線形注意層14層、ウィンドウ幅512トークンのスライディングウィンドウ注意層13層、グローバル注意層7層で構成され、完全な注意機構と比べて推論状態の増大を抑えている。初回の学習後、別途1000億トークンを用いた段階を設け、コンテキストウィンドウを4,096トークンから131,072トークンに拡張した。

Translatedは公開されているソースからデータセットを構築し、フィルタリングと重複排除を行って13.8兆トークンのプールにまとめた。初回学習で使われたトークンの97%は、文書を初めて読み込んだ際のものだった。英語は2.49兆トークン（41.4%）を占め、その他44言語は2.18兆トークン（36.4%）を占めた。残りはコード、数学、および教師ありファインチューニング用データのような形式に整えられた例で構成された。

英語への置き換えを検証

別のテストでは、研究者らは同じチェックポイントを使い、学習率をゼロまで減衰させる最終学習段階であるアニーリングを、条件を統制して2回実施した。それぞれ1000億トークンを用いた。多言語データの割合33%分を英語に置き換えると、英語の割合は27%から60%に上昇した。技術レポートによると、英語の開発セット平均スコアはわずか0.3ポイント上昇した一方、対応言語の多言語平均スコアは2.7ポイント低下した。

この実験の対象はアニーリングに限られ、主要な事前学習段階における多言語データの割合の影響は測定していない。別途実施したルーティング分析では、言語ごとに専門家グループを分けるのではなく、言語間で専門家を共有していることが分かった。また、ネットワークの初期層では関連言語のルーティングが似ており、中間層ではほぼ同一だった。著者らは、ルーティングの共有は意味表現の共有を証明するものではなく、今回の実験も、多言語学習が一般的な推論能力や英語の性能を向上させることを実証するものではないと注意を促している。

ベンチマークのスコアとその限界

Translatedは、英語、多言語、数学、コードに関する26のベンチマークで、Lara Miniをほかの公開ベースモデル56種と比較評価した。プロンプト、設定、回答の抽出方法は共通とした。稼働パラメーターが20億以下の36モデルの中で、Lara Miniの総合平均は57.0で、granite-4.0-h-tinyの53.9とQwen3-1.7Bの53.8を上回った。報告された事前学習の総トークン数は、それぞれ22.5兆と36兆で、Lara Miniの初回学習に使われた6兆を上回っていた。

Translatedの評価結果では、Lara Miniはこのクラスのモデルの中で、多言語理解（56.7）と数学（59.9）で1位、英語（66.4）で2位、コード（45.1）で5位となった。総合スコアは4分野の平均を均等に重み付けしており、多言語ベンチマークでは、すべてのモデルについてLara Miniが対応する非英語言語の平均を算出している。比較対象はベースモデルであり、指示調整済みモデルは含まれない。言語によって品質にも差があり、学習データが限られている対応言語の中では、アゼルバイジャン語とベンガル語のスコアが特に低かった。

Translatedの測定では、量子化なしのA100 GPUで1人のユーザーが利用した場合、Lara Miniの生成速度は毎秒約1,100文字だった。速度比較で総合平均スコアがLara Miniを上回ったモデルは、いずれも生成速度が少なくとも1.8倍遅かった。この優位性は、1人のユーザーが長いプロンプトを入力する場合に最も大きく、複数のユーザーがGPUを共有すると縮まる。

研究利用と製品化の計画

公開されたモデルは、指示追従やチャットを行うシステムではなく、テキストを続きを生成するベースモデルであり、安全性調整も施されていない。モデルカードでは、誤った内容や偏見を含む内容、攻撃的な文章を生成する可能性があると警告しており、追加学習なしにアシスタントとして導入すべきではないとしている。

重みへのアクセスには制限があり、申請はすべてTranslatedが審査する。重みは研究およびその他の非商用目的に限りCC BY-NC-SA 4.0でライセンスされ、コードとトークナイザーにはApache 2.0が適用される。Translatedは商用ライセンスを別途提供しており、モデルとともに学習データを公開する予定はない。

Translatedの研究ページによると、選定された法人顧客も利用できるようになる。また、特定用途向けの主権型アプリケーションのファインチューニングを、想定される用途として挙げている。Lara Miniは、次世代のLara Translateを支えることを目的とした基盤モデル群、Lara 4の一部だ。

2026年11月13日に公開された続報によると、Lara Miniは当時、まだLara Translateでは利用できなかった。同社は、次期Lara Translateアプリでオフラインのテキスト翻訳を行うためのベースモデルとして活用する計画で、テキストを端末内に留められるよう、処理はスマートフォン上で実行する予定だった。45言語という数字は学習対象言語を示すものであり、オフライン翻訳の提供開始時に対応する言語は明らかにされていなかった。

このアプリの計画は、研究成果を具体的な製品で検証するものだ。つまり、Translatedの評価で報告された効率性と多言語性能を保ちながら、限られた研究用チェックポイントを、プライバシーに配慮した端末内翻訳へと発展させる。