Translated vydává Lara Mini, výzkumný model pro 45 jazyků

Translated oznámila model Lara Mini 12. listopadu 2026. Jde o výzkumný model natrénovaný od základů na 6 bilionech tokenů v angličtině a dalších 44 jazycích, včetně všech 24 úředních jazyků EU. Systém se 7,2 miliardy parametrů aktivuje pro každý token pouze 600 milionů parametrů.

Architektura typu mixture of experts aktivuje pro každý token čtyři ze 128 směrovaných expertů, přičemž jeden sdílený expert zůstává aktivní. Jeho 34 vrstev tvoří 14 vrstev lineární pozornosti Gated DeltaNet, 13 vrstev pozornosti s posuvným oknem o velikosti 512 tokenů a sedm vrstev globální pozornosti. Tím se omezuje nárůst stavu při inferenci ve srovnání s plnou pozorností. Po úvodním tréninkovém běhu rozšířila samostatná fáze se 100 miliardami tokenů kontextové okno ze 4 096 na 131 072 tokenů.

Společnost Translated sestavila datovou sadu z veřejně zveřejněných zdrojů, které filtrovala a deduplikovala, čímž vytvořila soubor o 13,8 bilionu tokenů; 97 % tokenů v počátečním tréninku pocházelo z prvního přečtení dokumentu. Angličtina představovala 2,49 bilionu tokenů, tedy 41,4 %, zatímco dalších 44 jazyků dohromady 2,18 bilionu, tedy 36,4 %. Zbytek tvořil kód, matematika a příklady naformátované jako data pro řízené dolaďování.

Testování nahrazení angličtinou

V samostatném testu výzkumníci použili stejný kontrolní bod pro dva kontrolované závěrečné tréninkové běhy po 100 miliardách tokenů, v nichž se rychlost učení postupně snižuje až na nulu. Nahrazení 33% vícejazyčného podílu angličtinou zvýšilo podíl angličtiny z 27 % na 60 %. Technická zpráva uvádí, že průměrné skóre v anglické vývojové sadě vzrostlo pouze o 0,3 bodu, zatímco vícejazyčný průměr pro podporované jazyky klesl o 2,7 bodu.

Experiment se týká pouze závěrečné fáze tréninku; neměří vliv vícejazyčného podílu během hlavní fáze předtrénování. Samostatná analýza směrování zjistila, že jazyky sdílejí experty, místo aby každý dostal vlastní skupinu expertů. Příbuzné jazyky vykazovaly na začátku sítě podobné směrování a ve středních vrstvách téměř totožné. Autoři upozorňují, že sdílené směrování nedokládá sdílené sémantické reprezentace a že jejich experimenty neprokazují, že vícejazyčný trénink zlepšuje obecné uvažování nebo výkon v angličtině.

Výsledky benchmarků a jejich omezení

Translated vyhodnotila Lara Mini ve srovnání s 56 dalšími otevřenými základními modely ve 26 benchmarcích zaměřených na angličtinu, vícejazyčnost, matematiku a kód. Použila přitom stejné prompty, nastavení i způsob extrakce odpovědí. Mezi 36 modely s nejvýše 2 miliardami aktivních parametrů dosáhla Lara Mini celkového průměru 57,0, čímž předčila granite-4.0-h-tiny s 53,9 a Qwen3-1.7B s 53,8. Jejich uváděné objemy předtrénování činily 22,5 bilionu, respektive 36 bilionů tokenů, oproti 6 bilionům tokenů v úvodním tréninkovém běhu modelu Lara Mini.

Podle výsledků společnosti Translated dosáhla Lara Mini v této kategorii prvního místa v porozumění více jazykům se skóre 56,7 a v matematice se skóre 59,9, druhého místa v angličtině se skóre 66,4 a pátého místa v kódování se skóre 45,1. Celkové skóre přikládá průměrům ve čtyřech oblastech stejnou váhu. Vícejazyčné benchmarky se u všech modelů průměrují přes neanglické jazyky podporované modelem Lara Mini. Srovnání zahrnuje základní modely, nikoli systémy doladěné podle instrukcí. Kvalita se navíc v jednotlivých jazycích liší; k jazykům s nejnižším skóre patří ázerbájdžánština a bengálština, pro něž je k dispozici jen omezené množství trénovacích dat.

Translated naměřila u modelu Lara Mini rychlost přibližně 1 100 vygenerovaných znaků za sekundu při použití jedním uživatelem na GPU A100 bez kvantizace. Každý model, který v rychlostním srovnání dosáhl vyššího celkového průměru, generoval text nejméně 1,8krát pomaleji. Výhoda je největší při použití jedním uživatelem a dlouhých promptech; při sdílení GPU větším počtem uživatelů se zmenšuje.

Přístup k výzkumu a plány pro produkt

Vydaný artefakt je základní model pro pokračování textu, nikoli systém pro práci podle instrukcí nebo chatování, a neprošel bezpečnostním doladěním. Jeho karta modelu upozorňuje, že může vytvářet nesprávný, zaujatý nebo urážlivý text a bez dalšího tréninku by neměl být nasazen jako asistent.

Přístup k vahám je omezený a každou žádost posuzuje společnost Translated. Váhy jsou licencovány pod licencí CC BY-NC-SA 4.0 pro výzkum a další nekomerční účely, zatímco kód a tokenizer využívají licenci Apache 2.0. Translated nabízí komerční licenci samostatně a spolu s modelem nevydává žádná trénovací data.

Výzkumná stránka společnosti Translated uvádí, že přístup získají také vybraní podnikoví zákazníci, a jako zamýšlené využití popisuje dolaďování pro specializované suverénní aplikace. Lara Mini je součástí rodiny základních modelů Lara 4, která má pohánět příští generaci produktu Lara Translate.

V následném oznámení zveřejněném 13. listopadu 2026 společnost uvedla, že Lara Mini zatím nebyla v Lara Translate dostupná. Plánovala jej použít jako základ pro offline překlad textu v příští aplikaci Lara Translate, přičemž zpracování mělo probíhat v telefonu, aby text zůstal v zařízení. Údaj o 45 jazycích se vztahuje k jazykům zahrnutým do tréninku; které jazyky budou podporovány při spuštění offline překladu, nebylo upřesněno.

Plánovaná aplikace propojuje výzkum s konkrétním produktovým testem: proměnit řídký výzkumný kontrolní bod v soukromý překlad přímo v zařízení a zároveň zachovat efektivitu a vícejazyčný výkon uváděné ve vyhodnocení společnosti Translated.