Translated випускає Lara Mini — дослідницьку модель для 45 мов

12 листопада 2026 року Translated оголосила про випуск Lara Mini — дослідницької моделі, навчену з нуля на 6 трильйонах токенів англійською та ще 44 мовами, зокрема всіма 24 офіційними мовами ЄС. Система із 7,2 млрд параметрів активує лише 600 млн параметрів на кожен токен.

Архітектура суміші експертів активує чотирьох із 128 маршрутизованих експертів для кожного токена, тоді як один спільний експерт залишається активним. Її 34 шари складаються з 14 шарів лінійної уваги Gated DeltaNet, 13 шарів уваги з ковзним вікном на 512 токенів і семи шарів глобальної уваги, що обмежує зростання стану інференсу порівняно з повною увагою. Після початкового етапу навчання окремий етап на 100 млрд токенів збільшив контекстне вікно з 4 096 до 131 072 токенів.

Translated створила набір даних із відкрито оприлюднених джерел, відфільтрувавши їх і вилучивши дублікати, щоб сформувати корпус обсягом 13,8 трлн токенів; 97% токенів початкового навчання припадало на перше прочитання документа. На англійську припало 2,49 трлн токенів, або 41,4%, а на інші 44 мови — 2,18 трлн, або 36,4%. Решту становили код, математика та приклади, оформлені як дані для навчання з учителем.

Перевірка заміни інших мов англійською

Для окремого тесту дослідники використали той самий контрольний знімок моделі у двох контрольованих циклах фінального зниження темпу навчання до нуля, кожен обсягом 100 млрд токенів. Заміна 33% частки багатомовних даних англомовними збільшила частку англійської з 27% до 60%. У технічному звіті зазначено, що середній результат на англомовній вибірці для розробки зріс лише на 0,3 бала, тоді як середній багатомовний результат за підтримуваними мовами знизився на 2,7 бала.

Експеримент стосується лише фінального етапу зниження темпу навчання; він не вимірює вплив частки багатомовних даних під час основного етапу попереднього навчання. Окремий аналіз маршрутизації показав, що мови використовують спільних експертів, а не окремі групи експертів: на початку мережі споріднені мови мали подібні маршрути, а в середніх шарах — майже ідентичні. Автори застерігають, що спільна маршрутизація не доводить наявності спільних семантичних репрезентацій, а їхні експерименти не свідчать про те, що багатомовне навчання покращує загальні здібності до міркування чи результати англійською.

Результати тестів і їхні обмеження

Translated оцінила Lara Mini за 26 тестами з англійської, багатомовного розуміння, математики та програмування, порівнявши її з 56 іншими відкритими базовими моделями й використавши однакові запити, налаштування та метод вилучення відповідей. Серед 36 моделей із не більш ніж 2 млрд активних параметрів Lara Mini набрала в середньому 57,0 бала за загальним показником, випередивши granite-4.0-h-tiny з 53,9 бала та Qwen3-1.7B з 53,8 бала. Заявлений обсяг даних попереднього навчання цих моделей становив відповідно 22,5 трлн і 36 трлн токенів, тоді як початковий етап навчання Lara Mini охопив 6 трлн токенів.

За результатами Translated, Lara Mini посіла перше місце у своєму класі за багатомовним розумінням із результатом 56,7 бала та з математики з результатом 59,9 бала, друге — з англійської з результатом 66,4 бала і п’яте — з програмування з результатом 45,1 бала. У загальному показнику всі чотири середні результати за напрямами мають однакову вагу, а результати з багатомовних тестів для кожної моделі усереднено за підтримуваними Lara Mini мовами, крім англійської. У порівнянні брали участь базові моделі, а не моделі, налаштовані для виконання інструкцій. Якість також різниться залежно від мови: азербайджанська й бенгальська належать до підтримуваних мов із найнижчими результатами, для яких доступно мало навчальних даних.

За вимірюваннями Translated, Lara Mini генерувала близько 1 100 символів за секунду для одного користувача на графічному процесорі A100 без квантизації; кожна модель, яка мала вищий середній загальний результат у порівнянні швидкодії, генерувала текст щонайменше в 1,8 раза повільніше. Перевага найбільша за роботи одного користувача та довгих запитів і зменшується, коли графічним процесором користується багато людей.

Доступ до дослідження та плани щодо продукту

Опублікована модель є базовою моделлю для продовження тексту, а не системою для виконання інструкцій чи чат-ботом, і вона не проходила налаштування безпеки. У картці моделі застерігають, що вона може генерувати неправдивий, упереджений або образливий текст і що її не слід використовувати як помічника без додаткового навчання.

Доступ до ваг моделі обмежений: Translated розглядає кожен запит окремо. Ваги ліцензовано за CC BY-NC-SA 4.0 для досліджень та інших некомерційних цілей, тоді як на код і токенізатор поширюється ліцензія Apache 2.0. Translated окремо пропонує комерційне ліцензування й не випускає разом із моделлю навчальних даних.

На дослідницькій сторінці Translated повідомляє, що відібрані корпоративні клієнти також матимуть доступ до моделі, і називає її тонке налаштування для спеціалізованих суверенних застосунків одним із запланованих способів використання. Lara Mini входить до Lara 4 — сімейства фундаментальних моделей, покликаного забезпечити роботу наступного покоління Lara Translate.

У доповненні, опублікованому 13 листопада 2026 року, повідомлялося, що Lara Mini ще не була доступна в Lara Translate. Компанія планувала використати її як базову модель для офлайн-перекладу тексту в наступній версії застосунку Lara Translate, обробляючи текст на телефоні, щоб він залишався на пристрої. Згадка про 45 мов стосується охоплення навчальних даних; мови, підтримку яких буде запущено для офлайн-перекладу, не уточнили.

Запланований застосунок пов’язує дослідження з конкретним випробуванням продукту: перетворити невеликий дослідницький контрольний знімок моделі на приватний переклад безпосередньо на пристрої, зберігши ефективність і багатомовні результати, про які повідомляла Translated за підсумками оцінювання.