Translated выпустила Lara Mini — исследовательскую модель для 45 языков

12 ноября 2026 года объявила о выпуске Lara Mini — исследовательской модели, обученной с нуля на 6 триллионах токенов на английском и ещё 44 языках, включая все 24 официальных языка ЕС. В системе с 7,2 млрд параметров для каждого токена задействуются только 600 млн параметров.

В архитектуре «смесь экспертов» для каждого токена активируются четыре из 128 маршрутизируемых экспертов, а один общий эксперт остаётся активным. Её 34 слоя включают 14 слоёв линейного внимания Gated DeltaNet, 13 слоёв внимания со скользящим окном в 512 токенов и семь слоёв глобального внимания. Благодаря этому рост объёма состояния при инференсе ограничен по сравнению с полным вниманием. После первоначального запуска обучения отдельный этап на 100 млрд токенов увеличил размер контекстного окна с 4 096 до 131 072 токенов.

Translated составила набор данных из открыто опубликованных источников, отфильтровав и удалив дубликаты, чтобы получить массив объёмом 13,8 трлн токенов; 97% токенов начального этапа обучения приходились на первое прочтение документа. На английский язык пришлось 2,49 трлн токенов, или 41,4%, а на остальные 44 языка — 2,18 трлн, или 36,4%. Остальную часть составили код, математика и примеры, оформленные по образцу данных для контролируемой тонкой настройки.

Проверка замены английским языком

Для отдельного теста исследователи использовали одну и ту же контрольную точку в двух контролируемых циклах финального этапа обучения по 100 млрд токенов, в ходе которого скорость обучения снижается до нуля. Замена 33% многоязычных данных английскими повысила долю английского языка с 27% до 60%. В техническом отчёте говорится, что средний результат на английских проверочных данных вырос всего на 0,3 пункта, тогда как средний результат по поддерживаемым языкам в многоязычных тестах снизился на 2,7 пункта.

Эксперимент касается только финального этапа обучения и не измеряет влияние доли многоязычных данных на основной этап предварительного обучения. Отдельный анализ маршрутизации показал, что языки используют общих экспертов, а не получают отдельные группы экспертов; родственные языки демонстрируют схожую маршрутизацию на ранних этапах сети и почти идентичную — в средних слоях. Авторы предупреждают, что общая маршрутизация не доказывает наличия общих семантических представлений, а проведённые эксперименты не показывают, что многоязычное обучение улучшает общие способности к рассуждению или результаты на английском языке.

Результаты тестов и их ограничения

Translated сравнила Lara Mini с 56 другими открытыми базовыми моделями по 26 тестам на английском и других языках, а также по математике и программированию, используя одинаковые запросы, настройки и методы извлечения ответов. Среди 36 моделей, в которых задействуется не более 2 млрд параметров, Lara Mini набрала в среднем 57,0 балла, опередив granite-4.0-h-tiny с результатом 53,9 и Qwen3-1.7B с результатом 53,8. По опубликованным данным, общий объём их предварительного обучения составил соответственно 22,5 трлн и 36 трлн токенов против 6 трлн токенов на первоначальном этапе обучения Lara Mini.

По результатам Translated, в этом классе Lara Mini заняла первое место по многоязычному пониманию с результатом 56,7 и по математике с результатом 59,9, второе место по английскому языку с результатом 66,4 и пятое — по программированию с результатом 45,1. Итоговый балл рассчитывается как среднее четырёх предметных результатов с равными весами; результаты многоязычных тестов для каждой модели усредняются по поддерживаемым Lara Mini языкам, кроме английского. В сравнении участвовали базовые модели, а не системы, настроенные следовать инструкциям. Качество также различается в зависимости от языка: азербайджанский и бенгальский относятся к языкам с самыми низкими результатами среди поддерживаемых, поскольку обучающих данных для них мало.

Translated измерила скорость генерации Lara Mini примерно в 1 100 символов в секунду для одного пользователя на графическом процессоре A100 без квантования; каждая модель, показавшая более высокий средний итоговый балл в сравнении по скорости, генерировала текст как минимум в 1,8 раза медленнее. Преимущество наиболее заметно при работе с одним пользователем и длинными запросами и сокращается, когда графическим процессором пользуются одновременно многие пользователи.

Доступ к исследовательской модели и планы по продукту

Выпущенная модель предназначена для продолжения текста и не умеет следовать инструкциям или вести диалог; настройка на безопасность не проводилась. В карточке модели предупреждают, что она может генерировать неверный, предвзятый или оскорбительный текст, и не рекомендуют использовать её в качестве ассистента без дополнительного обучения.

Доступ к весам модели предоставляется по запросу, и каждую заявку рассматривает Translated. Лицензия CC BY-NC-SA 4.0 разрешает исследования и другие некоммерческие цели, а на код и токенизатор распространяется лицензия Apache 2.0. Translated отдельно предлагает коммерческую лицензию и не выпускает обучающие данные вместе с моделью.

На исследовательской странице Translated говорится, что доступ получат также отдельные корпоративные клиенты; дообучение для специализированных суверенных приложений указано как предполагаемый вариант использования. Lara Mini входит в семейство базовых моделей Lara 4, предназначенное для обеспечения работы нового поколения Lara Translate.

В опубликованном 13 ноября 2026 года дополнении сообщалось, что Lara Mini пока недоступна в Lara Translate. Компания планировала использовать её в качестве базовой модели для офлайн-перевода текста в следующем приложении Lara Translate; обработка должна выполняться на телефоне, чтобы текст оставался на устройстве. Указание на 45 языков относится к охвату обучающих данных; поддержка языков для офлайн-перевода на момент запуска не была уточнена.

Планируемое приложение связывает исследование с конкретной проверкой продукта: сможет ли исследовательская модель с ограниченным числом параметров обеспечить конфиденциальный перевод непосредственно на устройстве, сохранив эффективность и многоязычные результаты, о которых Translated сообщила по итогам оценки.