Translated veröffentlicht Lara Mini, ein Forschungsmodell für 45 Sprachen

Translated gab am 12. November 2026 Lara Mini bekannt: ein von Grund auf mit 6 Billionen Tokens trainiertes Forschungsmodell, dessen Trainingsdaten Englisch und 44 weitere Sprachen abdecken, darunter alle 24 Amtssprachen der EU. Das System mit 7,2 Milliarden Parametern aktiviert pro Token lediglich 600 Millionen Parameter.

Die Mixture-of-Experts-Architektur aktiviert für jedes Token vier der 128 zugewiesenen Experten, während ein gemeinsamer Experte stets aktiv bleibt. Die 34 Schichten umfassen 14 lineare Aufmerksamkeits-Schichten des Typs Gated DeltaNet, 13 Schichten mit gleitendem Aufmerksamkeitsfenster von 512 Tokens sowie sieben Schichten mit globaler Aufmerksamkeit. Dadurch wächst der Inferenzzustand im Vergleich zu vollständiger Aufmerksamkeit weniger stark. Nach dem ersten Trainingslauf wurde das Kontextfenster in einer separaten Phase mit 100 Milliarden Tokens von 4.096 auf 131.072 Tokens erweitert.

Translated erstellte den Datensatz aus öffentlich zugänglichen Quellen, filterte und deduplizierte diese zu einem Pool von 13,8 Billionen Tokens; 97 % der Tokens im anfänglichen Training entfielen auf das erstmalige Einlesen eines Dokuments. Auf Englisch entfielen 2,49 Billionen Tokens beziehungsweise 41,4 %, auf die 44 anderen Sprachen 2,18 Billionen beziehungsweise 36,4 %. Den Rest machten Code, Mathematik und Beispiele aus, die wie Daten für überwachtes Feinabstimmungstraining formatiert waren.

Tests mit englischem Ersatz

Für einen separaten Test verwendeten die Forschenden denselben Checkpoint für zwei kontrollierte Annealing-Phasen mit jeweils 100 Milliarden Tokens. In dieser letzten Trainingsphase sinkt die Lernrate auf null. Als der mehrsprachige Anteil von 33 % durch Englisch ersetzt wurde, stieg der englische Anteil von 27 % auf 60 %. Dem technischen Bericht zufolge verbesserte sich der Durchschnittswert auf den englischen Entwicklungsdaten lediglich um 0,3 Punkte, während der mehrsprachige Durchschnittswert für die unterstützten Sprachen um 2,7 Punkte sank.

Das Experiment bezieht sich ausschließlich auf die Annealing-Phase; es misst nicht, wie sich der mehrsprachige Anteil während der Hauptphase des Vortrainings auswirkt. Eine separate Analyse der Expertenzuweisung ergab, dass Sprachen gemeinsame Experten nutzen, statt jeweils eigene Expertengruppen zu erhalten. Verwandte Sprachen wiesen zu Beginn des Netzwerks ähnliche und in den mittleren Schichten nahezu identische Zuweisungsmuster auf. Die Autorinnen und Autoren weisen darauf hin, dass eine gemeinsame Zuweisung keine gemeinsamen semantischen Repräsentationen belegt und ihre Experimente nicht zeigen, dass mehrsprachiges Training das allgemeine logische Denken oder die Leistung im Englischen verbessert.

Benchmark-Ergebnisse und ihre Grenzen

Translated verglich Lara Mini anhand von 26 englischen, mehrsprachigen, mathematischen und Programmier-Benchmarks mit 56 weiteren offenen Basismodellen. Dabei kamen einheitliche Prompts, Einstellungen und Verfahren zur Antwortauswertung zum Einsatz. Unter den 36 Modellen mit bis zu 2 Milliarden aktiven Parametern erreichte Lara Mini einen Gesamtdurchschnitt von 57,0 und lag damit vor granite-4.0-h-tiny mit 53,9 und Qwen3-1.7B mit 53,8. Für deren Vortraining wurden insgesamt 22,5 Billionen beziehungsweise 36 Billionen Tokens angegeben, gegenüber 6 Billionen im ersten Trainingslauf von Lara Mini.

In den Ergebnissen von Translated belegte Lara Mini in dieser Modellklasse mit 56,7 den ersten Platz beim mehrsprachigen Verständnis und mit 59,9 in Mathematik, den zweiten Platz im Englischen mit 66,4 und den fünften Platz im Programmieren mit 45,1. Bei der Gesamtwertung werden die Durchschnittswerte der vier Bereiche gleich gewichtet. Für jedes Modell wird der Durchschnitt der mehrsprachigen Benchmarks über die von Lara Mini unterstützten nichtenglischen Sprachen berechnet. Der Vergleich umfasst Basismodelle, keine auf Anweisungen abgestimmten Systeme. Auch die Qualität variiert je nach Sprache: Aserbaidschanisch und Bengali gehören zu den unterstützten Sprachen mit den niedrigsten Ergebnissen, da für sie nur begrenzte Trainingsdaten verfügbar sind.

Translated maß für Lara Mini auf einer A100-GPU ohne Quantisierung bei einem einzelnen Nutzer eine Geschwindigkeit von etwa 1.100 generierten Zeichen pro Sekunde. Jedes Modell, dessen Gesamtdurchschnitt im Geschwindigkeitsvergleich höher lag, erzeugte Text mindestens 1,8-mal langsamer. Der Vorteil ist bei einem einzelnen Nutzer und langen Prompts am größten und fällt geringer aus, wenn sich viele Nutzer die GPU teilen.

Forschungszugang und Produktpläne

Bei der veröffentlichten Version handelt es sich um ein Basismodell zur Textfortsetzung, nicht um ein System, das Anweisungen befolgt oder als Chatbot dient; es wurde auch nicht sicherheitsoptimiert. Die Modellkarte warnt, dass das Modell falsche, voreingenommene oder anstößige Texte erzeugen kann und ohne zusätzliches Training nicht als Assistent eingesetzt werden sollte.

Der Zugang zu den Gewichten ist beschränkt; jeder Antrag wird von Translated geprüft. Die Gewichte stehen unter der Lizenz CC BY-NC-SA 4.0 für Forschungszwecke und andere nichtkommerzielle Zwecke. Für den Code und den Tokenizer gilt Apache 2.0. Translated bietet separate kommerzielle Lizenzen an und veröffentlicht zusammen mit dem Modell keine Trainingsdaten.

Auf der Forschungsseite von Translated heißt es, dass auch ausgewählte Unternehmenskunden Zugang erhalten sollen. Als vorgesehener Anwendungsfall wird dort die Feinabstimmung für spezialisierte, souveräne Anwendungen genannt. Lara Mini ist Teil von Lara 4, der Familie von Basismodellen, die die nächste Generation von Lara Translate antreiben soll.

Ein am 13. November 2026 veröffentlichter Nachtrag erklärte, dass Lara Mini noch nicht in Lara Translate verfügbar sei. Das Unternehmen plante, das Modell als Grundlage für die Offline-Textübersetzung in der nächsten Lara-Translate-App zu nutzen. Die Verarbeitung sollte auf dem Smartphone stattfinden, sodass der Text auf dem Gerät bleibt. Die Angabe von 45 Sprachen bezieht sich auf die Trainingsabdeckung; welche Sprachen zum Start für die Offline-Übersetzung unterstützt werden sollten, blieb offen.

Die geplante App macht aus der Forschung einen konkreten Produkttest: einen rudimentären Forschungs-Checkpoint in eine private Übersetzung direkt auf dem Gerät zu verwandeln und dabei die Effizienz und die mehrsprachige Leistung beizubehalten, die Translated in seiner Evaluation berichtet hat.