Translated brengt Lara Mini uit, een onderzoeksmodel voor 45 talen

Translated kondigde Lara Mini aan op 12 november 2026 en bracht daarmee een onderzoeksmodel uit dat vanaf nul is getraind op 6 biljoen tokens in het Engels en 44 andere talen, waaronder alle 24 officiële talen van de EU. Het systeem heeft 7,2 miljard parameters, maar activeert per token slechts 600 miljoen parameters.

De mixture-of-experts-architectuur activeert voor elk token vier van de 128 gerouteerde experts, terwijl één gedeelde expert actief blijft. De 34 lagen bestaan uit 14 lineaire-aandachtslagen van het type Gated DeltaNet, 13 aandachtslagen met een schuivend venster van 512 tokens en zeven lagen met globale aandacht. Zo blijft de groei van de inferentiestatus beperkt ten opzichte van volledige aandacht. Na de eerste trainingsronde verlengde een afzonderlijke fase van 100 miljard tokens het contextvenster van 4.096 naar 131.072 tokens.

Translated stelde de dataset samen uit openbaar vrijgegeven bronnen en filterde en ontdubbelde die tot een verzameling van 13,8 biljoen tokens; 97% van de tokens voor de initiële training bestond uit de eerste keer dat een document werd gelezen. Het Engels leverde 2,49 biljoen tokens, oftewel 41,4%, terwijl de 44 andere talen samen 2,18 biljoen tokens, oftewel 36,4%, leverden. De rest bestond uit code, wiskunde en voorbeelden in de stijl van data voor supervised fine-tuning.

Test met Engelse vervanging

Voor een afzonderlijke test gebruikten de onderzoekers hetzelfde checkpoint voor twee gecontroleerde annealingsfasen van 100 miljard tokens. Dit is de laatste trainingsfase, waarin de leersnelheid tot nul daalt. Door het meertalige aandeel van 33% te vervangen door Engels, steeg het Engelse aandeel van 27% naar 60%. Volgens het technische rapport steeg het gemiddelde op de Engelse ontwikkelingsset met slechts 0,3 punt, terwijl het meertalige gemiddelde voor de ondersteunde talen met 2,7 punten daalde.

Het experiment heeft alleen betrekking op de annealingsfase; het meet niet het effect van het meertalige aandeel tijdens de belangrijkste fase van de voortraining. Uit een afzonderlijke analyse van de routering bleek dat talen experts delen in plaats van eigen groepen experts toegewezen te krijgen. Verwante talen vertoonden vroeg in het netwerk vergelijkbare routering en in de middelste lagen vrijwel identieke routering. De auteurs waarschuwen dat gedeelde routering niet bewijst dat er ook gedeelde semantische representaties zijn, en dat hun experimenten niet aantonen dat meertalige training het algemene redeneervermogen of de prestaties in het Engels verbetert.

Benchmarkscores en hun beperkingen

Translated vergeleek Lara Mini met 56 andere open basismodellen aan de hand van 26 benchmarks voor Engels, meertaligheid, wiskunde en code, met dezelfde prompts, instellingen en methode voor het extraheren van antwoorden. Van de 36 modellen met maximaal 2 miljard actieve parameters behaalde Lara Mini gemiddeld een totaalscore van 57,0, tegenover 53,9 voor granite-4.0-h-tiny en 53,8 voor Qwen3-1.7B. De gerapporteerde totale hoeveelheden tokens voor de voortraining bedroegen respectievelijk 22,5 biljoen en 36 biljoen, tegenover 6 biljoen voor de initiële trainingsronde van Lara Mini.

De resultaten van Translated zetten Lara Mini binnen deze klasse op de eerste plaats voor meertalig begrip, met 56,7, en voor wiskunde, met 59,9; op Engels behaalde het model de tweede plaats met 66,4 en op code de vijfde plaats met 45,1. Bij de totaalscore wegen de gemiddelden van de vier domeinen even zwaar. Voor alle modellen wordt het gemiddelde van de meertalige benchmarks berekend over de niet-Engelstalige talen die Lara Mini ondersteunt. De vergelijking betreft basismodellen, geen modellen die zijn afgestemd op het volgen van instructies. De kwaliteit verschilt bovendien per taal: Azerbeidzjaans en Bengaals behoren tot de laagst scorende ondersteunde talen, waarvoor weinig trainingsdata beschikbaar zijn.

Translated mat voor Lara Mini op een A100-GPU zonder kwantisering ongeveer 1.100 gegenereerde tekens per seconde bij gebruik door één gebruiker. Elk model dat in de snelheidsvergelijking een hoger totaalgemiddelde behaalde, genereerde tekst minstens 1,8 keer zo langzaam. Het voordeel is het grootst voor één gebruiker en lange prompts, en wordt kleiner wanneer veel gebruikers dezelfde GPU delen.

Onderzoeksgebruik en productplannen

Het vrijgegeven model is een basismodel voor tekstvoortzetting, geen systeem dat instructies volgt of met gebruikers chat, en het is niet op veiligheid afgestemd. De modelkaart waarschuwt dat het onjuiste, bevooroordeelde of aanstootgevende tekst kan genereren en dat het zonder verdere training niet als assistent moet worden ingezet.

Toegang tot de gewichten is beperkt; Translated beoordeelt elk verzoek. De gewichten zijn gelicentieerd onder CC BY-NC-SA 4.0 voor onderzoek en andere niet-commerciële doeleinden, terwijl voor de code en tokenizer Apache 2.0 geldt. Translated biedt afzonderlijk commerciële licenties aan en brengt geen trainingsdata uit bij het model.

Op de onderzoekspagina van Translated staat dat ook geselecteerde zakelijke klanten toegang krijgen. Fijnafstemming voor gespecialiseerde soevereine toepassingen wordt genoemd als beoogd gebruik. Lara Mini maakt deel uit van Lara 4, de familie van basismodellen die de volgende generatie van Lara Translate moet aandrijven.

In een vervolgbericht dat op 13 november 2026 werd gepubliceerd, stond dat Lara Mini nog niet beschikbaar was in Lara Translate. Het bedrijf was van plan het model als basis te gebruiken voor offline tekstvertaling in de volgende Lara Translate-app. De verwerking zou op de telefoon plaatsvinden, zodat de tekst op het apparaat blijft. Het genoemde aantal van 45 talen betreft de dekking van de trainingsdata; welke talen bij de lancering voor offline vertaling worden ondersteund, werd niet gespecificeerd.

De geplande app koppelt het onderzoek aan een concrete producttest: een beperkt onderzoekscheckpoint omzetten in privévertaling op het apparaat, met behoud van de efficiëntie en meertalige prestaties die in de evaluatie van Translated zijn gerapporteerd.