Translated Merilis Lara Mini, Model Riset untuk 45 Bahasa

Translated mengumumkan Lara Mini pada 12 November 2026, sekaligus merilis model riset yang dilatih dari awal menggunakan 6 triliun token dalam bahasa Inggris dan 44 bahasa lainnya, termasuk seluruh 24 bahasa resmi Uni Eropa. Sistem dengan 7,2 miliar parameter ini hanya mengaktifkan 600 juta parameter per token.

Arsitektur campuran pakar ini mengaktifkan empat dari 128 pakar yang dirutekan untuk setiap token, sementara satu pakar bersama tetap aktif. Ke-34 lapisannya terdiri atas 14 lapisan perhatian linear Gated DeltaNet, 13 lapisan perhatian jendela geser dengan jendela 512 token, dan tujuh lapisan perhatian global. Susunan ini membatasi pertumbuhan status inferensi dibandingkan dengan perhatian penuh. Setelah pelatihan awal, tahap terpisah dengan 100 miliar token memperluas jendela konteks dari 4.096 menjadi 131.072 token.

Translated menyusun kumpulan data dari sumber yang dirilis secara terbuka, menyaring dan menghapus duplikatnya hingga terbentuk kumpulan berisi 13,8 triliun token; 97% token pelatihan awal merupakan pembacaan pertama suatu dokumen. Bahasa Inggris menyumbang 2,49 triliun token, atau 41,4%, sedangkan 44 bahasa lainnya menyumbang 2,18 triliun, atau 36,4%. Sisanya berasal dari kode, matematika, dan contoh yang diformat seperti data penyetelan halus terawasi.

Menguji Penggantian dengan Bahasa Inggris

Untuk pengujian terpisah, para peneliti menggunakan checkpoint yang sama dalam dua tahap annealing terkendali, masing-masing dengan 100 miliar token. Annealing adalah tahap akhir pelatihan, ketika laju pembelajaran menurun hingga nol. Mengganti porsi multibahasa sebesar 33% dengan bahasa Inggris meningkatkan porsi bahasa Inggris dari 27% menjadi 60%. Laporan teknis tersebut menyebutkan bahwa skor rata-rata pada data pengembangan bahasa Inggris hanya naik 0,3 poin, sedangkan skor rata-rata multibahasa untuk bahasa yang didukung turun 2,7 poin.

Eksperimen ini hanya berlaku untuk tahap annealing; eksperimen tersebut tidak mengukur dampak porsi multibahasa selama tahap prapelatihan utama. Analisis perutean terpisah menemukan bahwa bahasa-bahasa berbagi pakar, alih-alih masing-masing mendapat kelompok pakar tersendiri. Bahasa-bahasa yang berkerabat menunjukkan pola perutean serupa pada bagian awal jaringan dan hampir identik pada lapisan tengah. Para penulis mengingatkan bahwa perutean bersama tidak membuktikan adanya representasi semantik bersama, dan eksperimen mereka tidak menunjukkan bahwa pelatihan multibahasa meningkatkan kemampuan penalaran umum atau kinerja bahasa Inggris.

Skor Tolok Ukur dan Batasannya

Translated mengevaluasi Lara Mini bersama 56 model dasar terbuka lainnya menggunakan 26 tolok ukur bahasa Inggris, multibahasa, matematika, dan kode, dengan perintah, pengaturan, serta metode ekstraksi jawaban yang sama. Di antara 36 model dengan paling banyak 2 miliar parameter aktif, Lara Mini meraih skor rata-rata keseluruhan 57,0, mengungguli granite-4.0-h-tiny dengan 53,9 dan Qwen3-1.7B dengan 53,8. Total prapelatihan yang dilaporkan untuk kedua model tersebut masing-masing adalah 22,5 triliun dan 36 triliun token, dibandingkan dengan 6 triliun token dalam pelatihan awal Lara Mini.

Hasil Translated menempatkan Lara Mini di posisi pertama di kelas tersebut untuk pemahaman multibahasa dengan skor 56,7 dan matematika dengan skor 59,9, posisi kedua untuk bahasa Inggris dengan skor 66,4, serta posisi kelima untuk kode dengan skor 45,1. Skor keseluruhan memberikan bobot yang sama kepada rata-rata keempat bidang, sementara skor tolok ukur multibahasa untuk setiap model dihitung dari rata-rata bahasa non-Inggris yang didukung Lara Mini. Perbandingan ini mencakup model dasar, bukan sistem yang telah disetel untuk mengikuti instruksi. Kualitasnya juga beragam ant bahasa; bahasa Azerbaijan dan Bengali termasuk bahasa yang didukung dengan skor terendah, karena data pelatihannya terbatas.

Translated mengukur kecepatan Lara Mini sekitar 1.100 karakter yang dihasilkan per detik untuk satu pengguna pada GPU A100 tanpa kuantisasi. Setiap model dengan skor rata-rata keseluruhan lebih tinggi dalam perbandingan kecepatannya menghasilkan teks setidaknya 1,8 kali lebih lambat. Keunggulannya paling besar untuk satu pengguna dan perintah yang panjang, lalu menyusut ketika banyak pengguna berbagi GPU.

Akses Riset dan Rencana Produk

Artefak yang dirilis adalah model dasar untuk melanjutkan teks, bukan sistem yang mengikuti instruksi atau sistem obrolan, dan model ini tidak disetel untuk keamanan. Kartu model-nya memperingatkan bahwa model ini dapat menghasilkan teks yang keliru, bias, atau menyinggung, dan sebaiknya tidak digunakan sebagai asisten tanpa pelatihan tambahan.

Akses ke bobot model dibatasi, dan setiap permohonan ditinjau oleh Translated. Bobot model dilisensikan berdasarkan CC BY-NC-SA 4.0 untuk riset dan keperluan nonkomersial lainnya, sedangkan kode dan tokenizer menggunakan Apache 2.0. Translated menawarkan lisensi komersial secara terpisah dan tidak merilis data pelatihan bersama model ini.

Halaman riset Translated menyebutkan bahwa pelanggan perusahaan terpilih juga akan mendapat akses, dan menjelaskan bahwa penyetelan halus untuk aplikasi berdaulat khusus merupakan salah satu tujuan penggunaannya. Lara Mini merupakan bagian dari Lara 4, keluarga model fondasi yang dirancang untuk mendukung generasi berikutnya dari Lara Translate.

Pembaruan yang diterbitkan pada 13 November 2026 menyebutkan bahwa Lara Mini belum tersedia di Lara Translate. Perusahaan berencana menggunakannya sebagai model dasar untuk penerjemahan teks luring pada aplikasi Lara Translate berikutnya. Pemrosesan akan dilakukan di ponsel agar teks tetap tersimpan di perangkat. Angka 45 bahasa mengacu pada cakupan pelatihan; dukungan bahasa untuk penerjemahan luring saat peluncuran belum ditentukan.

Aplikasi yang direncanakan ini menghubungkan riset dengan pengujian produk yang konkret: mengubah checkpoint riset yang terbatas menjadi penerjemahan privat di perangkat, sembari mempertahankan efisiensi dan kinerja multibahasa yang dilaporkan dalam evaluasi Translated.