Olga Beregovaya, Wakil Presiden AI di Smartling – Seri Wawancara

Olga Beregovaya adalah Wakil Presiden AI di Smartling, tempat ia memimpin strategi AI di bidang penerjemahan, data, kualitas, dan keamanan. Ia telah berkecimpung dalam pemrosesan bahasa alami sejak 1997, dengan pengalaman mencakup sistem berbasis aturan, model statistik, jaringan saraf, dan model bahasa besar. Sebelum bergabung dengan Smartling, ia menjabat sebagai Wakil Presiden Inovasi AI di Welocalize dan CEO PROMT Americas.

Smartling menyediakan perangkat lunak dan layanan penerjemahan serta pelokalan untuk perusahaan, dengan memadukan AI dan penerjemahan mesin dengan keahlian manusia. Platformnya mendukung alur kerja multibahasa untuk situs web, aplikasi, pemasaran, dokumen, dan multimedia, serta memberikan akses ke lebih dari 20 LLM dan mesin penerjemahan mesin. Dalam wawancara ini, Beregovaya membahas kesenjangan AI multibahasa, kualitas penerjemahan, pemilihan model, dan peran pengawasan manusia dalam pelokalan otomatis.

Bagaimana perjalanan tersebut membentuk cara Anda memandang peran AI dalam bahasa, dan apa yang mendorong Anda untuk memimpin strategi AI di Smartling?

Saya mempelajari struktur bahasa dan cara kerja rumpun bahasa. Dari situ saya memahami bahwa penerjemahan berkaitan dengan struktur dan makna, bukan sekadar mengganti kata satu per satu. Saya memandang AI dengan cara yang sama.

Saya mulai bekerja di bidang pemrosesan bahasa alami pada 1997, ketika sistem masih dibangun berdasarkan aturan yang ditulis secara manual. Sejak itu, saya telah bekerja dengan model statistik, jaringan saraf, hingga model bahasa besar masa kini. Masing-masing menyelesaikan beberapa masalah, tetapi juga menimbulkan masalah lain. Saya tidak percaya bahwa satu model saja dapat menjadi jawabannya.

Saya bergabung dengan Smartling karena perusahaan ini dibangun untuk menerjemahkan segala jenis konten perusahaan, mulai dari situs web dan aplikasi hingga dokumen hukum, materi pemasaran, dan video. Awalnya saya menjabat sebagai Wakil Presiden Penerjemahan Mesin, tetapi cakupan peran itu segera meluas melampaui penerjemahan, mencakup perancangan prompt, data, kualitas, dan keamanan. Karena itu, jabatan saya kemudian menjadi Wakil Presiden AI.

Seperti apa kesenjangan itu dalam praktik, dan mengapa dampaknya bisa semakin besar ketika AI generatif menjadi antarmuka utama?

Dulu kesenjangan itu sederhana: sistem AI mendukung bahasa Anda atau tidak. Pertanyaan itu kini sebagian besar sudah terjawab, tetapi bentuk kesenjangannya telah berubah. Hal yang kini penting adalah seberapa baik data pelatihan model merepresentasikan bahasa tersebut, para penuturnya, dan budayanya. Sebagian besar data pelatihan model berbahasa Inggris, sehingga membawa asumsi penutur bahasa Inggris. Terjemahan bisa saja akurat secara teknis, tetapi tetap memaksakan sudut pandang penutur bahasa Inggris pada bahasa lain.

AI semakin menjadi sarana orang berinteraksi dengan bank, dokter, sekolah, dan layanan penting lainnya. Jika AI mampu menangani suatu bahasa dengan baik, penuturnya diuntungkan; jika AI kesulitan menangani bahasa tersebut, penuturnya dirugikan.

Apa yang paling mengejutkan Anda, dan apa yang menjelaskan kasus ketika bahasa Swedia mengungguli bahasa Hindi meski jumlah penuturnya jauh lebih sedikit?

Jumlah penutur ternyata merupakan indikator kualitas penerjemahan yang sangat buruk. Bahasa Swedia, yang dituturkan oleh sekitar 10 juta orang, menghasilkan beberapa hasil terbaik. Bahasa Hindi, yang dituturkan oleh sekitar 600 juta orang, termasuk yang hasilnya paling lemah, bersama bahasa Estonia dan Thai.

Struktur bahasa dan kualitas data jauh lebih menentukan. Tata bahasa Swedia relatif sederhana dan tersedia banyak data pelatihan yang bersih. Dalam bahasa Estonia, akhiran kata terus berubah untuk menyampaikan makna sehingga AI harus menangani kerumitan yang lebih besar. Bahasa Hindi memiliki ratusan juta penutur, tetapi data pelatihan berkualitas tinggi dan beragam untuk bahasa ini jauh lebih sedikit daripada yang mungkin Anda perkirakan berdasarkan jumlah penuturnya.

Hal lain yang mengejutkan adalah bahwa kemajuan dari satu laboratorium ke laboratorium lain tidak sama. Bahasa yang pada awalnya hasilnya lebih buruk biasanya mengalami peningkatan terbesar dari satu generasi model ke generasi berikutnya, tetapi pola itu tidak selalu berlaku.

Selain jumlah data pelatihan, faktor apa yang paling memengaruhi kinerja model?

Tokenisasi merupakan salah satu faktor terpenting. Tokenisasi adalah proses model memecah teks menjadi bagian-bagian sebelum memprosesnya, dan sangat penting terutama untuk bahasa yang tidak menggunakan alfabet Latin. Tokenisasi yang buruk membatasi semua proses selanjutnya.

Struktur bahasa juga berpengaruh. Bahasa dengan akhiran kata yang kompleks bisa lebih sulit ditangani model. Sebagai contoh, dalam bahasa Jerman, kata-kata digabungkan hingga satu kata dapat mencapai 40 karakter. Hal ini menuntut lebih banyak kemampuan dari model dibandingkan bahasa seperti Spanyol atau Prancis.

Lalu ada kualitas data. Data yang buruk menghasilkan hasil yang buruk. Keakuratan, keragaman, dan keterwakilan data sangat penting bagi kinerja AI dalam penerjemahan.

Terakhir, pengukuran. Kami menggunakan TER, BLEU, CHRF3, dan MetricX, serta membandingkan hasilnya dengan terjemahan manusia tepercaya. Model bisa terdengar alami meski maknanya keliru.

Apa tanggung jawab laboratorium terdepan, dan seperti apa kemajuan yang berarti?

Laboratorium terdepan memikul tanggung jawab terbesar karena merekalah yang mengendalikan model bahasa paling canggih. Pilihan mereka dapat memperlebar kesenjangan atau membantu mempersempitnya. Namun, penerjemahan kerap harus bersaing dengan penalaran, pemrograman, dan keamanan untuk mendapatkan perhatian, sehingga hanya sedikit laboratorium yang memiliki tim khusus yang berfokus pada bidang ini.

Tiga hal dapat membawa perubahan yang berarti:

1. Membangun data berkualitas tinggi dalam lebih banyak bahasa dan bidang.
2. Perbaiki tokenisasi untuk bahasa yang belum tertangani dengan baik oleh pendekatan saat ini.
3. Ukur juga kinerja setiap model baru dengan bahasa yang memiliki lebih sedikit data pelatihan, bukan hanya bahasa yang paling banyak digunakan.

Salah satu peluang besar adalah mengembangkan data pelatihan untuk bahasa-bahasa yang sangat sedikit terwakili di internet. Sebagian besar upaya ini dilakukan di luar laboratorium besar. Kami bekerja sama dengan kelompok seperti African Language Lab untuk mengembangkan data bagi bahasa-bahasa Afrika.

Bagaimana Smartling menentukan mana dari lebih dari 20 mesinnya yang paling sesuai untuk bahasa, jenis konten, atau kebutuhan tertentu?

Kami menguji setiap model, alih-alih berasumsi bahwa satu model adalah yang terbaik. Setiap model dievaluasi dengan membandingkan hasilnya dengan terjemahan tepercaya buatan manusia menggunakan TER, BLEU, CHRF3, dan MetricX. Pelanggan dapat memberikan konten pemasarannya kepada kami, lalu dalam waktu sekitar satu minggu kami dapat menunjukkan kinerja setiap model berdasarkan bahasa dan bidang topik. Model terbaik untuk konten pemasaran berbahasa Spanyol Amerika Latin belum tentu terbaik untuk bahasa lain atau konten sensitif.

Kami juga mempertimbangkan risiko. Konten pengguna berisiko rendah dapat melalui proses peninjauan yang lebih ringan. Konten yang diatur oleh regulasi atau sangat penting bagi merek akan ditinjau lebih sering dan biasanya diperiksa oleh manusia. Karena model dapat ditambahkan atau dihapus seiring perubahan kinerjanya, kami tidak terpaku pada satu penyedia.

Dalam hal apa sistem penerjemahan khusus masih lebih unggul daripada LLM serbaguna, dan bagaimana keduanya akan saling mendekat?

Penerjemahan mesin khusus masih lebih unggul ketika konsistensi hasil menjadi hal yang paling penting. Sistem ini sangat berguna untuk konten sensitif dan bahasa tertentu. LLM menghasilkan tulisan yang lebih alami, tetapi juga dapat berhalusinasi dengan penuh keyakinan.

Di Smartling, kami menggabungkan keduanya. Model penerjemahan khusus menghasilkan draf pertama dengan menggunakan terminologi dan data bidang milik pelanggan. LLM kemudian menyuntingnya, mengembalikan terminologi yang telah disetujui, menerapkan kecocokan dari terjemahan sebelumnya, dan memperbaiki tulisannya.

Model kini hanya menjadi salah satu bagian dari sistem. Saat ini, perintah, data, penyesuaian, dan kontrol keamanan sama pentingnya.

Apa risiko terbesar yang perlu dipertimbangkan perusahaan saat menggunakan AI generatif untuk konten multibahasa?

Halusinasi, jelas. Contoh yang paling saya sukai adalah seseorang yang bertanya kepada AI apakah jamur beracun. AI itu menjawab tidak dengan sangat yakin, tetapi batu nisan orang tersebut membuktikan bahwa jawabannya keliru. Dalam penerjemahan, hal ini terlihat pada tulisan yang terdengar sempurna tetapi faktanya salah, dan risikonya bisa lebih tinggi pada bahasa yang memiliki lebih sedikit data pelatihan.

Konteks budaya dan regulasi juga perlu diperhatikan. Terjemahan bisa saja benar secara teknis, tetapi tetap tidak sesuai untuk pasar yang dituju. Misalnya, bahasa Jerman dan Jepang memerlukan tingkat formalitas yang tidak ada dalam bahasa Inggris. Aturan periklanan di Tiongkok juga membatasi klaim seperti “yang terbaik”.

Konsistensi juga menjadi tantangan. Dalam penggunaan skala besar, perangkat AI generik dapat menghasilkan terminologi dan suara merek yang tidak konsisten. Seorang eksekutif pernah mengatakan kepada saya bahwa perusahaannya memiliki 300.000 karyawan dan, berkat AI generik, 300.000 suara yang berbeda.

Dampaknya bahkan bisa menyangkut keselamatan fisik. Jika instruksi keselamatan untuk menarik tuas diterjemahkan secara keliru, derek bisa jatuh di lokasi konstruksi.

Seperti apa agen AI dalam alur kerja lokalisasi, dan sejauh mana prosesnya dapat berjalan otomatis dengan pengawasan manusia?

Agen AI merupakan salah satu langkah dalam alur kerja lokalisasi. Satu model menerjemahkan, sementara model lain meninjau, memeriksa halusinasi, mengembalikan terminologi yang telah disetujui, dan menyesuaikan konten untuk pasar yang dituju. Pemeriksaan kualitas kemudian menentukan apakah konten dapat diterbitkan, perlu ditinjau manusia secara singkat, atau memerlukan peninjauan menyeluruh.

Sejauh mana proses dapat diotomatisasi bergantung pada risikonya. Sebagian besar pekerjaan kami yang berisiko rendah sudah sepenuhnya otomatis, tetapi konten sensitif dan yang diatur oleh regulasi tetap memerlukan keterlibatan manusia.

Otomatisasi penuh tidak selalu menjadi tujuan, karena model membutuhkan umpan balik manusia untuk berkembang. Tujuannya adalah mengurangi beban kerja manusia tanpa menghilangkan pertimbangan manusia.

Dalam lima tahun, apakah kesenjangan akan menyempit atau melebar, dan apa yang dapat membuat AI benar-benar multibahasa dalam skala global?

Kesenjangan itu bisa menyempit atau melebar. Bahasa-bahasa yang awalnya paling tertinggal kini berkembang paling pesat, dan semakin banyak organisasi mengumpulkan data untuk bahasa yang memiliki sedikit konten daring, termasuk data bahasa lisan.

Namun, bentuk kesenjangannya berubah. AI dapat menangani suatu bahasa dengan baik, tetapi tetap membawa asumsi penutur bahasa Inggris dari data pelatihannya.

AI yang benar-benar multibahasa memerlukan pendekatan berbeda. Salah satu caranya adalah menggunakan model yang lebih kecil dan disesuaikan untuk bahasa serta bidang tertentu, alih-alih mengharapkan satu model umum menangani semuanya. Pendekatan ini juga memerlukan data yang lebih beragam dari berbagai bahasa dan ranah. Tokenisasi yang lebih baik dibutuhkan untuk bahasa-bahasa yang belum tertangani dengan baik oleh pendekatan saat ini. Selain itu, diperlukan data sintetis dan pemindahan pengetahuan yang dipelajari model dari satu bahasa ke bahasa lain yang terkait, agar peningkatan tidak hanya terbatas pada bahasa dengan data terbanyak.

Teknologinya sudah ada, tetapi yang menjadi pertanyaan adalah apakah perusahaan yang mengembangkan model-model ini akan memprioritaskan kinerja multibahasa.

Terima kasih atas wawancara yang luar biasa. Pembaca yang ingin mendalami penerjemahan AI, evaluasi kualitas multibahasa, dan alur kerja pelokalan dengan pengawasan manusia dapat mengunjungi Smartling.