Olga Beregovaya, vicepreședintă pentru IA la Smartling – Seria de interviuri

Olga Beregovaya este vicepreședintă pentru IA la Smartling, unde coordonează strategia în domeniul IA pentru traducere, date, calitate și siguranță. Lucrează în procesarea limbajului natural din 1997, perioadă în care a avut experiență cu sisteme bazate pe reguli, modele statistice, rețele neuronale și modele lingvistice mari. Înainte de a se alătura companiei Smartling, a fost vicepreședintă pentru inovație în domeniul IA la Welocalize și directoare generală a PROMT Americas.

Smartling oferă software și servicii de traducere și localizare pentru companii, combinând IA și traducerea automată cu expertiza umană. Platforma sa permite desfășurarea fluxurilor de lucru multilingve pentru site-uri web, aplicații, materiale de marketing, documente și conținut multimedia și oferă acces la peste 20 de modele lingvistice mari și motoare de traducere automată. În acest interviu, Beregovaya discută despre decalajul dintre limbile acceptate de IA, calitatea traducerii, alegerea modelelor și rolul supravegherii umane în localizarea automatizată.

Cum ți-a influențat acest parcurs modul în care privești rolul IA în limbaj și ce te-a determinat să conduci strategia în domeniul IA la Smartling?

Am studiat structura limbilor și modul în care funcționează familiile lingvistice. Așa am înțeles că traducerea ține de structură și sens, nu de înlocuirea cuvintelor unul câte unul. Privesc IA în același fel.

Am început să lucrez în procesarea limbajului natural în 1997, când sistemele se bazau pe reguli scrise manual. De atunci, am lucrat cu modele statistice, rețele neuronale și modelele lingvistice mari de astăzi. Fiecare a rezolvat unele probleme și a creat altele. Nu cred că există un singur model care să fie răspunsul.

M-am alăturat companiei Smartling pentru că a fost creată pentru a traduce orice tip de conținut destinat companiilor, de la site-uri web și aplicații la documente juridice, materiale de marketing și videoclipuri. Am început ca vicepreședintă pentru traducere automată, însă rolul s-a extins rapid dincolo de traducere, incluzând formularea prompturilor, datele, calitatea și siguranța. Astfel, titlul a devenit vicepreședintă pentru IA.

Cum se manifestă acest decalaj în practică și de ce ar putea deveni mai important pe măsură ce IA generativă devine o interfață principală?

Înainte, decalajul era simplu: fie un sistem de IA era compatibil cu limba ta, fie nu era. În mare parte, problema aceasta este acum rezolvată, dar decalajul a căpătat o altă formă. Acum contează cât de bine reflectă datele de antrenare ale modelului limba respectivă, vorbitorii ei și cultura acestora. Majoritatea datelor folosite pentru antrenarea modelelor sunt în engleză, așa că includ și presupozițiile vorbitorilor de engleză. O traducere poate fi corectă din punct de vedere tehnic și, totuși, poate impune unei alte limbi o perspectivă specifică vorbitorilor de engleză.

IA devine modul prin care oamenii interacționează cu băncile, medicii, școlile și alte servicii esențiale. Dacă IA gestionează bine limba ta, ai un avantaj; dacă o gestionează prost, ești dezavantajat.

Ce te-a surprins cel mai mult și cum se explică faptul că suedeza obține rezultate mai bune decât hindi, deși are mult mai puțini vorbitori?

Numărul vorbitorilor este un indicator surprinzător de slab al calității traducerii. Suedeza, cu aproximativ 10 milioane de vorbitori, a dat unele dintre cele mai bune rezultate. Hindi, cu aproximativ 600 de milioane de vorbitori, s-a numărat printre limbile cu cele mai slabe rezultate, alături de estonă și thailandeză.

Structura limbii și calitatea datelor contează mult mai mult. Suedeza are o gramatică relativ simplă și multe date de antrenare curate. În estonă, terminațiile cuvintelor se schimbă constant pentru a transmite sensul, ceea ce sporește complexitatea pe care IA trebuie să o gestioneze. Hindi are sute de milioane de vorbitori, dar mult mai puține date de antrenare de calitate și variate decât te-ai aștepta având în vedere numărul acestora.

O altă surpriză a fost că progresul a diferit de la un laborator la altul. Limbile care au pornit de la rezultate mai slabe au înregistrat, de obicei, cele mai mari îmbunătățiri de la o generație de modele la următoarea, dar această tendință nu se confirmă întotdeauna.

Dincolo de volumul datelor de antrenare, ce factori influențează cel mai mult performanța modelelor?

Tokenizarea este unul dintre cei mai importanți factori. Aceasta este modalitatea prin care un model împarte textul în fragmente înainte de a-l procesa și contează în special pentru limbile care nu folosesc alfabetul latin. O tokenizare deficitară limitează tot ce urmează.

Contează și structura limbii. Limbile cu terminații complexe ale cuvintelor pot fi mai greu de gestionat pentru modele. De exemplu, în germană, cuvintele se îmbină unele cu altele, astfel încât un singur cuvânt poate ajunge la 40 de caractere, ceea ce solicită mai mult un model decât limbi precum spaniola sau franceza.

Apoi, contează calitatea datelor. Datele slabe duc la rezultate slabe. Exactitatea, varietatea și reprezentativitatea datelor sunt extrem de importante pentru performanța IA în traducere.

În sfârșit, contează evaluarea. Folosim TER, BLEU, CHRF3 și MetricX și comparăm rezultatele cu traduceri umane de încredere. Un model poate suna natural, dar poate reda greșit sensul.

Ce responsabilitate le revine laboratoarelor de vârf și cum ar arăta un progres semnificativ?

Laboratoarele de vârf au cea mai mare responsabilitate, deoarece controlează cele mai avansate modele lingvistice. Alegerile lor pot fie să adâncească decalajul, fie să contribuie la reducerea lui. Totuși, traducerea concurează adesea cu raționamentul, programarea și siguranța pentru a obține atenție, așa că puține laboratoare au echipe dedicate acestui domeniu.

Trei lucruri ar aduce o schimbare semnificativă:

1. Să creeze date de înaltă calitate pentru mai multe limbi și domenii.
2. Îmbunătățiți tokenizarea limbilor pentru care abordările actuale nu dau rezultate satisfăcătoare.
3. Și evaluați fiecare model nou și în raport cu limbile pentru care există mai puține date de antrenare, nu doar cu cele mai răspândite.

O oportunitate majoră este crearea de date de antrenare pentru limbile care sunt foarte puțin reprezentate online. O mare parte din această muncă se desfășoară în afara marilor laboratoare. Colaborăm cu grupuri precum African Language Lab pentru a crea date pentru limbile africane.

Cum stabilește Smartling care dintre cele peste 20 de motoare ale sale se potrivește unei anumite limbi, unui anumit tip de conținut sau unui anumit caz de utilizare?

Le testăm, în loc să presupunem că un anumit model este cel mai bun. Evaluăm fiecare model în raport cu traduceri umane de încredere, folosind TER, BLEU, CHRF3 și MetricX. Un client ne poate furniza conținutul său de marketing, iar în aproximativ o săptămână îi putem arăta performanța fiecărui model în funcție de limbă și domeniu. Cel mai bun model pentru conținutul de marketing în spaniola latino-americană s-ar putea să nu fie cel mai bun pentru o altă limbă sau pentru conținut sensibil.

Ținem cont și de riscuri. Conținutul utilizatorilor cu risc mai scăzut poate trece printr-un proces de verificare mai simplu. Conținutul reglementat sau esențial pentru brand este verificat mai atent și, de regulă, și de o persoană. Deoarece modelele pot fi adăugate sau eliminate pe măsură ce performanța se schimbă, nu suntem legați de un singur furnizor.

În ce situații sistemele specializate de traducere continuă să ofere rezultate mai bune decât modelele lingvistice mari de uz general și cum vor ajunge să se completeze?

Traducerea automată specializată oferă în continuare rezultate mai bune atunci când predictibilitatea este esențială. Este deosebit de utilă pentru conținutul sensibil și pentru anumite limbi. Modelele lingvistice mari generează texte mai naturale, dar pot și să halucineze cu multă siguranță.

La Smartling, le combinăm pe cele două. Un model specializat de traducere generează prima versiune, folosind terminologia și datele din domeniul clientului. Apoi, un model lingvistic mare o editează, restabilind terminologia aprobată, aplicând potrivirile din traducerile anterioare și îmbunătățind textul.

Modelul devine doar o componentă a sistemului. În prezent, instrucțiunile, datele, personalizarea și măsurile de siguranță sunt la fel de importante.

Care sunt principalele riscuri de care ar trebui să țină cont companiile atunci când folosesc inteligența artificială generativă pentru conținut multilingv?

Halucinațiile, fără îndoială. Exemplul meu preferat este cel al unei persoane care întreabă un sistem de inteligență artificială dacă o ciupercă este otrăvitoare. Sistemul răspunde „nu” cu deplină convingere, iar piatra funerară a persoanei dovedește că s-a înșelat. În traducere, acest fenomen se manifestă prin texte care par perfecte, dar conțin informații eronate, iar riscul poate fi mai mare în limbile pentru care există mai puține date de antrenare.

Apoi există contextul cultural și de reglementare. O traducere poate fi corectă din punct de vedere tehnic și totuși nepotrivită pentru piața respectivă. De exemplu, limba germană și limba japoneză impun niveluri de formalitate pe care engleza nu le cere. De asemenea, regulile chineze privind publicitatea restricționează afirmații precum „cel mai bun”.

Un alt aspect este consecvența. La scară largă, instrumentele generice de inteligență artificială pot genera terminologie inconsecventă și o voce de brand neuniformă. Un director mi-a spus că firma sa are 300.000 de angajați și, grație inteligenței artificiale generice, 300.000 de voci diferite.

Iar consecințele pot fi fizice. Dacă o instrucțiune de siguranță privind tragerea unei manete este tradusă greșit, o macara se poate prăbuși pe un șantier.

Cum arată un agent de inteligență artificială într-un flux de lucru de localizare și cât de mult se poate automatiza sub supravegherea unei persoane?

Un agent de inteligență artificială este o etapă dintr-un flux de lucru de localizare. Un model traduce, iar altul verifică traducerea, detectează halucinațiile, restabilește terminologia aprobată și adaptează conținutul pentru piața respectivă. Apoi, o verificare a calității stabilește dacă materialul poate fi publicat, dacă este nevoie de o verificare rapidă de către o persoană sau dacă trebuie verificat în întregime.

Cât de mult se poate automatiza depinde de nivelul de risc. O mare parte din activitățile noastre cu risc mai scăzut este deja complet automatizată, însă conținutul sensibil și cel reglementat necesită în continuare intervenția oamenilor.

Automatizarea completă nu este întotdeauna scopul, deoarece modelele au nevoie de feedback uman pentru a se îmbunătăți. Scopul este să reducem volumul de muncă al oamenilor fără a elimina judecata umană.

Peste cinci ani, decalajul se va micșora sau se va mări și ce ar trebui să se întâmple pentru ca inteligența artificială să fie cu adevărat multilingvă la scară globală?

Este posibil în ambele sensuri. Limbile care au pornit de la cea mai slabă poziție înregistrează cele mai rapide progrese, iar tot mai multe organizații colectează date pentru limbile cu puțin conținut online, inclusiv date despre limba vorbită.

Însă natura decalajului se schimbă. Inteligența artificială poate gestiona bine o limbă și, totuși, poate prelua din datele de antrenare presupuneri specifice vorbitorilor de engleză.

Inteligența artificială cu adevărat multilingvă necesită o abordare diferită. Aceasta ar putea presupune modele mai mici, adaptate anumitor limbi și domenii, în locul unui singur model general, de la care se așteaptă să facă totul. Este nevoie de date mai diverse pentru limbi și domenii diferite. De o tokenizare mai bună pentru limbile pentru care abordările actuale nu dau rezultate satisfăcătoare. Și de date sintetice, precum și de transferul către limbi înrudite a ceea ce învață un model într-o anumită limbă, astfel încât progresele să nu se limiteze la limbile cu cele mai multe date.

Tehnologia există, însă întrebarea este dacă firmele care dezvoltă aceste modele vor acorda prioritate performanței multilingve.

Vă mulțumim pentru interviul excelent. Cititorii care doresc să exploreze traducerea cu ajutorul IA, evaluarea calității multilingve și fluxurile de lucru pentru localizare cu supraveghere umană ar trebui să viziteze Smartling.