Olga Beregovaya, vicepresident AI bij Smartling – interviewreeks

Olga Beregovaya is vicepresident AI bij Smartling, waar ze de AI-strategie aanstuurt voor vertaling, data, kwaliteit en veiligheid. Sinds 1997 werkt ze op het gebied van natuurlijke taalverwerking, met ervaring in systemen op basis van regels, statistische modellen, neurale netwerken en grote taalmodellen. Voordat ze bij Smartling kwam, was ze vicepresident AI-innovatie bij Welocalize en CEO van PROMT Americas.

Smartling biedt vertaal- en lokalisatiesoftware en -diensten voor bedrijven. Het combineert AI en automatische vertaling met menselijke expertise. Het platform ondersteunt meertalige workflows voor websites, applicaties, marketing, documenten en multimedia, met toegang tot meer dan 20 LLM’s en automatische vertaalsystemen. In dit interview bespreekt Beregovaya de kloof tussen talen in AI, de kwaliteit van vertalingen, de keuze van modellen en de rol van menselijk toezicht bij geautomatiseerde lokalisatie.

Hoe heeft dat traject je kijk op de rol van AI bij taal gevormd, en wat bracht je ertoe om de AI-strategie bij Smartling aan te sturen?

Ik heb bestudeerd hoe talen zijn opgebouwd en hoe taalfamilies werken. Daardoor leerde ik dat vertalen draait om structuur en betekenis, niet om woord-voor-woordvervanging. Op dezelfde manier kijk ik naar AI.

In 1997 begon ik te werken op het gebied van natuurlijke taalverwerking, toen systemen nog op handgeschreven regels waren gebaseerd. Sindsdien heb ik gewerkt met statistische modellen, neurale netwerken en de grote taalmodellen van vandaag. Elk daarvan loste bepaalde problemen op en bracht andere met zich mee. Ik geloof niet dat één model de oplossing is.

Ik ging bij Smartling werken omdat het bedrijf was opgericht om alle soorten zakelijke content te vertalen, van websites en apps tot juridische documenten, marketingmateriaal en video. Ik begon als vicepresident automatische vertaling, maar mijn rol breidde zich al snel uit van vertalen naar promptontwerp, data, kwaliteit en veiligheid. Daarom werd mijn titel vicepresident AI.

Hoe ziet die kloof er in de praktijk uit, en waarom kan die belangrijker worden nu generatieve AI een primaire interface wordt?

De kloof was vroeger eenvoudig: een AI-systeem ondersteunde je taal, of niet. Die kwestie is nu grotendeels opgelost, maar de kloof heeft een andere vorm aangenomen. Het gaat er nu om in hoeverre de trainingsgegevens van een model die taal, de sprekers ervan en hun cultuur weerspiegelen. De meeste trainingsgegevens voor modellen zijn Engelstalig en nemen daardoor Engelstalige aannames met zich mee. Een vertaling kan technisch correct zijn en toch een Engelstalig perspectief opleggen aan een andere taal.

AI wordt steeds vaker de manier waarop mensen contact hebben met banken, artsen, scholen en andere essentiële diensten. Wie een taal goed met AI kan verwerken, heeft een voordeel; wie dat slecht kan, staat op achterstand.

Wat verraste je het meest, en hoe komt het dat Zweeds beter presteert dan Hindi, ondanks het veel kleinere aantal sprekers?

Het aantal sprekers blijkt verrassend genoeg een slechte voorspeller van de vertaalkwaliteit. Het Zweeds, met ongeveer 10 miljoen sprekers, leverde enkele van de beste resultaten op. Het Hindi, met ongeveer 600 miljoen sprekers, behoorde tot de zwakste talen, net als het Ests en het Thai.

De taalstructuur en de kwaliteit van de gegevens zijn veel belangrijker. Het Zweeds heeft een relatief eenvoudige grammatica en er is veel bruikbaar trainingsmateriaal beschikbaar. In het Ests veranderen woordeindes voortdurend om betekenis over te brengen, wat het voor AI ingewikkelder maakt. Het Hindi heeft honderden miljoenen sprekers, maar er zijn veel minder hoogwaardige en gevarieerde trainingsgegevens beschikbaar dan je op basis van dat aantal sprekers zou verwachten.

Een andere verrassing was dat de vooruitgang per laboratorium verschilde. Talen die aanvankelijk minder goed presteerden, gingen doorgaans het meest vooruit van de ene generatie modellen op de andere, maar dat patroon gaat niet altijd op.

Welke factoren, naast de hoeveelheid trainingsgegevens, zijn het belangrijkst voor de prestaties van een model?

Tokenisatie is een van de belangrijkste factoren. Daarbij verdeelt een model tekst in stukjes voordat het die verwerkt. Dat is vooral belangrijk voor talen die het Latijnse alfabet niet gebruiken. Slechte tokenisatie beperkt alles wat daarna komt.

Ook de taalstructuur speelt een rol. Modellen kunnen meer moeite hebben met talen waarin woordeindes complex zijn. Zo plakt men in het Duits woorden aan elkaar, waardoor één woord wel 40 tekens lang kan worden. Dat stelt hogere eisen aan een model dan talen als het Spaans of Frans.

Dan is er nog de kwaliteit van de gegevens. Slechte gegevens leiden tot slechte resultaten. De nauwkeurigheid, variatie en representativiteit van gegevens zijn van cruciaal belang voor de prestaties van AI bij vertalingen.

En tot slot de meting. We gebruiken TER, BLEU, CHRF3 en MetricX en vergelijken de resultaten met betrouwbare menselijke vertalingen. Een model kan natuurlijk klinken en toch de betekenis verkeerd weergeven.

Welke verantwoordelijkheid dragen de toonaangevende AI-labs, en hoe zou betekenisvolle vooruitgang eruitzien?

De toonaangevende AI-labs dragen de grootste verantwoordelijkheid, omdat zij de meest geavanceerde taalmodellen beheren. Hun keuzes kunnen de kloof vergroten of juist helpen verkleinen. Vertalen moet echter vaak concurreren met redeneren, programmeren en veiligheid om aandacht, waardoor maar weinig labs teams hebben die zich er specifiek op richten.

Drie dingen zouden een betekenisvol verschil maken:

1. Ontwikkel hoogwaardige gegevens voor meer talen en vakgebieden.
2. Verbeter de tokenisatie voor talen waarvoor de huidige methoden tekortschieten.
3. En toets elk nieuw model aan talen met minder trainingsdata, niet alleen aan de grootste talen.

Een belangrijke kans ligt in het opbouwen van trainingsdata voor talen die online nauwelijks vertegenwoordigd zijn. Veel van dat werk vindt plaats buiten de grote labs. We werken samen met groepen zoals het African Language Lab om data voor Afrikaanse talen op te bouwen.

Hoe bepaalt Smartling welke van zijn ruim 20 vertaalengines geschikt is voor een bepaalde taal, contentsoort of toepassing?

We testen de modellen in plaats van ervan uit te gaan dat één model het beste is. Elk model wordt beoordeeld aan de hand van betrouwbare menselijke vertalingen, met behulp van TER, BLEU, CHRF3 en MetricX. Een klant kan ons marketingcontent aanleveren, waarna we binnen ongeveer een week kunnen laten zien hoe elk model presteert per taal en vakgebied. Het beste model voor marketing in Latijns-Amerikaans Spaans is mogelijk niet het beste model voor een andere taal of voor gevoelige content.

We houden ook rekening met risico’s. Voor content van gebruikers met een lager risico kan een lichter beoordelingsproces volstaan. Content waarvoor regelgeving geldt of die cruciaal is voor het merk, wordt vaker gecontroleerd en meestal ook door een mens nagekeken. Omdat modellen kunnen worden toegevoegd of verwijderd als hun prestaties veranderen, zitten we niet vast aan één aanbieder.

Op welke gebieden presteren gespecialiseerde vertaalsystemen nog beter dan LLM’s voor algemene doeleinden, en hoe zullen die twee naar elkaar toegroeien?

Gespecialiseerde machinevertaling is nog steeds de beste keuze wanneer voorspelbaarheid vooropstaat. Dat geldt vooral voor gevoelige content en bepaalde talen. LLM’s leveren natuurlijker klinkende teksten op, maar kunnen ook met grote stelligheid hallucineren.

Bij Smartling combineren we de twee. Een gespecialiseerd vertaalmodel maakt een eerste versie op basis van de terminologie en domeingegevens van de klant. Vervolgens bewerkt een LLM die tekst, herstelt het de goedgekeurde terminologie, past het overeenkomsten uit eerdere vertalingen toe en verbetert het de formulering.

Het model wordt steeds meer slechts één onderdeel van het systeem. Prompts, data, maatwerk en veiligheidsmaatregelen zijn nu minstens zo belangrijk.

Met welke grote risico’s moeten bedrijven rekening houden als ze generatieve AI gebruiken voor meertalige content?

Hallucinaties, zonder twijfel. Mijn favoriete voorbeeld is iemand die aan een AI vraagt of een paddenstoel giftig is. De AI antwoordt vol overtuiging van niet, maar de grafsteen van die persoon bewijst dat het antwoord fout was. Bij vertalingen uit zich dit in teksten die perfect klinken, maar feitelijk onjuist zijn. Dat risico kan groter zijn bij talen waarvoor minder trainingsdata beschikbaar is.

Dan is er nog de culturele en regelgevende context. Een vertaling kan technisch correct zijn en toch niet geschikt zijn voor de markt. Zo vereisen het Duits en het Japans een mate van formaliteit die het Engels niet kent. Ook gelden er in China beperkingen voor reclameclaims zoals ‘de beste’.

Ook consistentie is een aandachtspunt. Op grote schaal kunnen algemene AI-tools leiden tot inconsistente terminologie en een wisselende merkstem. Een bestuurder vertelde me dat zijn bedrijf 300.000 medewerkers heeft en dankzij algemene AI 300.000 verschillende stemmen.

En er kan zelfs fysiek gevaar ontstaan. Als een veiligheidsinstructie om aan een hendel te trekken verkeerd wordt vertaald, kan er op een bouwplaats een kraan omvallen.

Hoe ziet een AI-agent eruit binnen een lokalisatieworkflow, en hoeveel kan er met menselijk toezicht autonoom verlopen?

Een AI-agent is één stap in een lokalisatieworkflow. Het ene model vertaalt, terwijl een ander model de vertaling controleert, nagaat of er sprake is van hallucinaties, de goedgekeurde terminologie herstelt en de content aanpast aan de markt. Vervolgens bepaalt een kwaliteitscontrole of de content kan worden gepubliceerd, nog een snelle menselijke controle nodig heeft of volledig moet worden nagekeken.

Hoeveel er kan worden geautomatiseerd, hangt af van het risico. Veel van ons werk met een lager risico verloopt al volledig geautomatiseerd, maar voor gevoelige content en content waarop regelgeving van toepassing is, zijn nog steeds mensen nodig.

Volledige automatisering is niet altijd het doel, want modellen hebben feedback van mensen nodig om beter te worden. Het doel is de werklast voor mensen te verlagen zonder hun beoordelingsvermogen buitenspel te zetten.

Zal de kloof over vijf jaar kleiner of groter zijn, en wat is er nodig om AI op wereldwijde schaal echt meertalig te maken?

Het kan beide kanten opgaan. Talen die aanvankelijk het minst goed werden ondersteund, verbeteren het snelst. Ook verzamelen steeds meer organisaties data voor talen waarvoor online weinig content beschikbaar is, waaronder data over gesproken taal.

Maar de kloof verandert van aard. AI kan een taal goed beheersen en toch aannames uit de Engelstalige wereld overnemen uit de trainingsdata.

Echt meertalige AI vraagt om een andere aanpak. Dat kan betekenen dat er kleinere modellen worden ontwikkeld voor specifieke talen en vakgebieden, in plaats van één algemeen model dat alles moet kunnen. Het vraagt om meer uiteenlopende data uit verschillende talen en domeinen. Ook is betere tokenisatie nodig voor talen waarvoor de huidige methoden tekortschieten. Daarnaast zijn synthetische data nodig en moet kennis die een model in de ene taal opdoet, worden overgedragen naar verwante talen, zodat verbeteringen niet beperkt blijven tot de talen met de meeste data.

De technologie bestaat, maar de vraag is of de bedrijven die deze modellen ontwikkelen meertalige prestaties prioriteit geven.

Bedankt voor het geweldige interview. Lezers die meer willen weten over AI-vertaling, meertalige kwaliteitsevaluatie en lokalisatieworkflows met menselijk toezicht, kunnen terecht bij Smartling.