Olga Beregovaya, viceprezidentka pro AI ve Smartling – série rozhovorů

Olga Beregovaya je viceprezidentkou pro AI ve společnosti Smartling, kde vede strategii v oblasti AI napříč překlady, daty, kvalitou a bezpečností. Zpracování přirozeného jazyka se věnuje od roku 1997; pracovala s pravidlovými systémy, statistickými modely, neuronovými sítěmi i velkými jazykovými modely. Před nástupem do Smartling působila jako viceprezidentka pro inovace v oblasti AI ve společnosti Welocalize a jako generální ředitelka PROMT Americas.

Smartling poskytuje podnikový software a služby pro překlady a lokalizaci a propojuje AI a strojový překlad s lidskou odborností. Jeho platforma podporuje vícejazyčné pracovní postupy pro webové stránky, aplikace, marketing, dokumenty a multimédia a nabízí přístup k více než 20 velkým jazykovým modelům a nástrojům strojového překladu. V tomto rozhovoru Beregovaya hovoří o jazykové propasti v oblasti AI, kvalitě překladů, výběru modelů a úloze lidského dohledu při automatizované lokalizaci.

Jak tato cesta ovlivnila váš pohled na úlohu AI v jazyce a co vás přivedlo k vedení strategie AI ve Smartling?

Studovala jsem, jak jsou jazyky uspořádány a jak fungují jazykové rodiny. Díky tomu jsem pochopila, že překlad je otázkou struktury a významu, nikoli nahrazování slov jedno za druhé. Stejně přemýšlím i o AI.

Zpracování přirozeného jazyka jsem se začala věnovat v roce 1997, kdy byly systémy založené na ručně psaných pravidlech. Od té doby jsem pracovala se statistickými modely, neuronovými sítěmi i dnešními velkými jazykovými modely. Každý z těchto přístupů některé problémy vyřešil a jiné vytvořil. Nemyslím si, že existuje jediný model, který by byl odpovědí na všechno.

Do Smartling jsem nastoupila, protože tato společnost vznikla s cílem překládat všechny druhy podnikového obsahu – od webových stránek a aplikací přes právní dokumenty a marketing až po video. Začínala jsem jako viceprezidentka pro strojový překlad, ale moje role se brzy rozšířila i na práci s prompty, data, kvalitu a bezpečnost. Proto se můj titul změnil na viceprezidentku pro AI.

Jak se tato propast projevuje v praxi a proč by její důsledky mohly být závažnější, až se generativní AI stane hlavním rozhraním?

Dříve byla propast jednoduchá: buď systém AI váš jazyk podporoval, nebo ne. Tato otázka je dnes z větší části vyřešená, ale podoba propasti se změnila. Nyní záleží na tom, nakolik tréninková data modelu reprezentují daný jazyk, jeho mluvčí a jejich kulturu. Většina tréninkových dat modelů je v angličtině, a nese si tak s sebou předpoklady vycházející z anglofonního prostředí. Překlad může být technicky přesný, a přesto do jiného jazyka přenášet anglofonní pohled na svět.

AI se stává prostředkem, jehož prostřednictvím lidé komunikují s bankami, lékaři, školami a dalšími zásadními službami. Pokud si AI s určitým jazykem dobře poradí, získáváte výhodu; pokud si s ním poradí špatně, jste znevýhodněni.

Co vás překvapilo nejvíc a proč švédština dosahuje lepších výsledků než hindština, přestože má mnohem méně mluvčích?

Počet mluvčích je překvapivě špatným ukazatelem kvality překladu. Švédština, kterou mluví přibližně 10 milionů lidí, dosáhla jedněch z nejlepších výsledků. Hindština s přibližně 600 miliony mluvčích patřila k nejslabším jazykům, stejně jako estonština a thajština.

Mnohem důležitější jsou struktura jazyka a kvalita dat. Švédština má poměrně jednoduchou gramatiku a k dispozici je pro ni mnoho kvalitních tréninkových dat. V estonštině se koncovky slov neustále mění, aby vyjadřovaly význam, což je pro AI náročnější. Hindštinou mluví stovky milionů lidí, ale kvalitních a rozmanitých tréninkových dat je pro ni mnohem méně, než byste vzhledem k počtu jejích mluvčích čekali.

Dalším překvapením bylo, že pokrok se v jednotlivých laboratořích neubíral stejným směrem. Jazyky, které zpočátku dosahovaly slabších výsledků, se mezi jednotlivými generacemi modelů obvykle zlepšovaly nejvíc, tento vzorec ale neplatí vždy.

Které faktory kromě objemu tréninkových dat nejvíc ovlivňují výkon modelu?

Jedním z nejdůležitějších faktorů je tokenizace. Jde o způsob, jakým model před zpracováním rozděluje text na části; to je zvlášť důležité u jazyků, které nepoužívají latinku. Nekvalitní tokenizace omezuje vše, co následuje.

Důležitá je také struktura jazyka. Jazyky se složitými koncovkami slov mohou být pro modely náročnější. Například v němčině se slova skládají dohromady, takže jediné slovo může mít až 40 znaků, což klade na model větší nároky než jazyky, jako jsou španělština nebo francouzština.

Dalším faktorem je kvalita dat. Špatná data vedou ke špatným výsledkům. Přesnost, rozmanitost a reprezentativnost dat jsou pro kvalitu překladů pomocí AI naprosto zásadní.

A konečně záleží na měření. Používáme metriky TER, BLEU, CHRF3 a MetricX a výsledky porovnáváme s ověřenými lidskými překlady. Model může znít přirozeně, a přitom chybně vystihnout význam.

Jakou odpovědnost mají přední laboratoře vyvíjející AI a jak by vypadal skutečně významný pokrok?

Největší odpovědnost mají přední laboratoře, protože ovládají nejpokročilejší jazykové modely. Jejich rozhodnutí mohou propast buď prohloubit, nebo pomoci ji zmenšit. Překlad však často soupeří o pozornost s uvažováním, programováním a bezpečností, takže jen málo laboratoří má vlastní týmy, které se na něj zaměřují.

Významný rozdíl by přinesly tři věci:

1. Vytvářet kvalitní data pro více jazyků a oborů.
2. Zlepšit tokenizaci jazyků, u nichž současné přístupy nestačí.
3. A každý nový model hodnotit i podle toho, jak si vede v jazycích s menším množstvím trénovacích dat, nejen v těch nejrozšířenějších.

Významnou příležitostí je vytvářet trénovací data pro jazyky, které mají na internetu jen velmi malé zastoupení. Velká část této práce probíhá mimo velké výzkumné laboratoře. Spolupracujeme například s African Language Lab na tvorbě dat pro africké jazyky.

Jak Smartling určuje, který z více než 20 překladových modulů se hodí pro konkrétní jazyk, typ obsahu nebo účel?

Modely testujeme, místo abychom předpokládali, že jeden z nich je nejlepší. Každý model hodnotíme ve srovnání s důvěryhodnými lidskými překlady pomocí metrik TER, BLEU, CHRF3 a MetricX. Zákazník nám může poskytnout svůj marketingový obsah a zhruba do týdne mu ukážeme, jak si jednotlivé modely vedou v různých jazycích a oborech. Model, který je nejlepší pro marketingové texty ve španělštině pro Latinskou Ameriku, nemusí být nejlepší pro jiný jazyk nebo citlivý obsah.

Zohledňujeme také míru rizika. Uživatelský obsah s nízkým rizikem může projít méně důkladnou kontrolou. Obsah podléhající regulaci nebo zásadní pro značku prochází více kontrolami a obvykle také kontrolou člověkem. Protože modely můžeme podle změn jejich výkonnosti přidávat i odebírat, nejsme vázáni na jediného poskytovatele.

V čem specializované překladové systémy stále překonávají univerzální velké jazykové modely (LLM) a jak se budou tyto dva přístupy sbližovat?

Specializovaný strojový překlad stále vítězí tam, kde je nejdůležitější předvídatelnost. Hodí se zejména pro citlivý obsah a některé jazyky. LLM vytvářejí přirozenější texty, ale mohou si také sebejistě vymýšlet.

Ve Smartlingu oba přístupy kombinujeme. Specializovaný překladový model vytvoří první návrh s využitím zákaznické terminologie a oborových dat. LLM jej pak upraví, obnoví schválenou terminologii, použije shody z předchozích překladů a zlepší styl textu.

Model se stává jen jednou součástí celého systému. Stejně důležité jsou nyní pokyny pro model, data, přizpůsobení a bezpečnostní opatření.

Jaká jsou největší rizika, která by podniky měly zvážit při používání generativní umělé inteligence pro vícejazyčný obsah?

Především halucinace. Nejraději uvádím příklad člověka, který se umělé inteligence zeptá, zda je houba jedovatá. Ta s naprostou jistotou odpoví, že ne, a náhrobek onoho člověka dokazuje, že se mýlila. V překladu se to projevuje textem, který zní dokonale, ale obsahuje faktické chyby. Toto riziko může být vyšší v jazycích s menším množstvím trénovacích dat.

Důležitý je také kulturní a regulační kontext. Překlad může být technicky správný, a přesto se pro daný trh nehodit. Například němčina a japonština vyžadují takovou míru formálnosti, jakou angličtina nevyžaduje. Čínská pravidla pro reklamu navíc zakazují tvrzení typu „nejlepší“.

Dalším problémem je konzistence. Ve velkém měřítku mohou běžné nástroje umělé inteligence vést k nekonzistentní terminologii a hlasu značky. Jeden vedoucí pracovník mi řekl, že jeho společnost má 300 000 zaměstnanců a díky běžné umělé inteligenci také 300 000 různých hlasů.

V sázce může být i fyzická bezpečnost. Pokud se nesprávně přeloží bezpečnostní pokyn, aby někdo zatáhl za páku, může se na staveništi zřítit jeřáb.

Jak vypadá agent umělé inteligence v lokalizačním procesu a jak velkou část práce lze automatizovat při zachování lidského dohledu?

Agent umělé inteligence je jedním krokem v lokalizačním procesu. Jeden model překládá, zatímco jiný text kontroluje, ověřuje, zda neobsahuje halucinace, obnovuje schválenou terminologii a přizpůsobuje obsah danému trhu. Následná kontrola kvality rozhodne, zda lze obsah publikovat, zda stačí rychlá kontrola člověkem, nebo zda je nutná důkladná kontrola.

Míra automatizace závisí na riziku. Velká část naší práce s nízkým rizikem je již plně automatizovaná, ale citlivý obsah a obsah podléhající regulaci stále vyžadují zapojení lidí.

Cílem není vždy úplná automatizace, protože modely ke zlepšování potřebují zpětnou vazbu od lidí. Cílem je snížit pracovní zátěž lidí, aniž bychom odstranili jejich úsudek.

Zúží se, nebo prohloubí rozdíly během příštích pěti let a co by umožnilo umělé inteligenci skutečně zvládat mnoho jazyků v globálním měřítku?

Může se stát obojí. Jazyky, které na tom zpočátku byly nejhůře, se zlepšují nejrychleji a stále více organizací shromažďuje data pro jazyky s malým množstvím obsahu na internetu, včetně dat mluveného jazyka.

Rozdíly se ale mění. Umělá inteligence může daný jazyk dobře ovládat, a přesto přebírat z trénovacích dat předpoklady typické pro anglicky mluvící prostředí.

Skutečně vícejazyčná umělá inteligence vyžaduje jiný přístup. Mohlo by to znamenat menší modely přizpůsobené konkrétním jazykům a oborům namísto jednoho univerzálního modelu, od něhož se očekává, že zvládne všechno. Znamená to rozmanitější data napříč jazyky a obory, lepší tokenizaci jazyků, u nichž současné přístupy nestačí, a také syntetická data a přenos poznatků, které model získá v jednom jazyce, do příbuzných jazyků. Díky tomu se zlepšení nebudou týkat jen jazyků s největším množstvím dat.

Tato technologie existuje, otázkou však je, zda společnosti, které tyto modely vytvářejí, budou výkon ve vícejazyčném prostředí považovat za prioritu.

Děkuji za skvělý rozhovor. Čtenáři, kteří chtějí prozkoumat překlad s využitím AI, hodnocení kvality ve více jazycích a lokalizační postupy s lidským dohledem, by měli navštívit Smartling.