Olga Beregovaya, wiceprezeska ds. AI w Smartling – seria wywiadów

Olga Beregovaya jest wiceprezeską ds. AI w Smartling, gdzie kieruje strategią AI obejmującą tłumaczenia, dane, jakość i bezpieczeństwo. Zajmuje się przetwarzaniem języka naturalnego od 1997 roku; pracowała z systemami opartymi na regułach, modelami statystycznymi, sieciami neuronowymi i dużymi modelami językowymi. Zanim dołączyła do Smartling, pełniła funkcję wiceprezeski ds. innowacji AI w Welocalize oraz dyrektorki generalnej PROMT Americas.

Smartling oferuje oprogramowanie i usługi do tłumaczeń oraz lokalizacji dla firm, łącząc AI i tłumaczenie maszynowe z wiedzą specjalistów. Platforma obsługuje wielojęzyczne procesy związane ze stronami internetowymi, aplikacjami, marketingiem, dokumentami i multimediami oraz zapewnia dostęp do ponad 20 dużych modeli językowych (LLM) i silników tłumaczenia maszynowego. W tym wywiadzie Beregovaya omawia podziały między językami w obszarze AI, jakość tłumaczeń, dobór modeli oraz rolę nadzoru człowieka w zautomatyzowanej lokalizacji.

Jak ta droga wpłynęła na twoje podejście do roli AI w języku i co skłoniło cię do kierowania strategią AI w Smartling?

Badałam strukturę języków i funkcjonowanie rodzin językowych. Dzięki temu zrozumiałam, że tłumaczenie polega na oddaniu struktury i znaczenia, a nie na zastępowaniu słów jeden do jednego. Tak samo myślę o AI.

Zaczęłam pracować w dziedzinie przetwarzania języka naturalnego w 1997 roku, gdy systemy opierały się na regułach zapisanych ręcznie. Od tamtej pory pracowałam z modelami statystycznymi, sieciami neuronowymi i dzisiejszymi dużymi modelami językowymi. Każde z tych rozwiązań pomagało uporać się z niektórymi problemami, a zarazem stwarzało nowe. Nie wierzę, że istnieje jeden model, który rozwiąże wszystko.

Dołączyłam do Smartling, ponieważ od początku tworzono je z myślą o tłumaczeniu wszelkiego rodzaju treści firmowych — od stron internetowych i aplikacji po dokumenty prawne, materiały marketingowe i wideo. Zaczynałam jako wiceprezeska ds. tłumaczenia maszynowego, ale zakres moich obowiązków szybko wykroczył poza tłumaczenia i objął projektowanie promptów, dane, jakość oraz bezpieczeństwo. Dlatego moje stanowisko zmieniło się na wiceprezeskę ds. AI.

Jak ten podział wygląda w praktyce i dlaczego może nabrać większego znaczenia, gdy generatywna AI stanie się głównym sposobem interakcji?

Podział był kiedyś prosty: albo system AI obsługiwał dany język, albo nie. Ta kwestia jest już w dużej mierze rozstrzygnięta, ale sam podział przybrał inną formę. Teraz liczy się to, jak dobrze dane treningowe modelu odzwierciedlają dany język, jego użytkowników i kulturę. Większość danych treningowych modeli jest anglojęzyczna, przez co modele przejmują związane z językiem angielskim założenia. Tłumaczenie może być technicznie poprawne, a mimo to narzucać perspektywę anglojęzyczną osobom posługującym się innym językiem.

AI staje się sposobem, w jaki ludzie kontaktują się z bankami, lekarzami, szkołami i innymi podmiotami świadczącymi podstawowe usługi. Dobra obsługa danego języka przez AI daje przewagę, a słaba — stawia jego użytkowników w niekorzystnej sytuacji.

Co najbardziej cię zaskoczyło i dlaczego szwedzki wypada lepiej niż hindi, mimo że posługuje się nim znacznie mniej osób?

Liczba użytkowników języka jest zaskakująco słabym wskaźnikiem jakości tłumaczenia. Szwedzki, którym posługuje się około 10 milionów osób, osiągnął jedne z najlepszych wyników. Hindi, którym mówi około 600 milionów osób, znalazł się wśród języków wypadających najsłabiej — podobnie jak estoński i tajski.

Znacznie większe znaczenie mają struktura języka i jakość danych. Szwedzki ma stosunkowo prostą gramatykę i dużo dobrej jakości danych treningowych. W estońskim końcówki wyrazów często się zmieniają, by przekazać znaczenie, co stanowi dla AI dodatkowe wyzwanie. Hindi ma setki milionów użytkowników, ale dostępnych jest znacznie mniej zróżnicowanych danych treningowych wysokiej jakości, niż można by się spodziewać przy takiej liczbie osób posługujących się tym językiem.

Zaskoczyło mnie również to, że postępy różniły się między laboratoriami. Języki, które początkowo wypadały słabiej, zazwyczaj zyskiwały najwięcej przy przejściu do kolejnej generacji modeli, ale ta prawidłowość nie zawsze się sprawdza.

Jakie czynniki, poza ilością danych treningowych, mają największy wpływ na działanie modelu?

Jednym z najważniejszych czynników jest tokenizacja — sposób, w jaki model dzieli tekst na mniejsze elementy przed jego przetworzeniem. Ma ona szczególne znaczenie w przypadku języków, które nie używają alfabetu łacińskiego. Słaba tokenizacja ogranicza wszystko, co następuje później.

Znaczenie ma również struktura języka. Modele mogą mieć trudności z językami, w których wyrazy przybierają złożone końcówki. Niemiecki na przykład łączy słowa w taki sposób, że pojedynczy wyraz może liczyć nawet 40 znaków, co stawia przed modelem większe wymagania niż języki takie jak hiszpański czy francuski.

Kolejną kwestią jest jakość danych. Złe dane prowadzą do złych wyników. Dokładność, różnorodność i reprezentatywność danych mają ogromne znaczenie dla skuteczności tłumaczenia przez AI.

Ostatnim czynnikiem jest ocena wyników. Korzystamy z metryk TER, BLEU, CHRF3 i MetricX, a rezultaty porównujemy z wiarygodnymi tłumaczeniami wykonanymi przez ludzi. Model może brzmieć naturalnie, a jednocześnie błędnie oddawać znaczenie.

Jaka odpowiedzialność spoczywa na wiodących laboratoriach AI i na czym polegałby znaczący postęp?

Największa odpowiedzialność spoczywa na wiodących laboratoriach AI, ponieważ to one kontrolują najbardziej zaawansowane modele językowe. Ich decyzje mogą pogłębić podział albo pomóc go zmniejszyć. Tłumaczenie często konkuruje jednak o uwagę z rozumowaniem, programowaniem i bezpieczeństwem, dlatego niewiele laboratoriów ma dedykowane zespoły, które się nim zajmują.

Trzy działania mogłyby przynieść znaczącą zmianę:

1. Tworzyć wysokiej jakości dane dotyczące większej liczby języków i dziedzin.
2. Ulepsz tokenizację w językach, w przypadku których obecne metody nie są wystarczające.
3. Oceniaj też każdy nowy model pod kątem języków z mniejszą ilością danych treningowych, a nie tylko tych największych.

Wielką szansą jest tworzenie danych treningowych dla języków, które są bardzo słabo reprezentowane w internecie. Duża część tej pracy odbywa się poza największymi laboratoriami. Współpracujemy z takimi grupami jak African Language Lab, aby tworzyć zbiory danych dla języków afrykańskich.

Jak Smartling ustala, który z ponad 20 silników najlepiej sprawdzi się w przypadku danego języka, rodzaju treści lub zastosowania?

Testujemy modele, zamiast zakładać, że jeden z nich jest najlepszy. Każdy model oceniamy na podstawie sprawdzonych tłumaczeń wykonanych przez ludzi, stosując wskaźniki TER, BLEU, CHRF3 i MetricX. Klient może przekazać nam swoje treści marketingowe, a my w ciągu około tygodnia pokażemy, jak każdy model radzi sobie w poszczególnych językach i dziedzinach. Model najlepiej sprawdzający się w treściach marketingowych po hiszpańsku z Ameryki Łacińskiej niekoniecznie będzie najlepszy w przypadku innego języka lub treści wrażliwych.

Uwzględniamy również ryzyko. Treści użytkowników wiążące się z mniejszym ryzykiem mogą przejść mniej rygorystyczny proces weryfikacji. Treści podlegające regulacjom lub kluczowe dla marki są sprawdzane dokładniej i zazwyczaj kontroluje je także człowiek. Ponieważ modele można dodawać lub usuwać w miarę zmian ich skuteczności, nie jesteśmy uzależnieni od jednego dostawcy.

W jakich obszarach wyspecjalizowane systemy tłumaczeniowe wciąż przewyższają modele LLM ogólnego przeznaczenia i jak te dwa podejścia będą się do siebie zbliżać?

Specjalistyczne tłumaczenie maszynowe nadal sprawdza się najlepiej tam, gdzie najważniejsza jest przewidywalność. Jest szczególnie przydatne w przypadku treści wrażliwych i niektórych języków. Modele LLM tworzą bardziej naturalne teksty, ale mogą też z przekonaniem generować nieprawdziwe informacje.

W Smartling łączymy oba podejścia. Specjalistyczny model tłumaczeniowy przygotowuje pierwszą wersję, korzystając z terminologii klienta i danych dotyczących jego branży. Następnie model LLM redaguje tekst, przywracając zatwierdzoną terminologię, wykorzystując dopasowania z wcześniejszych tłumaczeń i poprawiając styl.

Model staje się tylko jednym z elementów systemu. Równie ważne są teraz formułowanie promptów, dane, dostosowanie modelu i mechanizmy bezpieczeństwa.

Jakie największe zagrożenia powinny brać pod uwagę firmy korzystające z generatywnej AI do tworzenia treści wielojęzycznych?

Przede wszystkim halucynacje. Najlepiej obrazuje to przykład osoby, która pyta AI, czy grzyb jest trujący. AI z całkowitą pewnością odpowiada, że nie, a nagrobek tej osoby dowodzi, że odpowiedź była błędna. W tłumaczeniu objawia się to tekstem, który brzmi idealnie, ale zawiera błędy merytoryczne. Ryzyko to może być większe w przypadku języków, dla których dostępnych jest mniej danych treningowych.

Dochodzi do tego kontekst kulturowy i regulacyjny. Tłumaczenie może być poprawne technicznie, a mimo to nieodpowiednie dla danego rynku. Na przykład w języku niemieckim i japońskim wymagane są poziomy formalności, których nie ma w języku angielskim. Chińskie przepisy dotyczące reklamy ograniczają również stosowanie takich twierdzeń jak „najlepszy”.

Kolejnym problemem jest spójność. W dużej skali ogólnodostępne narzędzia AI mogą prowadzić do niespójnego stosowania terminologii i tonu marki. Jeden z dyrektorów powiedział mi, że jego firma zatrudnia 300 000 osób, a dzięki ogólnodostępnej AI ma 300 000 różnych głosów.

Stawką może być również ludzkie życie. Jeśli instrukcja bezpieczeństwa dotycząca pociągnięcia za dźwignię zostanie błędnie przetłumaczona, na placu budowy może dojść do upadku dźwigu.

Jak wygląda agent AI w procesie lokalizacji i jak wiele można zautomatyzować przy zachowaniu nadzoru człowieka?

Agent AI jest jednym z etapów procesu lokalizacji. Jeden model tłumaczy, a drugi sprawdza tłumaczenie, wykrywa halucynacje, przywraca zatwierdzoną terminologię i dostosowuje treść do danego rynku. Następnie kontrola jakości rozstrzyga, czy treść można opublikować, czy wymaga szybkiej weryfikacji przez człowieka, czy też pełnej weryfikacji.

Zakres możliwej automatyzacji zależy od poziomu ryzyka. Duża część naszych zadań wiążących się z mniejszym ryzykiem jest już w pełni zautomatyzowana, ale treści wrażliwe i podlegające regulacjom nadal wymagają udziału ludzi.

Pełna automatyzacja nie zawsze jest celem, ponieważ modele potrzebują informacji zwrotnych od ludzi, by się doskonalić. Chodzi o ograniczenie nakładu pracy człowieka bez odbierania mu prawa do oceny.

Czy za pięć lat różnica się zmniejszy czy powiększy i co sprawi, że AI stanie się naprawdę wielojęzyczna w skali globalnej?

Może być różnie. Języki, które początkowo wypadały najsłabiej, rozwijają się najszybciej. Coraz więcej organizacji gromadzi też dane dotyczące języków, w których jest niewiele treści internetowych, w tym dane dotyczące języka mówionego.

Podział przybiera jednak inną formę. AI może dobrze radzić sobie z danym językiem, a jednocześnie przenosić na niego założenia charakterystyczne dla osób anglojęzycznych, obecne w danych treningowych.

Prawdziwie wielojęzyczna AI wymaga innego podejścia. Mogłoby ono polegać na tworzeniu mniejszych modeli dostosowanych do konkretnych języków i dziedzin, zamiast oczekiwać, że jeden model ogólnego przeznaczenia poradzi sobie ze wszystkim. Potrzebne są bardziej zróżnicowane dane obejmujące różne języki i dziedziny. Konieczna jest też lepsza tokenizacja języków, w przypadku których obecne metody nie są wystarczające. Ważne są również dane syntetyczne oraz przenoszenie wiedzy zdobytej przez model w jednym języku na języki z nim spokrewnione, tak aby postępy nie ograniczały się do języków, dla których dostępnych jest najwięcej danych.

Technologia już istnieje, ale pozostaje pytanie, czy firmy tworzące te modele uznają skuteczność w wielu językach za priorytet.

Dziękuję za świetny wywiad. Czytelnicy, którzy chcą bliżej poznać tłumaczenie z wykorzystaniem AI, wielojęzyczną ocenę jakości oraz procesy lokalizacyjne nadzorowane przez człowieka, powinni odwiedzić Smartling.