Olga Beregovaya, vice-présidente de l’IA chez Smartling – Série d’entretiens

Olga Beregovaya est vice-présidente de l’IA chez Smartling, où elle dirige la stratégie en matière d’IA dans les domaines de la traduction, des données, de la qualité et de la sécurité. Elle travaille dans le traitement automatique du langage naturel depuis 1997 et a connu les systèmes à base de règles, les modèles statistiques, les réseaux neuronaux et les grands modèles de langage. Avant de rejoindre Smartling, elle a été vice-présidente de l’innovation en IA chez Welocalize et PDG de PROMT Americas.

Smartling propose des logiciels et des services de traduction et de localisation destinés aux entreprises, qui associent l’IA et la traduction automatique à l’expertise humaine. Sa plateforme prend en charge les processus multilingues pour les sites web, les applications, le marketing, les documents et les contenus multimédias, et donne accès à plus de 20 grands modèles de langage et moteurs de traduction automatique. Dans cet entretien, Beregovaya aborde les disparités entre les langues dans le domaine de l’IA, la qualité des traductions, le choix des modèles et le rôle de la supervision humaine dans la localisation automatisée.

Comment ce parcours a-t-il façonné votre vision du rôle de l’IA dans le langage, et qu’est-ce qui vous a poussée à diriger la stratégie en matière d’IA chez Smartling ?

J’ai étudié la structure des langues et le fonctionnement des familles linguistiques. Cela m’a appris que la traduction repose sur la structure et le sens, et non sur une substitution mot à mot. J’aborde l’IA de la même façon.

J’ai commencé à travailler dans le traitement automatique du langage naturel en 1997, à l’époque où les systèmes reposaient sur des règles rédigées à la main. Depuis, j’ai travaillé avec des modèles statistiques, des réseaux neuronaux et les grands modèles de langage actuels. Chacune de ces approches a résolu certains problèmes et en a créé d’autres. Je ne pense pas qu’un seul modèle puisse tout résoudre.

J’ai rejoint Smartling parce que l’entreprise avait été conçue pour traduire tous les types de contenus destinés aux entreprises, des sites web et des applications aux documents juridiques, en passant par le marketing et la vidéo. J’ai commencé comme vice-présidente de la traduction automatique, mais mon rôle s’est rapidement étendu au-delà de la traduction, pour englober la rédaction de consignes, les données, la qualité et la sécurité. Mon titre est donc devenu vice-présidente de l’IA.

À quoi ces disparités se manifestent-elles concrètement, et pourquoi pourraient-elles prendre davantage d’importance à mesure que l’IA générative devient une interface principale ?

Auparavant, la distinction était simple : soit un système d’IA prenait en charge votre langue, soit il ne la prenait pas en charge. Cette question est aujourd’hui en grande partie réglée, mais les disparités ont changé de nature. Ce qui compte désormais, c’est la mesure dans laquelle les données d’entraînement du modèle représentent cette langue, ses locuteurs et sa culture. La plupart des données d’entraînement des modèles sont en anglais et véhiculent donc les présupposés des anglophones. Une traduction peut être techniquement exacte tout en imposant une perspective anglophone à une autre langue.

L’IA devient le moyen par lequel les gens interagissent avec les banques, les médecins, les écoles et d’autres services essentiels. Maîtriser une langue confère un avantage à un système d’IA, tandis que mal la maîtriser le désavantage.

Qu’est-ce qui vous a le plus surprise, et comment expliquer que le suédois obtienne de meilleurs résultats que l’hindi malgré un nombre de locuteurs bien inférieur ?

Le nombre de locuteurs est un indicateur étonnamment peu fiable de la qualité d’une traduction. Le suédois, qui compte environ 10 millions de locuteurs, a donné certains des meilleurs résultats. L’hindi, avec environ 600 millions de locuteurs, figurait parmi les langues les moins bien classées, au même titre que l’estonien et le thaï.

La structure de la langue et la qualité des données comptent bien davantage. La grammaire du suédois est relativement simple et les données d’entraînement de qualité y sont abondantes. En estonien, les terminaisons des mots changent constamment pour exprimer le sens, ce qui rend la tâche plus complexe pour l’IA. L’hindi compte des centaines de millions de locuteurs, mais dispose de bien moins de données d’entraînement variées et de grande qualité qu’on pourrait le croire au vu de ce nombre.

Autre surprise : les progrès n’étaient pas les mêmes d’un laboratoire à l’autre. Les langues qui partaient de plus bas s’amélioraient généralement le plus d’une génération de modèles à la suivante, mais cette tendance ne se vérifie pas toujours.

Au-delà du volume des données d’entraînement, quels facteurs influent le plus sur les performances des modèles ?

La tokenisation est l’un des facteurs les plus importants. Elle consiste à découper le texte en éléments avant son traitement par le modèle, ce qui est particulièrement important pour les langues qui n’utilisent pas l’alphabet latin. Une mauvaise tokenisation limite tout ce qui suit.

La structure de la langue compte également. Les langues aux terminaisons complexes peuvent être plus difficiles à traiter pour les modèles. L’allemand, par exemple, juxtapose des mots jusqu’à former des mots uniques pouvant atteindre 40 caractères, ce qui sollicite davantage un modèle que des langues comme l’espagnol ou le français.

Vient ensuite la qualité des données. Des données de mauvaise qualité produisent de mauvais résultats. L’exactitude, la diversité et la représentativité des données sont absolument essentielles aux performances de l’IA en traduction.

Enfin, il y a la mesure des performances. Nous utilisons TER, BLEU, CHRF3 et MetricX, et comparons les résultats à des traductions humaines de référence auxquelles nous faisons confiance. Un modèle peut sembler naturel tout en se trompant sur le sens.

Quelle responsabilité incombe aux laboratoires de pointe, et à quoi ressembleraient des progrès significatifs ?

Les laboratoires de pointe ont la plus grande responsabilité, car ils contrôlent les modèles de langage les plus avancés. Leurs choix peuvent creuser les disparités ou contribuer à les réduire. Cependant, la traduction est souvent en concurrence avec le raisonnement, le codage et la sécurité pour capter l’attention ; peu de laboratoires disposent donc d’équipes qui s’y consacrent spécifiquement.

Trois mesures feraient une réelle différence :

1. Constituer des données de grande qualité dans davantage de langues et de domaines.
2. Améliorer la tokenisation pour les langues pour lesquelles les approches actuelles ne sont pas à la hauteur.
3. Et évaluer chaque nouveau modèle dans les langues disposant de moins de données d’entraînement, et pas seulement dans les langues les plus répandues.

Une occasion majeure consiste à constituer des données d’entraînement pour les langues très peu représentées en ligne. Une grande partie de ce travail se fait en dehors des grands laboratoires. Nous collaborons avec des groupes comme l’African Language Lab pour constituer des données pour les langues africaines.

Comment Smartling détermine-t-elle lequel de ses plus de 20 moteurs convient à une langue, un type de contenu ou un cas d’usage donné ?

Nous les testons au lieu de partir du principe qu’un modèle est le meilleur. Chaque modèle est évalué par rapport à des traductions humaines de référence à l’aide de TER, BLEU, CHRF3 et MetricX. Un client peut nous fournir son contenu marketing et, en une semaine environ, nous pouvons lui montrer les performances de chaque modèle en fonction de la langue et du sujet. Le meilleur modèle pour du contenu marketing en espagnol d’Amérique latine n’est pas forcément le meilleur pour une autre langue ou pour du contenu sensible.

Nous tenons également compte du niveau de risque. Le contenu utilisateur à faible risque peut suivre un processus de révision allégé. Le contenu réglementé ou essentiel à la marque fait l’objet de davantage de vérifications et nécessite généralement un contrôle humain. Comme nous pouvons ajouter ou retirer des modèles en fonction de l’évolution de leurs performances, nous ne sommes pas liés à un seul fournisseur.

Dans quels domaines les systèmes de traduction spécialisés restent-ils plus performants que les grands modèles de langage généralistes, et comment les deux vont-ils converger ?

La traduction automatique spécialisée reste plus performante lorsque la prévisibilité est primordiale. Elle est particulièrement utile pour les contenus sensibles et certaines langues. Les grands modèles de langage produisent des textes plus naturels, mais peuvent aussi générer des hallucinations avec assurance.

Chez Smartling, nous combinons les deux. Un modèle de traduction spécialisé produit une première version à partir de la terminologie et des données sectorielles du client. Un grand modèle de langage la révise ensuite, rétablit la terminologie approuvée, applique les correspondances issues de traductions antérieures et améliore la rédaction.

Le modèle ne constitue désormais plus qu’un élément du système. Les consignes, les données, la personnalisation et les mécanismes de sécurité comptent tout autant.

Quels sont les principaux risques que les entreprises doivent prendre en compte lorsqu’elles utilisent l’IA générative pour produire du contenu multilingue ?

Les hallucinations, sans hésiter. L’exemple qui me vient à l’esprit est celui d’une personne qui demande à une IA si un champignon est toxique. Elle répond non avec une assurance totale, et la pierre tombale de la personne prouve qu’elle avait tort. En traduction, cela se manifeste par un texte qui semble parfait, mais dont les faits sont inexacts ; le risque peut être plus élevé dans les langues disposant de moins de données d’entraînement.

Il faut aussi tenir compte du contexte culturel et réglementaire. Une traduction peut être techniquement correcte tout en étant inadaptée au marché. L’allemand et le japonais, par exemple, exigent des niveaux de formalité qui n’existent pas en anglais. Les règles chinoises en matière de publicité interdisent également certaines affirmations, comme « le meilleur ».

La cohérence est un autre enjeu. À grande échelle, les outils d’IA généralistes peuvent entraîner des incohérences dans la terminologie et le ton de la marque. Un dirigeant m’a dit que son entreprise comptait 300 000 employés et que, grâce à l’IA généraliste, elle avait 300 000 voix différentes.

Les conséquences peuvent aussi être physiques. Si une consigne de sécurité indiquant de tirer sur un levier est mal traduite, une grue peut s’effondrer sur un chantier.

À quoi ressemble un agent d’IA dans un processus de localisation, et quelle part de ce processus peut être automatisée sous supervision humaine ?

Un agent d’IA est une étape d’un processus de localisation. Un modèle traduit, tandis qu’un autre révise le texte, vérifie la présence d’hallucinations, rétablit la terminologie approuvée et adapte le contenu au marché. Un contrôle qualité détermine ensuite si le contenu peut être publié, s’il nécessite une rapide vérification humaine ou s’il doit faire l’objet d’une révision complète.

Le degré d’automatisation dépend du risque. Une grande partie de nos travaux à faible risque est déjà entièrement automatisée, mais les contenus sensibles et réglementés nécessitent toujours une intervention humaine.

L’automatisation complète n’est pas toujours l’objectif, car les modèles ont besoin des retours humains pour s’améliorer. L’objectif est de réduire la charge de travail des humains sans se passer de leur jugement.

Dans cinq ans, l’écart se sera-t-il réduit ou creusé, et que faudrait-il pour que l’IA soit véritablement multilingue à l’échelle mondiale ?

Les deux évolutions sont possibles. Les langues qui étaient les moins bien prises en charge au départ progressent le plus rapidement, et davantage d’organisations collectent des données pour les langues peu présentes en ligne, y compris des données sur la langue parlée.

Mais la nature de l’écart évolue. L’IA peut bien maîtriser une langue tout en important les présupposés des anglophones présents dans ses données d’entraînement.

Une IA véritablement multilingue nécessite une approche différente. Cela pourrait passer par des modèles plus petits, adaptés à des langues et à des sujets spécifiques, plutôt que par un modèle généraliste censé tout faire. Il faut des données plus diversifiées dans différentes langues et différents domaines. Il faut aussi améliorer la tokenisation pour les langues que les approches actuelles traitent mal. Enfin, il faut des données synthétiques et transférer vers des langues apparentées ce qu’un modèle apprend dans une langue, afin que les progrès ne se limitent pas aux langues disposant du plus grand volume de données.

La technologie existe, mais la question est de savoir si les entreprises qui développent ces modèles feront de la performance multilingue une priorité.

Merci pour cet excellent entretien ; les lecteurs qui souhaitent découvrir la traduction par IA, l’évaluation de la qualité multilingue et les processus de localisation supervisés par des humains peuvent consulter Smartling.