Baidu surpasse Google et Microsoft, crée une nouvelle technique pour la compréhension du langage

Baidu, l’une des plus grandes entreprises technologiques de Chine, a récemment développé une nouvelle méthode pour enseigner aux IA à comprendre le langage. Comme le rapporte TechnologyReview, l’entreprise a récemment battu Microsoft (MSFT ) et Google (GOOGL ) au concours General Language and Understanding Evaluation (GLUE), obtenant des résultats à la pointe de la technologie.

GLUE est composé de neuf tests différents, chacun mesurant une tâche différente importante pour la compréhension du langage, telle que discerner les noms d’entités dans une phrase et discerner dans quel contexte le pronom “it” est utilisé lorsqu’il y a de nombreux candidats potentiels. L’homme moyen obtient généralement un score d’environ 87 points sur GLUE, sur un total de 100 points possibles. Le nouveau modèle de Baidu, ERNIE, a franchi le seuil des 90 points.

Les chercheurs tentent toujours d’améliorer les performances de leurs modèles à GLUE, et donc le niveau actuel établi par Baidu sera probablement dépassé bientôt. Cependant, ce qui rend les réalisations de Baidu notables est que l’approche d’apprentissage qu’ils utilisent semble pouvoir se généraliser à d’autres langues. Même si le modèle a été développé pour interpréter le chinois, les mêmes principes le rendent meilleur pour interpréter la langue anglaise. ERNIE signifie “Enhanced Representation through knowledge Integration”, et il suit le développement du modèle de langage BERT (“Bidirectional Encoder Representations from Transformers”).

BERT a établi un nouveau standard pour la compréhension du langage en raison du fait qu’il s’agissait d’un modèle bidirectionnel. Les modèles de langage précédents n’étaient capables d’interpréter les données qui circulaient dans une seule “direction”, en regardant un mot qui venait soit avant, soit après le mot cible comme contexte. BERT a pu mettre en œuvre une approche bidirectionnelle qui pouvait utiliser à la fois les mots précédents et ultérieurs dans une phrase pour aider à déterminer le sens d’un mot cible. BERT utilise une technique appelée masquage pour rendre possible l’analyse bidirectionnelle, en choisissant un mot dans une phrase et en le cachant, ce qui divise les indices de contexte possibles pour ce mot en indices de contexte précédent et suivant.

Dans la langue anglaise, le mot est l’unité sémantique dominante, les gens regardent les mots entiers plutôt que les caractères individuels pour discerner le sens. Il est possible de supprimer un mot de son contexte et de conserver encore son sens, et le sens des caractères individuels est presque toujours le même. En revanche, la langue chinoise repose beaucoup plus sur la façon dont les caractères sont associés à d’autres caractères pour discerner le sens. Les caractères peuvent signifier différentes choses en fonction des caractères qui les entourent.

L’équipe de recherche de Baidu a essentiellement pris le modèle utilisé par BERT et l’a étendu, en cachant des chaînes de caractères au lieu de mots entiers. Le système d’IA a également été formé pour distinguer les chaînes de caractères aléatoires des chaînes de caractères significatives afin que les bonnes chaînes de caractères puissent être masquées. Cela rend ERNIE compétent pour récupérer des informations à partir d’un document de texte et effectuer des traductions automatiques. L’équipe de recherche a également constaté que leur méthode de formation a également abouti à un modèle capable de distinguer les phrases anglaises mieux que de nombreux autres modèles. C’est parce que l’anglais utilise parfois, bien que rarement, des combinaisons de mots qui expriment des sens différents lorsqu’ils sont joints ensemble par rapport à lorsqu’ils sont seuls. Les noms propres et les expressions idiomatiques ou les expressions colloquiales, tels que “chip off the old block”, sont des exemples de tels phénomènes linguistiques.

ERNIE utilise plusieurs autres techniques de formation pour optimiser les performances, notamment l’analyse de l’ordre des phrases et de la distance lors de l’interprétation des paragraphes. Une méthode de formation continue est également utilisée, qui permet à ERNIE de se former sur de nouvelles données et d’apprendre de nouveaux modèles sans oublier les connaissances acquises précédemment.

Baidu utilise actuellement ERNIE pour améliorer la qualité des résultats de recherche. L’architecture la plus récente d’ERNIE sera détaillée dans un article à paraître à la conférence 2020 de l’Association pour l’avancement de l’intelligence artificielle.