AI 101
Qu'est-ce que la NLU (Natural Language Understanding) ?
Compréhension du langage naturel (NLU) est un concept technique dans le cadre plus large du traitement du langage naturel. NLU est le processus responsable de la traduction des mots naturels et humains dans un format qu'un ordinateur peut interpréter. Essentiellement, avant qu'un ordinateur puisse traiter des données linguistiques, il doit comprendre les données.
Les techniques de NLU comprennent l'utilisation d'une syntaxe et de règles grammaticales communes pour permettre à un ordinateur de comprendre la signification et le contexte du langage humain naturel. Le but ultime de ces techniques est qu'un ordinateur en vienne à avoir une compréhension "intuitive" du langage, capable d'écrire et de comprendre le langage exactement comme le fait un humain, sans se référer constamment aux définitions des mots.
Définition de la NLU (compréhension du langage naturel)
Il existe de nombreuses techniques que les informaticiens et les experts en PNL utilisent pour permettre aux ordinateurs de comprendre le langage humain. La plupart des techniques entrent dans la catégorie « analyse syntaxique ». Les techniques d'analyse syntaxique comprennent :
- lemmatisation
- découlant
- segmentation de mots
- analyse
- segmentation morphologique
- rupture de phrase
- partie du balisage vocal
Ces techniques d'analyse syntaxique appliquent des règles grammaticales à des groupes de mots et tentent d'utiliser ces règles pour en déduire le sens. En revanche, NLU fonctionne en utilisant des techniques « d'analyse sémantique ».
L'analyse sémantique applique des algorithmes informatiques au texte, essayant de comprendre le sens des mots dans leur contexte naturel, au lieu de s'appuyer sur des approches basées sur des règles. L'exactitude/l'inexactitude grammaticale d'une phrase n'est pas nécessairement en corrélation avec la validité d'une phrase. Il peut y avoir des phrases grammaticalement correctes mais dénuées de sens, et des phrases grammaticalement incorrectes mais qui ont un sens. Afin de distinguer les aspects les plus significatifs des mots, NLU applique une variété de techniques destinées à saisir le sens d'un groupe de mots en s'appuyant moins sur la structure et les règles grammaticales.
La NLU est un domaine en évolution et en mutation, et elle est considérée comme l'un des problèmes les plus difficiles de l'IA. Diverses techniques et outils sont développés pour donner aux machines une compréhension du langage humain. La plupart des systèmes NLU ont certains composants de base en commun. Un lexique pour la langue est nécessaire, ainsi qu'un certain type d'analyseur de texte et des règles de grammaire pour guider la création de représentations de texte. Le système nécessite également une théorie de la sémantique pour permettre la compréhension des représentations. Il existe diverses théories sémantiques utilisées pour interpréter le langage, comme l'analyse sémantique stochastique ou la sémantique naïve.
Les techniques NLU courantes incluent :
La reconnaissance d'entités nommées est le processus de reconnaissance des "entités nommées", qui sont des personnes et des lieux/choses importants. La reconnaissance d'entités nommées fonctionne en distinguant les concepts fondamentaux et les références dans un corps de texte, en identifiant les entités nommées et en les plaçant dans des catégories telles que les lieux, les dates, les organisations, les personnes, les travaux, etc. Des modèles supervisés basés sur des règles de grammaire sont généralement utilisés pour effectuer NER Tâches.
La désambiguïsation du sens des mots est le processus de détermination de la signification, ou du sens, d'un mot en fonction du contexte dans lequel le mot apparaît. La désambiguïsation du sens des mots utilise souvent des balises de partie du discours afin de contextualiser le mot cible. Les méthodes supervisées de désambiguïsation du sens des mots incluent l'utilisateur de machines à vecteurs de support et l'apprentissage basé sur la mémoire. Cependant, la plupart des modèles de désambiguïsation du sens des mots sont des modèles semi-supervisés qui utilisent à la fois des données étiquetées et non étiquetées.
Exemples de NLU (compréhension du langage naturel)
Les exemples courants de NLU incluent le raisonnement automatisé, le routage automatique des tickets, la traduction automatique et la réponse aux questions.
Raisonnement automatisé
Raisonnement automatisé est une discipline qui vise à donner aux machines un type de logique ou de raisonnement. C'est une branche des sciences cognitives qui s'efforce de faire des déductions basées sur des diagnostics médicaux ou de résoudre par programme/automatiquement des théorèmes mathématiques. NLU est utilisé pour aider à collecter et à analyser des informations et à générer des conclusions basées sur ces informations.
Acheminement automatique des tickets
NLU est souvent utilisé pour automatiser les tâches du service client. Lorsqu'un ticket de service client est généré, les chatbots et autres machines peuvent interpréter la nature fondamentale du besoin du client et l'acheminer vers le service approprié. Les entreprises reçoivent des milliers de demandes d'assistance chaque jour. Les algorithmes NLU sont donc utiles pour hiérarchiser les tickets et permettre aux agents d'assistance de les traiter de manière plus efficace.
Traduction automatique
Il est difficile de traduire avec précision un discours ou un texte d'une langue à une autre. En fait, traduction automatique est l'un des problèmes les plus difficiles en NLP et NLU. De nombreux systèmes de traduction automatique s'appuient sur des règles linguistiques pour traduire entre les langues, mais les chercheurs recherchent des moyens plus sophistiqués de traduire entre les langues. La traduction automatique NLU tente de permettre une traduction plus précise en préservant le contexte et les informations sémantiques associées au texte cible. Les systèmes de traduction automatique les plus précis combinent des règles linguistiques avec des algorithmes qui extraient le sens sémantique.
Question Répondant
La reconnaissance vocale utilise des techniques NLU pour laisser les ordinateurs comprendre les questions posé avec le langage naturel. NLU est utilisé pour donner aux utilisateurs de l'appareil une réponse dans leur langue naturelle, au lieu de leur fournir une liste de réponses possibles. Lorsque vous posez une question à un assistant numérique, NLU est utilisé pour aider les machines à comprendre les questions, en sélectionnant les réponses les plus appropriées en fonction de fonctionnalités telles que les entités reconnues et le contexte des déclarations précédentes.
