Comment fonctionne la classification de texte ?

La classification de texte est le processus d’analyse de séquences de texte et d’attribution d’une étiquette, en les plaçant dans un groupe en fonction de leur contenu. La classification de texte sous-tend presque toutes les tâches d’intelligence artificielle ou d’apprentissage automatique impliquant le traitement automatique du langage naturel (NLP). Avec la classification de texte, un programme informatique peut effectuer une grande variété de tâches différentes comme la reconnaissance de spam, l’analyse de sentiments et les fonctions de chatbot. Comment la classification de texte fonctionne-t-elle exactement ? Quelles sont les différentes méthodes de classification de texte ? Nous allons explorer les réponses à ces questions ci-dessous.

Définition de la classification de texte

Il est important de prendre le temps de s’assurer que nous comprenons ce que signifie la classification de texte en général, avant de plonger dans les différentes méthodes de classification de texte. La classification de texte est l’un de ces termes qui s’applique à de nombreuses tâches et algorithmes, il est donc utile de nous assurer que nous comprenons le concept de base de la classification de texte avant de passer à l’exploration des différentes manières dont elle peut être effectuée.

Tout ce qui implique la création de catégories différentes pour le texte, puis l’étiquetage d’échantillons de texte comme ces catégories, peut être considéré comme une classification de texte. Tant que le système effectue ces étapes de base, il peut être considéré comme un classificateur de texte, indépendamment de la méthode exacte utilisée pour classer le texte et indépendamment de la façon dont le classificateur de texte est finalement appliqué. La détection de spam dans les e-mails, l’organisation de documents par sujet ou titre, et la reconnaissance du sentiment d’une critique de produit sont tous des exemples de classification de texte car ils sont accomplis en prenant le texte comme entrée et en produisant une étiquette de classe pour ce morceau de texte.

Comment fonctionne la classification de texte ?

Photo: Quinn Dombrowski via Flickr, CC BY SA 2.0 , (https://www.flickr.com/photos/quinnanya/4714794045)

La plupart des méthodes de classification de texte peuvent être classées en trois catégories différentes : les méthodes basées sur des règles ou les méthodes basées sur l’apprentissage automatique.

Méthodes de classification basées sur des règles

Les méthodes de classification de texte basées sur des règles fonctionnent en utilisant des règles linguistiques explicitement conçues. Le système utilise les règles créées par l’ingénieur pour déterminer à quelle classe un morceau de texte donné devrait appartenir, en recherchant des indices sous la forme d’éléments de texte sémantiquement pertinents. Chaque règle a un motif que le texte doit correspondre pour être placé dans la catégorie correspondante.

Pour être plus concret, disons que vous vouliez concevoir un classificateur de texte capable de distinguer les sujets de conversation courants, comme la météo, les films ou la nourriture. Pour permettre à votre classificateur de texte de reconnaître les discussions sur la météo, vous lui diriez de rechercher des mots liés à la météo dans le corps du texte. Vous auriez une liste de mots clés, de phrases et d’autres modèles pertinents qui pourraient être utilisés pour distinguer le sujet. Par exemple, vous pourriez lui dire de rechercher des mots comme « vent », « pluie », « soleil », « neige » ou « nuage ». Vous pourriez alors faire en sorte que le classificateur examine le texte d’entrée et compte le nombre de fois que ces mots apparaissent dans le corps du texte et si ils apparaissent plus fréquemment que les mots liés aux films, vous classeriez le texte comme appartenant à la catégorie météo.

L’avantage des systèmes basés sur des règles est que leurs entrées et sorties sont prévisibles et interprétables par les humains, et ils peuvent être améliorés par intervention manuelle de l’ingénieur. Cependant, les méthodes de classification basées sur des règles sont également quelque peu fragiles et ont souvent du mal à généraliser car elles ne peuvent suivre que les modèles prédéfinis qui ont été programmés. Par exemple, le mot « nuage » pourrait faire référence à l’humidité dans le ciel ou à un nuage numérique où les données sont stockées. Il est difficile pour les systèmes basés sur des règles de gérer ces nuances sans que les ingénieurs passent beaucoup de temps à essayer de les anticiper et de les ajuster manuellement.

Systèmes d’apprentissage automatique

Comme mentionné ci-dessus, les systèmes basés sur des règles ont des limites, car leurs fonctions et règles doivent être prédéfinies. En revanche, les systèmes de classification basés sur l’apprentissage automatique fonctionnent en appliquant des algorithmes qui analysent les ensembles de données pour les modèles associés à une classe particulière.

Les algorithmes d’apprentissage automatique sont alimentés par des instances prédéfinies/préclassifiées qui sont analysées pour les fonctionnalités pertinentes. Ces instances prédéfinies sont les données d’entraînement.

Le classificateur d’apprentissage automatique analyse les données d’entraînement et apprend les modèles associés aux différentes classes. Après cela, des instances non vues sont privées de leurs étiquettes et alimentées dans l’algorithme de classification qui attribue les instances une étiquette. Les étiquettes attribuées sont ensuite comparées aux étiquettes d’origine pour voir à quel point le classificateur d’apprentissage automatique était précis, évaluant à quel point le modèle a bien appris les modèles qui prédissent les classes.

Les algorithmes d’apprentissage automatique fonctionnent en analysant les données numériques. Cela signifie que pour utiliser un algorithme d’apprentissage automatique sur des données de texte, le texte doit être converti en un format numérique. Il existe différentes méthodes pour encoder les données de texte en données numériques et créer des méthodes d’apprentissage automatique autour de ces données. Nous allons couvrir certaines des différentes manières de représenter les données de texte ci-dessous.

Sac de mots

Sac de mots est l’une des approches les plus couramment utilisées pour encoder et représenter les données de texte. Le terme « sac de mots » vient du fait que vous prenez tous les mots des documents et les mettez tous dans un « sac » sans prêter attention à l’ordre des mots ou à la grammaire, en prêtant attention uniquement à la fréquence des mots dans le sac. Cela donne lieu à un long tableau, ou vecteur, contenant une représentation unique de tous les mots des documents d’entrée. Donc, si il y a 10 000 mots uniques au total dans les documents d’entrée, les vecteurs de fonctionnalités seront de 10 000 mots de long. C’est ainsi que la taille du sac de mots/vecteur de fonctionnalités est calculée.

Photo: gk_ via Machinelearning.co, (https://machinelearnings.co/text-classification-using-neural-networks-f5cd7b8765c6)

Une fois que la taille du vecteur de fonctionnalités a été déterminée, chaque document de la liste des documents totaux reçoit son propre vecteur rempli de nombres qui indiquent combien de fois le mot en question apparaît dans le document actuel. Cela signifie que si le mot « nourriture » apparaît huit fois dans un document de texte, le vecteur de fonctionnalités/vecteur de fonctionnalités correspondant aura un huit à la position correspondante.

Pour le dire autrement, tous les mots uniques qui apparaissent dans les documents d’entrée sont tous empilés dans un sac et puis chaque document reçoit un vecteur de mots de la même taille, qui est ensuite rempli avec le nombre de fois que les différents mots apparaissent dans le document.

Les ensembles de données de texte contiennent souvent un grand nombre de mots uniques, mais la plupart d’entre eux ne sont pas utilisés très fréquemment. Pour cette raison, le nombre de mots utilisés pour créer le vecteur de mots est généralement limité à une valeur choisie (N) et le vecteur de fonctionnalités aura une dimension Nx1.

Fréquence du terme – Fréquence inverse du document (TF-IDF)

Une autre façon de représenter un document en fonction des mots qu’il contient est appelée Fréquence du terme – Fréquence inverse du document (TF-IDF). Une approche TF-IDF crée également un vecteur qui représente le document en fonction des mots qu’il contient, mais contrairement au sac de mots, ces mots sont pondérés par plus que leur fréquence. TF-IDF prend en compte l’importance des mots dans les documents, en essayant de quantifier à quel point ce mot est pertinent par rapport au sujet du document. En d’autres termes, TF-IDF analyse la pertinence au lieu de la fréquence et les comptes de mots dans un vecteur de fonctionnalités sont remplacés par un score TF-IDF qui est calculé en fonction de l’ensemble de données dans son ensemble.

Une approche TF-IDF fonctionne en calculant d’abord la fréquence du terme, le nombre de fois que les termes uniques apparaissent dans un document spécifique. Cependant, TF-IDF prend également soin de limiter l’influence que les mots très courants comme « le », « ou », et « et », car ces « mots d’arrêt » sont très courants mais ne transmettent presque aucune information sur le contenu du document. Ces mots doivent être déclassés, ce qui est ce que la partie « fréquence inverse du document » de TF-IDF se réfère. Cela est fait car plus un mot spécifique apparaît dans les documents, moins il est utile pour le distinguer des autres documents de la liste de tous les documents. La formule que TF-IDF utilise pour calculer l’importance d’un mot est conçue pour préserver les mots qui sont les plus fréquents et les plus sémantiquement riches.

Les vecteurs de fonctionnalités créés par l’approche TF-IDF contiennent des valeurs normalisées qui totalisent un, en attribuant à chaque mot une valeur pondérée calculée par la formule TF-IDF.

Plongement de mots

Plongement de mots sont des méthodes de représentation de texte qui garantissent que les mots ayant des significations similaires ont des représentations numériques similaires.

Les plongements de mots fonctionnent en « vectorisant » les mots, ce qui signifie qu’ils représentent les mots comme des vecteurs à valeurs réelles dans un espace vectoriel. Les vecteurs existent dans une grille ou une matrice, et ils ont une direction et une longueur (ou magnitude). Lorsque les mots sont représentés comme des vecteurs, les mots sont convertis en vecteurs composés de valeurs réelles. Chaque mot est mappé à un vecteur, et les mots qui sont similaires dans leur signification ont des directions et des grandeurs similaires. Ce type de codage permet à un algorithme d’apprentissage automatique d’apprendre des relations complexes entre les mots.

Les plongements qui représentent différents mots sont créés en fonction de la façon dont les mots en question sont utilisés. Puisque les mots qui sont utilisés de la même manière auront des vecteurs similaires, le processus de création de plongements de mots traduit automatiquement une partie de la signification que les mots ont. Une approche de sac de mots crée des représentations fragiles où les mots différents auront des représentations dissemblables même s’ils sont utilisés dans des contextes très similaires.

Par conséquent, les plongements de mots sont meilleurs pour capturer le contexte des mots dans une phrase.

Il existe différentes algorithmes et approches pour créer des plongements de mots. Certaines des méthodes de plongement de mots les plus courantes et les plus fiables incluent : les couches d’intégration, Word2Vec et GloVe.

Couches d’intégration

Une façon potentielle d’utiliser les plongements de mots avec un système d’apprentissage automatique / d’apprentissage profond est d’utiliser une couche d’intégration. Les couches d’intégration sont des couches d’apprentissage profond qui convertissent les mots en plongements qui sont ensuite alimentés dans le reste du système d’apprentissage profond. Les plongements de mots sont appris à mesure que le réseau s’entraîne pour une tâche de texte spécifique.

Dans une approche de plongement de mots, les mots similaires auront des représentations similaires et seront plus proches les uns des autres que des mots dissemblables.

Pour utiliser des couches d’intégration, le texte doit être prétraité au préalable. Le texte du document doit être codé à chaud, et la taille du vecteur doit être spécifiée à l’avance. Le texte à chaud est ensuite converti en vecteurs de mots et les vecteurs sont passés dans le modèle d’apprentissage automatique.

Word2Vec

Word2Vec est une autre méthode courante de plongement de mots. Word2Vec utilise des méthodes statistiques pour convertir les mots en plongements et il est optimisé pour une utilisation avec des modèles basés sur des réseaux de neurones. Word2Vec a été développé par des chercheurs de Google (GOOGL ) et il est l’une des méthodes de plongement de mots les plus couramment utilisées, car il produit régulièrement des plongements utiles et riches. Les représentations Word2Vec sont utiles pour identifier les similitudes sémantiques et syntaxiques dans le langage. Cela signifie que les représentations Word2Vec capturent les relations entre des concepts similaires, en étant capable de distinguer que la similitude entre « Roi » et « Reine » est la royauté et que « Roi » implique « homme » tandis que « Reine » implique « femme ».

GloVe

GloVe, ou Vecteur global pour la représentation de mots, s’appuie sur les algorithmes de plongement utilisés par Word2Vec. Les méthodes de plongement GloVe combinent des aspects des algorithmes Word2Vec et des techniques de factorisation de matrices comme l’analyse sémantique latente. L’avantage de Word2Vec est qu’il peut capturer le contexte, mais en contrepartie, il capture mal les statistiques de texte globales. En revanche, les représentations vectorielles traditionnelles sont bonnes pour déterminer les statistiques de texte globales mais elles ne sont pas utiles pour déterminer le contexte des mots et des phrases. GloVe tire parti des meilleures approches, en créant un contexte de mots basé sur les statistiques de texte globales.