Qu'est-ce qu'une matrice de confusion ?

L'un des outils analytiques les plus puissants en matière d'apprentissage automatique et de science des données en la matrice de confusion. La matrice de confusion est capable de fournir aux chercheurs des informations détaillées sur les performances d'un classificateur d'apprentissage automatique par rapport aux classes cibles de l'ensemble de données. Une matrice de confusion montrera les exemples d'affichage qui ont été correctement classés par rapport aux exemples mal classés. Examinons de plus près comment une matrice de confusion est structurée et comment elle peut être interprétée.

Qu'est-ce qu'une matrice de confusion ?

Commençons par donner une définition simple d'une matrice de confusion. Une matrice de confusion est un outil d'analyse prédictive. Plus précisément, il s'agit d'un tableau qui affiche et compare les valeurs réelles avec les valeurs prédites du modèle. Dans le contexte de l'apprentissage automatique, une matrice de confusion est utilisée comme métrique pour analyser les performances d'un classificateur d'apprentissage automatique sur un ensemble de données. Une matrice de confusion génère une visualisation de mesures telles que la précision, l'exactitude, la spécificité et le rappel.

La raison pour laquelle la matrice de confusion est particulièrement utile est que, contrairement à d'autres types de mesures de classification telles que la précision simple, la matrice de confusion génère une image plus complète de la performance d'un modèle. Seule l'utilisation d'une métrique telle que la précision peut conduire à une situation où le modèle identifie complètement et systématiquement une classe de manière erronée, mais cela passe inaperçu car, en moyenne, les performances sont bonnes. Pendant ce temps, la matrice de confusion donne une comparaison de différentes valeurs comme les faux négatifs, les vrais négatifs, les faux positifs et les vrais positifs.

Définissons les différentes métriques que représente une matrice de confusion.

Rappel dans une matrice de confusion

Le rappel est le nombre d'exemples véritablement positifs divisé par le nombre d'exemples faux négatifs et le nombre total d'exemples positifs. En d'autres termes, le rappel est représentatif de la proportion d'exemples vrais positifs qu'un modèle d'apprentissage automatique a classés. Le rappel est exprimé en pourcentage d'exemples positifs que le modèle a pu classer parmi tous les exemples positifs contenus dans l'ensemble de données. Cette valeur peut également être appelée "taux de réussite", et une valeur connexe est "Un niveau de sensibilité élevée», qui décrit la probabilité de rappel, ou le taux de véritables prédictions positives.

La précision dans une matrice de confusion

Comme le rappel, la précision est une valeur qui suit les performances d'un modèle en termes de classification d'exemples positifs. Contrairement au rappel cependant, la précision concerne le nombre d'exemples que le modèle a étiquetés positifs étaient vraiment positifs. Pour calculer cela, le nombre d'exemples de vrais positifs est divisé par le nombre d'exemples de faux positifs plus les vrais positifs.

Pour faire la distinction entre rappel et précision plus claire, la précision vise à déterminer le pourcentage de tous les exemples étiquetés positifs qui étaient vraiment positifs, tandis que le rappel suit le pourcentage de tous les exemples vraiment positifs que le modèle pourrait reconnaître.

Spécificité dans une matrice de confusion

Alors que le rappel et la précision sont des valeurs qui suivent les exemples positifs et le taux de vrais positifs, spécificité quantifie le taux de vrais négatifs ou le nombre d'exemples que le modèle a définis comme négatifs qui étaient vraiment négatifs. Celui-ci est calculé en prenant le nombre d'exemples classés comme négatifs et en le divisant par le nombre d'exemples faux positifs combinés aux vrais exemples négatifs.

Donner un sens à la matrice de confusion

Photo : Jackverr via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Exemple de matrice de confusion

Après avoir défini les termes nécessaires tels que précision, rappel, sensibilité et spécificité, nous pouvons examiner comment ces différentes valeurs sont représentées dans une matrice de confusion. Une matrice de confusion est générée en cas de classification, applicable lorsqu'il y a deux classes ou plus. La matrice de confusion générée peut être aussi haute et large que nécessaire, contenant le nombre de classes souhaité, mais pour des raisons de simplicité, nous examinerons une matrice de confusion 2 x 2 pour une tâche de classification binaire.

Par exemple, supposons qu'un classificateur est utilisé pour déterminer si un patient a une maladie ou non. Les caractéristiques seront introduites dans le classificateur, et le classificateur renverra l'une des deux classifications différentes - soit le patient n'a pas la maladie, soit il l'a.

Commençons par le côté gauche de la matrice. Le côté gauche de la matrice de confusion représente les prédictions que le classificateur a faites pour les classes individuelles. Une tâche de classification binaire aura deux lignes ici. En ce qui concerne la partie supérieure de la matrice, elle suit les vraies valeurs, les étiquettes de classe réelles, des instances de données.

L'interprétation d'une matrice de confusion peut être effectuée en examinant l'intersection des lignes et des colonnes. Vérifiez les prédictions du modèle par rapport aux véritables étiquettes du modèle. Dans ce cas, les valeurs True Positives, le nombre de prédictions positives correctes, sont situées dans le coin supérieur gauche. Les faux positifs se trouvent dans le coin supérieur droit, où les exemples sont en fait négatifs mais le classificateur les a marqués comme positifs.

Le coin inférieur gauche de la grille affiche les instances que le classificateur a marquées comme négatives mais qui étaient véritablement positives. Enfin, le coin inférieur droit de la matrice de confusion est l'endroit où se trouvent les valeurs Vrai négatif, ou là où se trouvent les exemples véritablement faux.

Lorsque l'ensemble de données contient plus de deux classes, la matrice augmente d'autant de classes. Par exemple, s'il y a trois classes, la matrice sera une matrice 3 x 3. Quelle que soit la taille de la matrice de confusion, la méthode pour les interpréter est exactement la même. Le côté gauche contient les valeurs prédites et les étiquettes de classe réelles en haut. Les instances que le classificateur a correctement prédites s'exécutent en diagonale du haut à gauche vers le bas à droite. En regardant la matrice, vous pouvez discerner les quatre mesures prédictives décrites ci-dessus.

Par exemple, vous pouvez calculer le rappel en prenant les vrais positifs et les faux négatifs, en les additionnant et en les divisant par le nombre d'exemples de vrais positifs. Pendant ce temps, la précision peut être calculée en combinant les faux positifs avec les vrais positifs, puis en divisant la valeur par le nombre total de vrais positifs.

Bien que l'on puisse passer du temps à calculer manuellement des métriques telles que la précision, le rappel et la spécificité, ces métriques sont si couramment utilisées que la plupart des bibliothèques d'apprentissage automatique ont des méthodes pour les afficher. Par exemple, Scikit-learn pour Python a une fonction qui génère une matrice de confusion.