Qu’est-ce qu’une matrice de confusion ?

L’un des outils analytiques les plus puissants dans l’apprentissage automatique et la science des données est la matrice de confusion. La matrice de confusion est capable de fournir aux chercheurs des informations détaillées sur la façon dont un classificateur d’apprentissage automatique a performé par rapport aux classes cibles dans le jeu de données. Une matrice de confusion démontrera des exemples qui ont été correctement classifiés contre des exemples mal classifiés. Examinons de plus près comment une matrice de confusion est structurée et comment elle peut être interprétée.

Qu’est-ce qu’une matrice de confusion ?

Commençons par donner une définition simple d’une matrice de confusion. Une matrice de confusion est un outil d’analyse prédictive. Plus précisément, il s’agit d’un tableau qui affiche et compare les valeurs réelles avec les valeurs prédites par le modèle. Dans le contexte de l’apprentissage automatique, une matrice de confusion est utilisée comme une métrique pour analyser la performance d’un classificateur d’apprentissage automatique sur un jeu de données. Une matrice de confusion génère une visualisation de métriques telles que la précision, l’exactitude, la spécificité et le rappel.

La raison pour laquelle la matrice de confusion est particulièrement utile est qu’elle génère, contrairement à d’autres types de métriques de classification telles que la simple exactitude, une image plus complète de la performance du modèle. Utiliser uniquement une métrique telle que l’exactitude peut conduire à une situation où le modèle mal identifie complètement et de manière cohérente une classe, mais cela passe inaperçu parce que la performance moyenne est bonne. Pendant ce temps, la matrice de confusion fournit une comparaison de différentes valeurs telles que les faux négatifs, les vrais négatifs, les faux positifs et les vrais positifs.

Définissons les différentes métriques que représente une matrice de confusion.

Rappel dans une matrice de confusion

Le rappel est le nombre d’exemples réellement positifs divisé par le nombre d’exemples faux négatifs et le nombre total d’exemples positifs. En d’autres termes, le rappel est représentatif de la proportion d’exemples vrais positifs que le modèle d’apprentissage automatique a classifiés. Le rappel est donné en pourcentage d’exemples positifs que le modèle a pu classifier par rapport à tous les exemples positifs contenus dans le jeu de données. Cette valeur peut également être appelée le « taux de réussite », et une valeur connexe est la « sensibilité », qui décrit la probabilité de rappel, ou le taux de prédictions positives réelles.

Précision dans une matrice de confusion

Comme le rappel, la précision est une valeur qui suit les performances du modèle en termes de classification d’exemples positifs. Contrairement au rappel, cependant, la précision est préoccupée par le nombre d’exemples que le modèle a étiquetés positifs qui étaient réellement positifs. Pour calculer cela, le nombre d’exemples vrais positifs est divisé par le nombre d’exemples faux positifs plus les vrais positifs.

Pour rendre la distinction entre rappel et précision plus claire, la précision vise à déterminer le pourcentage de tous les exemples étiquetés positifs qui étaient réellement positifs, tandis que le rappel suit le pourcentage de tous les exemples vrais positifs que le modèle a pu reconnaître.

Spécificité dans une matrice de confusion

Alors que le rappel et la précision sont des valeurs qui suivent les exemples positifs et le taux de vrais positifs, la spécificité quantifie le taux de vrais négatifs ou le nombre d’exemples que le modèle a définis comme négatifs qui étaient réellement négatifs. Cela est calculé en prenant le nombre d’exemples classifiés comme négatifs et en les divisant par le nombre d’exemples faux positifs combinés avec les vrais négatifs.

Comprendre la matrice de confusion

Photo : Jackverr via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Exemple de matrice de confusion

Après avoir défini les termes nécessaires tels que la précision, le rappel, la sensibilité et la spécificité, nous pouvons examiner comment ces différentes valeurs sont représentées dans une matrice de confusion. Une matrice de confusion est générée dans les cas de classification, applicable lorsque il y a deux classes ou plus. La matrice de confusion générée peut être aussi grande que nécessaire, contenant n’importe quel nombre de classes, mais pour des raisons de simplicité, nous allons examiner une matrice de confusion 2 x 2 pour une tâche de classification binaire.

En supposant qu’un classificateur est utilisé pour déterminer si un patient a une maladie ou non. Les fonctionnalités seront alimentées dans le classificateur, et le classificateur renverra l’une des deux classifications différentes – soit le patient n’a pas la maladie, soit il l’a.

Commençons par le côté gauche de la matrice. Le côté gauche de la matrice de confusion représente les prédictions que le classificateur a faites pour les classes individuelles. Une tâche de classification binaire aura deux lignes ici. En ce qui concerne la partie supérieure de la matrice, elle suit les valeurs réelles, les étiquettes de classe réelles, des instances de données.

L’interprétation d’une matrice de confusion peut être faite en examinant où les lignes et les colonnes se croisent. Vérifiez les prédictions du modèle par rapport aux étiquettes réelles du modèle. Dans ce cas, les valeurs de vrais positifs, le nombre de prédictions positives correctes, se trouvent dans le coin supérieur gauche. Les faux positifs se trouvent dans le coin supérieur droit, où les exemples sont en réalité négatifs mais que le classificateur a étiqueté comme positif.

Le coin inférieur gauche de la grille affiche les instances que le classificateur a étiquetées comme négatives mais qui étaient en réalité positives. Enfin, le coin inférieur droit de la matrice de confusion est où se trouvent les valeurs de vrais négatifs, ou où se trouvent les exemples réellement faux.

Lorsque le jeu de données contient plus de deux classes, la matrice s’agrandit de ce nombre de classes. Par exemple, s’il y a trois classes, la matrice sera une matrice 3 x 3. Quelle que soit la taille de la matrice de confusion, la méthode d’interprétation est exactement la même. Le côté gauche contient les valeurs prédites et les étiquettes de classe réelles s’étendent sur le haut. Les instances que le classificateur a prédites correctement s’étendent diagonalement du haut à gauche au bas à droite. En regardant la matrice, vous pouvez discerner les quatre métriques prédictives discutées ci-dessus.

Par exemple, vous pouvez calculer le rappel en prenant les vrais positifs et les faux négatifs, en les additionnant, puis en les divisant par le nombre de vrais exemples positifs. Pendant ce temps, la précision peut être calculée en combinant les faux positifs avec les vrais positifs, puis en divisant la valeur par le nombre total de vrais positifs.

Alors que l’on pourrait passer du temps à calculer manuellement des métriques telles que la précision, le rappel et la spécificité, ces métriques sont si couramment utilisées que la plupart des bibliothèques d’apprentissage automatique ont des méthodes pour les afficher. Par exemple, Scikit-learn pour Python a une fonction qui génère une matrice de confusion.