Was ist eine Verwirrungsmatrix?

Eines der leistungsstärksten Analysewerkzeuge für maschinelles Lernen und Datenwissenschaft in die Verwirrungsmatrix. Die Verwirrungsmatrix ist in der Lage, den Forschern detaillierte Informationen darüber zu liefern, wie ein Klassifikator für maschinelles Lernen in Bezug auf die Zielklassen im Datensatz abgeschnitten hat. Eine Verwirrungsmatrix zeigt ordnungsgemäß klassifizierte Anzeigebeispiele im Vergleich zu falsch klassifizierten Beispielen. Schauen wir uns genauer an, wie eine Verwirrungsmatrix aufgebaut ist und wie sie interpretiert werden kann.

Was ist eine Verwirrungsmatrix?

Beginnen wir mit einer einfachen Definition einer Verwirrungsmatrix. Eine Verwirrungsmatrix ist ein prädiktives Analysetool. Konkret handelt es sich um eine Tabelle, die tatsächliche Werte anzeigt und mit den vorhergesagten Werten des Modells vergleicht. Im Kontext des maschinellen Lernens wird eine Verwirrungsmatrix als Metrik verwendet, um zu analysieren, wie sich ein Klassifikator für maschinelles Lernen an einem Datensatz verhält. Eine Verwirrungsmatrix generiert eine Visualisierung von Metriken wie Präzision, Genauigkeit, Spezifität und Erinnerung.

Der Grund dafür, dass die Verwirrungsmatrix besonders nützlich ist, besteht darin, dass die Verwirrungsmatrix im Gegensatz zu anderen Arten von Klassifizierungsmetriken wie der einfachen Genauigkeit ein vollständigeres Bild der Leistung eines Modells generiert. Nur die Verwendung einer Metrik wie Genauigkeit kann dazu führen, dass das Modell eine Klasse vollständig und konsistent falsch identifiziert, dies jedoch unbemerkt bleibt, da die durchschnittliche Leistung gut ist. Inzwischen ist die Verwirrungsmatrix gibt einen Vergleich verschiedener Werte wie False Negatives, True Negatives, False Positives und True Positives.

Definieren wir die verschiedenen Metriken, die eine Verwirrungsmatrix darstellt.

Rückruf in einer Verwirrungsmatrix

Der Rückruf ist die Anzahl der wirklich positiven Beispiele dividiert durch die Anzahl der falsch-negativen Beispiele und die Gesamtzahl der positiven Beispiele. Mit anderen Worten: Der Rückruf ist repräsentativ für den Anteil wirklich positiver Beispiele, die ein maschinelles Lernmodell klassifiziert hat. Der Recall wird als Prozentsatz der positiven Beispiele angegeben, die das Modell aus allen im Datensatz enthaltenen positiven Beispielen klassifizieren konnte. Dieser Wert kann auch als „Trefferquote“ bezeichnet werden, und ein verwandter Wert ist „Empfindlichkeit“, der die Wahrscheinlichkeit einer Erinnerung oder die Rate echter positiver Vorhersagen beschreibt.

Präzision in einer Verwirrungsmatrix

Präzision ist wie Erinnerung ein Wert, der die Leistung eines Modells im Hinblick auf die Klassifizierung positiver Beispiele verfolgt. Im Gegensatz zur Erinnerung geht es bei der Präzision jedoch darum, wie viele der Beispiele, die das Modell als positiv bezeichnete, wirklich positiv waren. Um dies zu berechnen, wird die Anzahl der wirklich positiven Beispiele durch die Anzahl der falsch positiven Beispiele plus der wahr positiven Beispiele dividiert.

Um die Unterscheidung zu treffen Rückruf und Präzision klarerPräzision zielt darauf ab, den Prozentsatz aller als positiv gekennzeichneten Beispiele zu ermitteln, die wirklich positiv waren, während Rückruf den Prozentsatz aller wirklich positiven Beispiele verfolgt, die das Modell erkennen konnte.

Spezifität in einer Verwirrungsmatrix

Während Erinnerung und Präzision Werte sind, die positive Beispiele und die tatsächlich positive Rate verfolgen, Spezifität quantifiziert die wahre Negativrate oder die Anzahl der Beispiele, die das Modell als negativ definiert hat und die wirklich negativ waren. Dies wird berechnet, indem die Anzahl der als negativ eingestuften Beispiele durch die Anzahl der falsch-positiven Beispiele in Kombination mit den richtig negativen Beispielen dividiert wird.

Die Verwirrungsmatrix verstehen

Foto: Jackverr über Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Beispiel einer Verwirrungsmatrix

Nachdem wir notwendige Begriffe wie Präzision, Erinnerung, Sensitivität und Spezifität definiert haben, können wir untersuchen, wie diese verschiedenen Werte in einer Verwirrungsmatrix dargestellt werden. Bei der Klassifizierung wird eine Verwirrungsmatrix erstellt, die anwendbar ist, wenn zwei oder mehr Klassen vorhanden sind. Die generierte Verwirrungsmatrix kann so hoch und breit wie nötig sein und eine beliebige Anzahl von Klassen enthalten. Der Einfachheit halber untersuchen wir jedoch eine 2 x 2-Konfusionsmatrix für eine binäre Klassifizierungsaufgabe.

Nehmen wir beispielsweise an, dass ein Klassifikator verwendet wird, um zu bestimmen, ob ein Patient an einer Krankheit leidet oder nicht. Die Merkmale werden in den Klassifikator eingespeist und der Klassifikator gibt eine von zwei verschiedenen Klassifikationen zurück – entweder hat der Patient die Krankheit nicht oder er hat sie.

Beginnen wir mit der linken Seite der Matrix. Die linke Seite der Verwirrungsmatrix stellt die Vorhersagen dar, die der Klassifikator für die einzelnen Klassen getroffen hat. Eine binäre Klassifizierungsaufgabe hat hier zwei Zeilen. Im oberen Teil der Matrix werden die wahren Werte, die tatsächlichen Klassenbezeichnungen, der Dateninstanzen verfolgt.

Die Interpretation einer Verwirrungsmatrix kann durch die Untersuchung der Schnittpunkte von Zeilen und Spalten erfolgen. Vergleichen Sie die Vorhersagen des Modells mit den wahren Bezeichnungen des Modells. In diesem Fall befinden sich die True Positives-Werte, die Anzahl der korrekten positiven Vorhersagen, in der oberen linken Ecke. Die falsch positiven Ergebnisse finden Sie in der oberen rechten Ecke, wo die Beispiele tatsächlich negativ sind, der Klassifikator sie jedoch als positiv markiert hat.

In der unteren linken Ecke des Rasters werden Instanzen angezeigt, die der Klassifikator als negativ markiert hat, die aber wirklich positiv waren. In der unteren rechten Ecke der Verwirrungsmatrix schließlich finden sich die wahren negativen Werte bzw. die wirklich falschen Beispiele.

Wenn der Datensatz mehr als zwei Klassen enthält, wächst die Matrix um entsprechend viele Klassen. Wenn es beispielsweise drei Klassen gibt, ist die Matrix eine 3 x 3-Matrix. Unabhängig von der Größe der Verwirrungsmatrix ist die Methode zu ihrer Interpretation genau dieselbe. Die linke Seite enthält die vorhergesagten Werte und oben verlaufen die tatsächlichen Klassenbezeichnungen. Die vom Klassifikator korrekt vorhergesagten Instanzen verlaufen diagonal von links oben nach rechts unten. Wenn Sie sich die Matrix ansehen, können Sie die vier oben besprochenen Vorhersagemetriken erkennen.

Beispielsweise können Sie die Erinnerung berechnen, indem Sie die wahr-positiven und falsch-negativen Ergebnisse addieren und durch die Anzahl der wahr-positiven Beispiele dividieren. In der Zwischenzeit kann die Präzision berechnet werden, indem die falsch-positiven Ergebnisse mit den wahr-positiven Ergebnissen kombiniert werden und der Wert dann durch die Gesamtzahl der wahr-positiven Ergebnisse dividiert wird.

Während man Zeit damit verbringen könnte, Metriken wie Präzision, Erinnerung und Spezifität manuell zu berechnen, werden diese Metriken so häufig verwendet, dass die meisten Bibliotheken für maschinelles Lernen über Methoden zur Anzeige dieser Metriken verfügen. Scikit-learn für Python verfügt beispielsweise über eine Funktion, die eine Verwirrungsmatrix generiert.