Was ist eine Confusion Matrix?

Eines der leistungsstärksten Analysewerkzeuge im Machine Learning und Data Science ist die Confusion Matrix. Die Confusion Matrix ist in der Lage, den Forschern detaillierte Informationen darüber zu liefern, wie ein Machine-Learning-Klassifizierer in Bezug auf die Zielklassen im Datensatz performt hat. Eine Confusion Matrix zeigt Beispiele, die ordnungsgemäß klassifiziert wurden, gegenüber fehlklassifizierten Beispielen. Lassen Sie uns einen tieferen Blick darauf werfen, wie eine Confusion Matrix strukturiert ist und wie sie interpretiert werden kann.

Was ist eine Confusion Matrix?

Lassen Sie uns mit einer einfachen Definition einer Confusion Matrix beginnen. Eine Confusion Matrix ist ein Werkzeug für die predictive Analytics. Speziell ist es eine Tabelle, die tatsächliche Werte mit den vorhergesagten Werten des Modells anzeigt und vergleicht. Im Kontext des Machine Learning wird eine Confusion Matrix als Metrik verwendet, um zu analysieren, wie ein Machine-Learning-Klassifizierer auf einem Datensatz performt hat. Eine Confusion Matrix generiert eine Visualisierung von Metriken wie Präzision, Genauigkeit, Spezifität und Recall.

Der Grund, warum die Confusion Matrix besonders nützlich ist, liegt darin, dass sie, im Gegensatz zu anderen Arten von Klassifizierungsmetriken wie der einfachen Genauigkeit, ein vollständigeres Bild davon liefert, wie ein Modell performt hat. Die Verwendung einer Metrik wie der Genauigkeit kann zu einer Situation führen, in der das Modell eine Klasse vollständig und konsequent falsch identifiziert, aber dies bleibt unerkannt, weil die durchschnittliche Leistung gut ist. Währenddessen gibt die Confusion Matrix einen Vergleich von verschiedenen Werten wie Falsch-Negativen, Wahr-Negativen, Falsch-Positiven und Wahr-Positiven.

Lassen Sie uns die verschiedenen Metriken definieren, die eine Confusion Matrix darstellt.

Recall in einer Confusion Matrix

Recall ist die Anzahl der tatsächlich positiven Beispiele geteilt durch die Anzahl der Falsch-Negativen und der Gesamtzahl der positiven Beispiele. Mit anderen Worten, Recall ist repräsentativ für den Anteil der wahren positiven Beispiele, die ein Machine-Learning-Modell klassifiziert hat. Recall wird als Prozentsatz der positiven Beispiele angegeben, die das Modell aus allen im Datensatz enthaltenen positiven Beispielen klassifizieren konnte. Dieser Wert kann auch als “Trefferquote” bezeichnet werden, und ein verwandter Wert ist “Sensitivität“, der die Wahrscheinlichkeit des Recalls oder die Rate der wahren positiven Vorhersagen beschreibt.

Präzision in einer Confusion Matrix

Wie Recall ist auch Präzision ein Wert, der die Leistung eines Modells bei der Klassifizierung von positiven Beispielen verfolgt. Im Gegensatz zu Recall jedoch ist Präzision damit beschäftigt, wie viele der Beispiele, die das Modell als positiv markiert hat, tatsächlich positiv waren. Um dies zu berechnen, werden die Anzahl der wahren positiven Beispiele durch die Anzahl der Falsch-Positiven plus die wahren Positiven geteilt.

Um den Unterschied zwischen Recall und Präzision klarer zu machen, zielt Präzision darauf ab, den Prozentsatz aller als positiv markierten Beispiele zu ermitteln, die tatsächlich positiv waren, während Recall den Prozentsatz aller wahren positiven Beispiele verfolgt, die das Modell erkennen konnte.

Spezifität in einer Confusion Matrix

Während Recall und Präzision Werte sind, die positive Beispiele und die wahre positive Rate verfolgen, quantifiziert die Spezifität die wahre negative Rate oder die Anzahl der Beispiele, die das Modell als negativ definiert hat und die tatsächlich negativ waren. Dies wird berechnet, indem die Anzahl der als negativ klassifizierten Beispiele durch die Anzahl der Falsch-Positiven plus die wahren Negativen geteilt wird.

Verständnis der Confusion Matrix

Photo: Jackverr via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Beispiel für eine Confusion Matrix

Nachdem wir notwendige Begriffe wie Präzision, Recall, Sensitivität und Spezifität definiert haben, können wir untersuchen, wie diese verschiedenen Werte innerhalb einer Confusion Matrix dargestellt werden. Eine Confusion Matrix wird in Fällen der Klassifizierung generiert, die anwendbar sind, wenn es zwei oder mehr Klassen gibt. Die generierte Confusion Matrix kann so hoch und breit sein, wie erforderlich, und kann jede gewünschte Anzahl von Klassen enthalten, aber zum Zweck der Einfachheit werden wir eine 2 x 2 Confusion Matrix für eine binäre Klassifizierungsaufgabe untersuchen.

Als Beispiel nehmen wir an, dass ein Klassifizierer verwendet wird, um zu bestimmen, ob ein Patient eine Krankheit hat oder nicht. Die Merkmale werden in den Klassifizierer eingegeben, und der Klassifizierer gibt eine von zwei verschiedenen Klassifizierungen zurück – entweder der Patient hat die Krankheit nicht oder er hat sie.

Lassen Sie uns mit der linken Seite der Matrix beginnen. Die linke Seite der Confusion Matrix stellt die Vorhersagen dar, die der Klassifizierer für die einzelnen Klassen getroffen hat. Eine binäre Klassifizierungsaufgabe hat hier zwei Zeilen. Bezüglich des oberen Teils der Matrix wird die wahre Klasse, die tatsächlichen Klassenlabels, der Dateninstanzen verfolgt.

Die Interpretation einer Confusion Matrix kann durch die Untersuchung erfolgen, wo die Zeilen und Spalten sich schneiden. Überprüfen Sie die Vorhersagen des Modells gegen die tatsächlichen Labels des Modells. In diesem Fall befinden sich die Wahr-Positiv-Werte, die Anzahl der korrekten positiven Vorhersagen, in der oberen linken Ecke. Die Falsch-Positiven befinden sich in der oberen rechten Ecke, wo die Beispiele tatsächlich negativ sind, aber der Klassifizierer sie als positiv markiert hat.

Die untere linke Ecke des Rasters zeigt Instanzen an, die der Klassifizierer als negativ markiert hat, aber tatsächlich positiv waren. Schließlich befinden sich die Wahr-Negativ-Werte in der unteren rechten Ecke der Confusion Matrix, oder wo die tatsächlich falschen Beispiele sind.

Wenn der Datensatz mehr als zwei Klassen enthält, wächst die Matrix um diese Anzahl von Klassen. Wenn es beispielsweise drei Klassen gibt, ist die Matrix eine 3 x 3-Matrix. Unabhängig von der Größe der Confusion Matrix ist die Methode für die Interpretation dieselbe. Die linke Seite enthält die vorhergesagten Werte und die tatsächlichen Klassenlabels laufen über die Oberseite. Die Instanzen, die der Klassifizierer korrekt vorhergesagt hat, laufen diagonal von der oberen linken zur unteren rechten Ecke. Durch die Untersuchung der Matrix können Sie die vier vorhergesagten Metriken erkennen, die oben diskutiert wurden.

Zum Beispiel können Sie Recall berechnen, indem Sie die Wahr-Positiven und Falsch-Negativen addieren und durch die Anzahl der Wahr-Positiv-Beispiele dividieren. Währenddessen kann Präzision berechnet werden, indem die Falsch-Positiven mit den Wahr-Positiven kombiniert und der Wert in die Gesamtzahl der Wahr-Positiven geteilt wird.

Während man Zeit damit verbringen könnte, Metriken wie Präzision, Recall und Spezifität manuell zu berechnen, sind diese Metriken so häufig verwendet, dass die meisten Machine-Learning-Bibliotheken Methoden haben, um sie anzuzeigen. Zum Beispiel hat Scikit-learn für Python eine Funktion, die eine Confusion Matrix generiert.