Was ist eine Confusion-Matrix?

Eine der leistungsstärksten Analyse-Tools im maschinellen Lernen und in der Datenwissenschaft ist die Confusion-Matrix. Die Confusion-Matrix ist in der Lage, den Forschern detaillierte Informationen darüber zu liefern, wie ein maschinelles Lernmodell in Bezug auf die Zielklassen im Datensatz performt hat. Eine Confusion-Matrix zeigt Beispiele, die richtig klassifiziert wurden, gegenüber Beispielen, die falsch klassifiziert wurden. Lassen Sie uns einen tieferen Blick darauf werfen, wie eine Confusion-Matrix strukturiert ist und wie sie interpretiert werden kann.

Was ist eine Confusion-Matrix?

Lassen Sie uns mit einer einfachen Definition einer Confusion-Matrix beginnen. Eine Confusion-Matrix ist ein Tool der Vorhersage-Analyse. Insbesondere ist es eine Tabelle, die tatsächliche Werte mit den vorhergesagten Werten des Modells vergleicht. Im Kontext des maschinellen Lernens wird eine Confusion-Matrix als Metrik verwendet, um zu analysieren, wie ein maschinelles Lernmodell auf einem Datensatz performt hat. Eine Confusion-Matrix generiert eine Visualisierung von Metriken wie Präzision, Genauigkeit, Spezifität und Rückruf.

Der Grund, warum die Confusion-Matrix besonders nützlich ist, ist, dass sie im Gegensatz zu anderen Arten von Klassifizierungs-Metriken wie einfacher Genauigkeit eine vollständigere Darstellung davon liefert, wie ein Modell performt hat. Die Verwendung einer Metrik wie Genauigkeit kann zu einer Situation führen, in der das Modell eine Klasse vollständig und konsistent falsch identifiziert, aber dies bleibt unentdeckt, weil die durchschnittliche Leistung gut ist. Währenddessen liefert die Confusion-Matrix einen Vergleich verschiedener Werte wie Falsch-Negativ, Wahr-Negativ, Falsch-Positiv und Wahr-Positiv.

Lassen Sie uns die verschiedenen Metriken definieren, die eine Confusion-Matrix darstellt.

Rückruf in einer Confusion-Matrix

Rückruf ist die Anzahl der tatsächlich positiven Beispiele geteilt durch die Anzahl der Falsch-Negativ-Beispiele und die Gesamtzahl der positiven Beispiele. Mit anderen Worten, Rückruf ist repräsentativ für den Anteil der wahren positiven Beispiele, die ein maschinelles Lernmodell klassifiziert hat. Rückruf wird als Prozentsatz der positiven Beispiele angegeben, die das Modell klassifizieren konnte, im Vergleich zu allen positiven Beispielen im Datensatz. Dieser Wert kann auch als “Trefferquote” bezeichnet werden, und ein damit verbundener Wert ist “Sensitivität”, der die Wahrscheinlichkeit des Rückrufs oder die Rate der wahren positiven Vorhersagen beschreibt.

Präzision in einer Confusion-Matrix

Wie Rückruf ist auch Präzision ein Wert, der die Leistung eines Modells bei der Klassifizierung positiver Beispiele verfolgt. Im Gegensatz zu Rückruf jedoch ist Präzision besorgt mit der Anzahl der Beispiele, die das Modell als positiv markiert hat, die tatsächlich positiv waren. Um dies zu berechnen, werden die Anzahl der wahren positiven Beispiele durch die Anzahl der Falsch-Positiv-Beispiele plus die wahren Positiven geteilt.

Um den Unterschied zwischen Rückruf und Präzision klarer zu machen, zielt Präzision darauf ab, den Prozentsatz aller Beispiele zu ermitteln, die als positiv markiert wurden, die tatsächlich positiv waren, während Rückruf den Prozentsatz aller wahren positiven Beispiele verfolgt, die das Modell erkennen konnte.

Spezifität in einer Confusion-Matrix

Während Rückruf und Präzision Werte sind, die positive Beispiele und die wahre positive Rate verfolgen, quantifiziert Spezifität die wahre negative Rate oder die Anzahl der Beispiele, die das Modell als negativ definiert hat, die tatsächlich negativ waren. Dies wird berechnet, indem die Anzahl der als negativ klassifizierten Beispiele durch die Anzahl der Falsch-Positiv-Beispiele plus die wahren Negativen geteilt wird.

Verständnis der Confusion-Matrix

Foto: Jackverr via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Beispiel einer Confusion-Matrix

Nachdem wir notwendige Begriffe wie Präzision, Rückruf, Sensitivität und Spezifität definiert haben, können wir untersuchen, wie diese verschiedenen Werte innerhalb einer Confusion-Matrix dargestellt werden. Eine Confusion-Matrix wird in Fällen der Klassifizierung generiert, die anwendbar sind, wenn es zwei oder mehr Klassen gibt. Die generierte Confusion-Matrix kann so groß und breit sein, wie erforderlich, und kann jede gewünschte Anzahl von Klassen enthalten, aber zum Zweck der Einfachheit werden wir eine 2 x 2 Confusion-Matrix für eine binäre Klassifizierungsaufgabe untersuchen.

Als Beispiel nehmen wir an, dass ein Klassifizierer verwendet wird, um zu bestimmen, ob ein Patient eine Krankheit hat oder nicht. Die Merkmale werden in den Klassifizierer eingegeben, und der Klassifizierer gibt eine von zwei verschiedenen Klassifizierungen zurück – entweder der Patient hat die Krankheit nicht oder er hat sie.

Lassen Sie uns mit der linken Seite der Matrix beginnen. Die linke Seite der Confusion-Matrix stellt die Vorhersagen dar, die der Klassifizierer für die einzelnen Klassen getroffen hat. Eine binäre Klassifizierungsaufgabe hat zwei Zeilen hier. Bezüglich des oberen Teils der Matrix verfolgt sie die tatsächlichen Werte, die tatsächlichen Klassenlabels, der Dateninstanzen.

Die Interpretation einer Confusion-Matrix kann durch die Untersuchung der Schnittpunkte von Zeilen und Spalten erfolgen. Vergleichen Sie die Vorhersagen des Modells mit den tatsächlichen Labels des Modells. In diesem Fall befinden sich die Werte der wahren Positiven, die Anzahl der korrekten positiven Vorhersagen, in der oberen linken Ecke. Die Falsch-Positiven befinden sich in der oberen rechten Ecke, wo die Beispiele tatsächlich negativ sind, aber der Klassifizierer sie als positiv markiert hat.

Die untere linke Ecke des Rasters zeigt Instanzen, die der Klassifizierer als negativ markiert hat, die aber tatsächlich positiv waren. Schließlich befinden sich die Werte der wahren Negativen, oder die tatsächlich falschen Beispiele, in der unteren rechten Ecke der Confusion-Matrix.

Wenn das Datenset mehr als zwei Klassen enthält, wächst die Matrix um diese Klassen. Zum Beispiel, wenn es drei Klassen gibt, ist die Matrix eine 3 x 3-Matrix. Unabhängig von der Größe der Confusion-Matrix ist die Methode für die Interpretation dieselbe. Die linke Seite enthält die vorhergesagten Werte und die tatsächlichen Klassenlabels laufen über die Oberseite. Die Instanzen, die der Klassifizierer richtig vorhergesagt hat, laufen diagonal von der oberen linken Ecke zur unteren rechten Ecke. Durch die Untersuchung der Matrix können Sie die vier vorhergesagten Metriken erkennen.

Um beispielsweise Rückruf zu berechnen, können Sie die wahren Positiven und Falsch-Negativen addieren und durch die Anzahl der wahren positiven Beispiele teilen. Währenddessen kann Präzision berechnet werden, indem die Falsch-Positiven mit den wahren Positiven kombiniert und der Wert in die Gesamtzahl der wahren Positiven geteilt wird.

Während man Zeit damit verbringen könnte, Metriken wie Präzision, Rückruf und Spezifität manuell zu berechnen, werden diese Metriken so häufig verwendet, dass die meisten maschinellen Lernbibliotheken Methoden haben, um sie anzuzeigen. Zum Beispiel hat Scikit-learn für Python eine Funktion, die eine Confusion-Matrix generiert.