Co to jest macierz zamieszania?

Jedno z najpotężniejszych narzędzi analitycznych w uczeniu maszynowym i nauce danych w macierz zamieszania. Macierz zamieszania może dostarczyć badaczom szczegółowych informacji o tym, jak klasyfikator uczenia maszynowego radzi sobie w odniesieniu do klas docelowych w zbiorze danych. Matryca zamieszania pokaże przykłady wyświetlania, które zostały odpowiednio sklasyfikowane względem błędnie sklasyfikowanych przykładów. Przyjrzyjmy się bliżej strukturze macierzy zamieszania i sposobom jej interpretacji.

Co to jest matryca zamieszania?

Zacznijmy od prostej definicji macierzy zamieszania. Macierz zamieszania to narzędzie analizy predykcyjnej. W szczególności jest to tabela, która wyświetla i porównuje rzeczywiste wartości z wartościami przewidywanymi przez model. W kontekście uczenia maszynowego macierz zamieszania jest wykorzystywana jako metryka do analizy działania klasyfikatora uczenia maszynowego na zbiorze danych. Macierz zamieszania generuje wizualizację wskaźników, takich jak precyzja, dokładność, swoistość i zapamiętywanie.

Powodem, dla którego macierz pomyłek jest szczególnie użyteczna, jest to, że w przeciwieństwie do innych typów metryk klasyfikacyjnych, takich jak zwykła dokładność, macierz pomyłek generuje pełniejszy obraz działania modelu. Tylko użycie dokładności takiej jak metryka może prowadzić do sytuacji, w której model całkowicie i konsekwentnie błędnie identyfikuje jedną klasę, ale pozostaje to niezauważone, ponieważ średnia wydajność jest dobra. Tymczasem macierz zamieszania daje porównanie różnych wartości jak fałszywe negatywy, prawdziwe negatywy, fałszywie pozytywne i prawdziwie pozytywne.

Zdefiniujmy różne metryki, które reprezentuje macierz zamieszania.

Przypomnij sobie w matrycy zamieszania

Przypomnienie to liczba naprawdę pozytywnych przykładów podzielona przez liczbę przykładów fałszywie negatywnych i przykładów całkowicie pozytywnych. Innymi słowy, przypominanie jest reprezentatywne dla proporcji prawdziwie pozytywnych przykładów sklasyfikowanych przez model uczenia maszynowego. Przypomnienie jest podawane jako procent pozytywnych przykładów, które model był w stanie sklasyfikować spośród wszystkich pozytywnych przykładów zawartych w zbiorze danych. Wartość tę można również nazwać „współczynnikiem trafień”, a powiązaną wartością jest „wrażliwość”, który opisuje prawdopodobieństwo przypomnienia lub odsetek prawdziwie pozytywnych przewidywań.

Detaliczność w Matrycy Zamieszania

Podobnie jak w przypadku pamięci, precyzja to wartość, która śledzi wydajność modelu pod względem pozytywnej klasyfikacji przykładów. Jednak w przeciwieństwie do pamięci, precyzja dotyczy tego, ile przykładów, które model określił jako pozytywne, było naprawdę pozytywnych. Aby to obliczyć, liczbę prawdziwie pozytywnych przykładów dzieli się przez liczbę fałszywie pozytywnych przykładów plus prawdziwie pozytywnych przykładów.

Aby wyraźniej rozróżnić przypominanie i precyzję, precyzja ma na celu ustalenie odsetka wszystkich przykładów oznaczonych jako pozytywne, które były naprawdę pozytywne, podczas gdy przypominanie śledzi odsetek wszystkich prawdziwie pozytywnych przykładów, które model był w stanie rozpoznać.

Specyficzność w Matrycy Zamieszania

Chociaż zapamiętywanie i precyzja to wartości, które śledzą pozytywne przykłady i prawdziwy wskaźnik pozytywnych wyników, specyficzność określa ilościowo prawdziwie ujemny współczynnik lub liczbę przykładów, które model określił jako ujemne, a które były rzeczywiście ujemne. Oblicza się to poprzez liczbę przykładów sklasyfikowanych jako negatywne i podzielenie ich przez liczbę przykładów fałszywie pozytywnych w połączeniu z przykładami prawdziwie negatywnymi.

Zrozumienie matrycy zamieszania

Zdjęcie: Jackverr za pośrednictwem Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Przykład macierzy zamieszania

Po zdefiniowaniu niezbędnych terminów, takich jak precyzja, przypominanie, czułość i specyficzność, możemy zbadać, w jaki sposób te różne wartości są reprezentowane w macierzy zamieszania. W przypadku klasyfikacji generowana jest macierz zamieszania, mająca zastosowanie, gdy istnieją dwie lub więcej klas. Wygenerowana macierz zamieszania może być tak wysoka i szeroka, jak to konieczne, i zawierać dowolną liczbę klas, ale dla uproszczenia sprawdzimy macierz zamieszania 2 x 2 dla zadania klasyfikacji binarnej.

Załóżmy na przykład, że klasyfikator jest używany do określenia, czy pacjent cierpi na chorobę. Cechy zostaną wprowadzone do klasyfikatora, a klasyfikator zwróci jedną z dwóch różnych klasyfikacji – albo pacjent nie jest chory, albo jest chory.

Zacznijmy od lewej strony macierzy. Lewa strona macierzy zamieszania reprezentuje przewidywania dokonane przez klasyfikator dla poszczególnych klas. Zadanie klasyfikacji binarnej będzie miało tutaj dwa wiersze. Jeśli chodzi o górną część macierzy, śledzi ona prawdziwe wartości, rzeczywiste etykiety klas, instancji danych.

Interpretacji macierzy zamieszania można dokonać poprzez sprawdzenie, gdzie przecinają się wiersze i kolumny. Sprawdź przewidywania modelu względem prawdziwych etykiet modelu. W tym przypadku wartości True Positives, czyli liczba poprawnych pozytywnych przewidywań, znajdują się w lewym górnym rogu. Fałszywie pozytywne wyniki znajdują się w prawym górnym rogu, gdzie przykłady są w rzeczywistości negatywne, ale klasyfikator oznaczył je jako pozytywne.

W lewym dolnym rogu siatki wyświetlane są przypadki, które klasyfikator oznaczył jako negatywne, ale w rzeczywistości były pozytywne. Wreszcie, w prawym dolnym rogu macierzy zamieszania znajdują się wartości prawdziwie ujemne lub tam, gdzie znajdują się rzeczywiście fałszywe przykłady.

Jeśli zbiór danych zawiera więcej niż dwie klasy, macierz powiększa się o tę liczbę klas. Na przykład, jeśli istnieją trzy klasy, macierz będzie macierzą 3 x 3. Niezależnie od wielkości macierzy zamieszania, sposób ich interpretacji jest dokładnie taki sam. Lewa strona zawiera przewidywane wartości i rzeczywiste etykiety klas biegnące u góry. Instancje, które klasyfikator poprawnie przewidział, przebiegają po przekątnej od lewego górnego rogu do prawego dolnego rogu. Patrząc na macierz, można dostrzec cztery omówione powyżej metryki predykcyjne.

Na przykład możesz obliczyć liczbę zapamiętanych informacji, biorąc prawdziwie pozytywne i fałszywie negatywne wyniki, dodając je do siebie i dzieląc przez liczbę prawdziwie pozytywnych przykładów. Tymczasem precyzję można obliczyć, łącząc wyniki fałszywie dodatnie z prawdziwie dodatnimi, a następnie dzieląc wartość przez całkowitą liczbę wyników prawdziwie dodatnich.

Chociaż można spędzać czas na ręcznym obliczaniu metryk, takich jak precyzja, przypominanie i specyficzność, metryki te są tak powszechnie używane, że większość bibliotek uczenia maszynowego ma metody ich wyświetlania. Na przykład Scikit-learn dla Pythona ma funkcję generującą macierz zamieszania.