Ce este o matrice de confuzie?

Unul dintre cele mai puternice instrumente analitice în machine learning și știința datelor este matricea de confuzie. Matricea de confuzie este capabilă să ofere cercetătorilor informații detaliate despre modul în care un clasificator de machine learning a performant în raport cu clasele țintă din setul de date. O matrice de confuzie va demonstra exemple care au fost clasificate corect împotriva exemplelor care au fost clasificate incorect. Să aruncăm o privire mai profundă asupra modului în care o matrice de confuzie este structurată și cum poate fi interpretată.

Ce este o matrice de confuzie?

Să începem prin a oferi o definiție simplă a unei matrice de confuzie. O matrice de confuzie este un instrument de analitică predictivă. În mod specific, este o tabelă care afișează și compară valorile reale cu valorile prezise de model. În contextul machine learning, o matrice de confuzie este utilizată ca o metrică pentru a analiza modul în care un clasificator de machine learning a performant pe un set de date. O matrice de confuzie generează o vizualizare a metricilor precum precizia, acuratețea, specificitatea și rechemarea.

Motivul pentru care matricea de confuzie este deosebit de utilă este că, spre deosebire de alte tipuri de metrici de clasificare, cum ar fi acuratețea simplă, matricea de confuzie generează o imagine mai completă a modului în care un model a performant. Utilizarea unei metrici precum acuratețea poate duce la o situație în care modelul este complet și consistent greșit clasificat pentru o clasă, dar nu este observat pentru că, în medie, performanța este bună. Între timp, matricea de confuzie oferă o comparație a diferitelor valori precum False Negatives, True Negatives, False Positives și True Positives.

Să definim diferitele metrici pe care o matrice de confuzie le reprezintă.

Rechemarea într-o matrice de confuzie

Rechemarea este numărul de exemple pozitiv adevărate împărțit la numărul de exemple negative false și exemple pozitive totale. În alte cuvinte, rechemarea este reprezentativă pentru proporția de exemple pozitive adevărate pe care un model de machine learning le-a clasificat. Rechemarea este dată ca procentul de exemple pozitive pe care modelul le-a putut clasifica din toate exemplele pozitive conținute în setul de date. Această valoare poate fi, de asemenea, referită la “rata de lovire” și o valoare asociată este “sensibilitatea”, care descrie probabilitatea de rechemare sau rata de predicții pozitive adevărate.

Precizia într-o matrice de confuzie

La fel ca rechemarea, precizia este o valoare care urmărește performanța modelului în ceea ce privește clasificarea exemplelor pozitive. În contrast cu rechemarea, precizia se ocupă de câte exemple modelul a etichetat ca pozitive au fost într-adevăr pozitive. Pentru a calcula acest lucru, numărul de exemple pozitive adevărate este împărțit la numărul de exemple false pozitive plus exemple pozitive adevărate.

Pentru a face distincția între rechemare și precizie mai clară, precizia încearcă să determine procentul de exemple etichetate ca pozitive care au fost într-adevăr pozitive, în timp ce rechemarea urmărește procentul de exemple pozitive adevărate pe care modelul le-a putut recunoaște.

Specificitatea într-o matrice de confuzie

În timp ce rechemarea și precizia sunt valori care urmăresc exemplele pozitive și rata de exemple pozitive adevărate, specificitatea cuantifică rata de exemple negative adevărate sau numărul de exemple pe care modelul le-a definit ca negative care au fost într-adevăr negative. Acest lucru este calculat prin împărțirea numărului de exemple clasificate ca negative la numărul de exemple false pozitive combinate cu exemplele negative adevărate.

Înțelegerea matricei de confuzie

Photo: Jackverr via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Exemplu de matrice de confuzie

După definirea termenilor necesari precum precizia, rechemarea, sensibilitatea și specificitatea, putem examina cum aceste valori diferite sunt reprezentate într-o matrice de confuzie. O matrice de confuzie este generată în cazuri de clasificare, aplicabilă atunci când există două sau mai multe clase. Matricea de confuzie generată poate fi la fel de înaltă și de largă pe cât este necesar, conținând orice număr dorit de clase, dar pentru scopuri de simplitate, vom examina o matrice de confuzie 2 x 2 pentru o sarcină de clasificare binară.

Ca exemplu, presupunem că un clasificator este utilizat pentru a determina dacă un pacient are o boală sau nu. Caracteristicile vor fi introduse în clasificator, iar clasificatorul va returna una dintre cele două clasificări diferite – fie pacientul nu are boala, fie o are.

Să începem cu partea stângă a matricei. Partea stângă a matricei de confuzie reprezintă predicțiile pe care clasificatorul le-a făcut pentru clasele individuale. O sarcină de clasificare binară va avea două rânduri aici. În ceea ce privește partea superioară a matricei, aceasta urmărește valorile reale, etichetele de clasă reale, ale instanțelor de date.

Interpretarea unei matrice de confuzie poate fi făcută prin examinarea intersecției rândurilor și coloanelor. Verificați predicțiile modelului împotriva etichetelor reale ale modelului. În acest caz, valorile True Positives, numărul de predicții pozitive corecte, se află în colțul superior stâng. Valorile false pozitive se află în colțul superior drept, unde exemplele sunt de fapt negative, dar clasificatorul le-a etichetat ca pozitive.

Colțul inferior stâng al grilei afișează instanțele pe care clasificatorul le-a etichetat ca negative, dar care au fost într-adevăr pozitive. În final, colțul inferior drept al matricei de confuzie este unde se află valorile True Negative, sau unde exemplele false sunt într-adevăr false.

Când setul de date conține mai mult de două clase, matricea crește cu atâtea clase. De exemplu, dacă există trei clase, matricea va fi o matrice 3 x 3. Indiferent de mărimea matricei de confuzie, metoda de interpretare a acestora este exact aceeași. Partea stângă conține valorile prezise și etichetele de clasă reale rulează de-a lungul superior. Instanțele pe care clasificatorul le-a prezis corect rulează diagonal din colțul superior stâng până în colțul inferior drept. Prin examinarea matricei puteți discerne cele patru metrici predictive discutate mai sus.

De exemplu, puteți calcula rechemarea prin luarea valorilor True Positives și False Negatives, adăugarea lor împreună și împărțirea lor la numărul de exemple pozitive adevărate. Între timp, precizia poate fi calculată prin combinarea valorilor False Positives cu valorile True Positives, apoi împărțind valoarea în numărul total de exemple pozitive adevărate.

În timp ce ai putea petrece timp calculând manual metrici precum precizia, rechemarea și specificitatea, aceste metrici sunt atât de des utilizate încât majoritatea bibliotecilor de machine learning au metode de afișare a acestora. De exemplu, Scikit-learn pentru Python are o funcție care generează o matrice de confuzie.