Ce este o Matrice de Confuzie?

Una dintre cele mai puternice unelte analitice în învățarea automată și știința datelor este matricea de confuzie. Matricea de confuzie este capabilă să ofere cercetătorilor informații detaliate despre modul în care un clasificator de învățare automată a performant în raport cu clasele țintă din setul de date. O matrice de confuzie va demonstra exemple care au fost clasificate corect împotriva exemplelor clasificate greșit. Să aruncăm o privire mai atentă la modul în care o matrice de confuzie este structurată și cum poate fi interpretată.

Ce este o Matrice de Confuzie?

Să începem prin a oferi o definiție simplă a unei matrice de confuzie. O matrice de confuzie este un instrument de analitică predictivă. În special, este o tabelă care afișează și compară valorile reale cu valorile prevăzute de model. În contextul învățării automate, o matrice de confuzie este utilizată ca o metrică pentru a analiza modul în care un clasificator de învățare automată a performant pe un set de date. O matrice de confuzie generează o vizualizare a metricilor precum precizia, acuratețea, specificitatea și rechemarea.

Motivul pentru care matricea de confuzie este deosebit de utilă este că, în contrast cu alte tipuri de metrice de clasificare, cum ar fi acuratețea simplă, matricea de confuzie generează o imagine mai completă a modului în care un model a performant. Utilizarea numai a unei metrice precum acuratețea poate duce la o situație în care modelul identifică în mod constant greșit o clasă, dar nu este observat pentru că, în medie, performanța este bună. Între timp, matricea de confuzie oferă o comparație a diferitelor valori precum False Negatives, True Negatives, False Positives și True Positives.

Să definim diferitele metrice pe care o matrice de confuzie le reprezintă.

Rechemarea într-o Matrice de Confuzie

Rechemarea este numărul de exemple pozitiv reale împărțit la numărul de exemple negative false și exemple pozitive totale. Cu alte cuvinte, rechemarea este reprezentativă pentru proporția de exemple pozitive adevărate pe care un model de învățare automată le-a clasificat. Rechemarea este dată ca procentul de exemple pozitive pe care modelul le-a putut clasifica din toate exemplele pozitive conținute în setul de date. Această valoare poate fi, de asemenea, denumită “rata de lovire” și o valoare asociată este “sensibilitatea”, care descrie probabilitatea de rechemare sau rata de predicții pozitive reale.

Precizia într-o Matrice de Confuzie

La fel ca rechemarea, precizia este o valoare care urmărește performanța unui model în ceea ce privește clasificarea exemplelor pozitive. Cu toate acestea, spre deosebire de rechemare, precizia se ocupă de câte exemple modelul a etichetat ca pozitive au fost într-adevăr pozitive. Pentru a calcula acest lucru, numărul de exemple pozitive adevărate este împărțit la numărul de exemple false pozitive plus exemple pozitive adevărate.

Pentru a face distincția între rechemare și precizie mai clară, precizia încearcă să determine procentul de exemple etichetate ca pozitive care au fost într-adevăr pozitive, în timp ce rechemarea urmărește procentul de exemple pozitive adevărate pe care modelul le-a putut recunoaște.

Specificitatea într-o Matrice de Confuzie

În timp ce rechemarea și precizia sunt valori care urmăresc exemplele pozitive și rata de exemple pozitive adevărate, specificitatea cantită rata de exemple negative adevărate sau numărul de exemple pe care modelul le-a definit ca negative care au fost într-adevăr negative. Acest lucru este calculat prin împărțirea numărului de exemple clasificate ca negative la numărul de exemple false pozitive combinate cu exemplele negative adevărate.

Înțelegerea Matricei de Confuzie

Foto: Jackverr via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Exemplu de Matrice de Confuzie

După ce am definit termeni necesari precum precizia, rechemarea, sensibilitatea și specificitatea, putem examina cum aceste valori diferite sunt reprezentate într-o matrice de confuzie. O matrice de confuzie este generată în cazuri de clasificare, aplicabilă atunci când există două sau mai multe clase. Matricea de confuzie generată poate fi la fel de înaltă și de largă pe cât este necesar, conținând orice număr dorit de clase, dar pentru scopuri de simplitate, vom examina o matrice de confuzie 2×2 pentru o sarcină de clasificare binară.

De exemplu, presupunem că un clasificator este utilizat pentru a determina dacă un pacient are o boală. Caracteristicile vor fi introduse în clasificator, iar clasificatorul va returna una dintre două clasificări diferite – fie pacientul nu are boala, fie are.

Să începem cu partea stângă a matricei. Partea stângă a matricei de confuzie reprezintă predicțiile pe care clasificatorul le-a făcut pentru clasele individuale. O sarcină de clasificare binară va avea două rânduri aici. În ceea ce privește partea superioară a matricei, aceasta urmărește valorile reale, etichetele de clasă reale, ale instanțelor de date.

Interpretarea unei matrice de confuzie poate fi făcută prin examinarea intersecției rândurilor și coloanelor. Verificați predicțiile modelului împotriva etichetelor reale ale modelului. În acest caz, valorile True Pozitive, numărul de predicții pozitive corecte, se află în colțul superior stâng. Valorile false pozitive se află în colțul superior drept, unde exemplele sunt de fapt negative, dar clasificatorul le-a etichetat ca pozitive.

Colțul inferior stâng al grilei afișează instanțele pe care clasificatorul le-a etichetat ca negative, dar care au fost într-adevăr pozitive. În final, colțul inferior drept al matricei de confuzie este unde se află valorile True Negative, sau unde se află exemplele într-adevăr false.

Când setul de date conține mai mult de două clase, matricea crește cu atâtea clase. De exemplu, dacă există trei clase, matricea va fi o matrice 3×3. Indiferent de mărimea matricei de confuzie, metoda de interpretare a acestora este exact aceeași. Partea stângă conține valorile prevăzute și etichetele de clasă reale rulează de-a lungul superior. Instanțele pe care clasificatorul le-a prevăzut corect rulează diagonal din colțul superior stâng în colțul inferior drept. Prin examinarea matricei puteți determina cele patru metrice predictive discutate mai sus.

Pentru exemplificare, puteți calcula rechemarea prin luarea valorilor True Pozitive și False Negative, adăugarea lor împreună și împărțirea lor la numărul de exemple pozitive adevărate. Între timp, precizia poate fi calculată prin combinarea valorilor False Pozitive cu valorile True Pozitive, apoi împărțirea valorii în numărul total de exemple pozitive adevărate.

În timp ce ar putea fi necesar să petrecem timp manual calculând metrice precum precizia, rechemarea și specificitatea, aceste metrice sunt atât de des utilizate încât majoritatea bibliotecilor de învățare automată au metode de afișare a acestora. De exemplu, Scikit-learn pentru Python are o funcție care generează o matrice de confuzie.