Čo je zmätená matica?

Jeden z najvýkonnejších analytických nástrojov v oblasti strojového učenia a vedy o údajoch matica zmätku. Matica zmätku je schopná poskytnúť výskumníkom podrobné informácie o tom, ako fungoval klasifikátor strojového učenia vzhľadom na cieľové triedy v súbore údajov. Matica zmätku bude demonštrovať príklady zobrazenia, ktoré boli správne klasifikované oproti nesprávne klasifikovaným príkladom. Pozrime sa hlbšie na to, ako je štruktúrovaná matica zmätku a ako sa dá interpretovať.

Čo je Matica zmätku?

Začnime jednoduchou definíciou zámennej matice. Matica zmätku je prediktívny analytický nástroj. Konkrétne ide o tabuľku, ktorá zobrazuje a porovnáva skutočné hodnoty s predpokladanými hodnotami modelu. V kontexte strojového učenia sa matica zmätku používa ako metrika na analýzu výkonu klasifikátora strojového učenia na množine údajov. Matica zmätku generuje vizualizáciu metrík, ako je presnosť, presnosť, špecifickosť a zapamätanie.

Dôvodom, prečo je matica zmätku obzvlášť užitočná, je to, že na rozdiel od iných typov klasifikačných metrík, ako je jednoduchá presnosť, matica zmätku vytvára úplnejší obraz o tom, ako model fungoval. Iba použitie metriky, ako je presnosť, môže viesť k situácii, keď model úplne a dôsledne nesprávne identifikuje jednu triedu, ale to zostane nepovšimnuté, pretože v priemere je výkon dobrý. Medzitým zmätok matice poskytuje porovnanie rôznych hodnôt ako falošné negatívy, skutočné negatívy, falošné pozitíva a pravdivé pozitíva.

Definujme rôzne metriky, ktoré predstavuje matica zmätku.

Pripomeňte si v Matrix zmätku

Pripomenutie je počet skutočne pozitívnych príkladov vydelený počtom falošne negatívnych príkladov a celkovým počtom pozitívnych príkladov. Inými slovami, pripomenutie je reprezentatívne pre podiel skutočne pozitívnych príkladov, ktoré klasifikoval model strojového učenia. Recall je uvedené ako percento pozitívnych príkladov, ktoré model dokázal klasifikovať zo všetkých pozitívnych príkladov obsiahnutých v súbore údajov. Táto hodnota sa môže označovať aj ako „miera prístupu“ a súvisiaca hodnota je „citlivosť“, ktorá popisuje pravdepodobnosť odvolania alebo mieru skutočne pozitívnych predpovedí.

Presnosť v Matrixe zmätku

Presnosť je, podobne ako zapamätanie, hodnota, ktorá sleduje výkon modelu z hľadiska klasifikácie pozitívnych príkladov. Na rozdiel od zapamätania sa však presnosť týka toho, koľko príkladov model označených ako pozitívny bol skutočne pozitívny. Aby sme to mohli vypočítať, počet skutočne pozitívnych príkladov sa vydelí počtom falošne pozitívnych príkladov plus skutočne pozitívnych.

Aby sa rozlišovalo medzi zapamätanie a spresnenie jasnejšie, presnosť si kladie za cieľ zistiť percento všetkých príkladov označených ako pozitívne, ktoré boli skutočne pozitívne, zatiaľ čo pripomenutie sleduje percento všetkých skutočne pozitívnych príkladov, ktoré model dokázal rozpoznať.

špecifickosť v Matrixe zmätku

Hoci zapamätanie a presnosť sú hodnoty, ktoré sledujú pozitívne príklady a skutočnú pozitívnu mieru, špecifickosť kvantifikuje skutočnú negatívnu mieru alebo počet príkladov, ktoré model definoval ako negatívne, ktoré boli skutočne negatívne. Vypočíta sa tak, že sa vezme počet príkladov klasifikovaných ako negatívne a vydelia sa počtom falošne pozitívnych príkladov kombinovaných so skutočnými negatívnymi príkladmi.

Making Sense Of The Confusion Matrix

Foto: Jackverr cez Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Príklad matice zmätku

Po definovaní potrebných pojmov, ako je presnosť, vybavovanie, citlivosť a špecifickosť, môžeme preskúmať, ako sú tieto rôzne hodnoty reprezentované v matici zmätku. Matica zmätku sa generuje v prípadoch klasifikácie, ktorá je použiteľná, keď existujú dve alebo viac tried. Vygenerovaná zmätená matica môže byť taká vysoká a široká, ako je potrebné, a môže obsahovať ľubovoľný požadovaný počet tried, ale pre účely jednoduchosti preskúmame maticu zmätku 2 x 2 pre úlohu binárnej klasifikácie.

Predpokladajme napríklad, že klasifikátor sa používa na určenie, či pacient má alebo nemá chorobu. Charakteristiky sa vložia do klasifikátora a klasifikátor vráti jednu z dvoch rôznych klasifikácií – buď pacient nemá ochorenie, alebo má.

Začnime ľavou stranou matice. Ľavá strana konfúznej matice predstavuje predpovede, ktoré klasifikátor urobil pre jednotlivé triedy. Binárna klasifikačná úloha tu bude mať dva riadky. Čo sa týka hornej časti matice, sleduje skutočné hodnoty, skutočné označenia tried, inštancií údajov.

Interpretáciu zámennej matice možno vykonať skúmaním miesta, kde sa riadky a stĺpce pretínajú. Porovnajte predpovede modelu so skutočnými označeniami modelu. V tomto prípade sú hodnoty True Positives, teda počet správnych pozitívnych predpovedí, umiestnené v ľavom hornom rohu. Falošné pozitíva sa nachádzajú v pravom hornom rohu, kde sú príklady skutočne negatívne, ale klasifikátor ich označil ako pozitívne.

V ľavom dolnom rohu mriežky sa zobrazujú prípady, ktoré klasifikátor označil ako negatívne, ale boli skutočne pozitívne. Nakoniec, pravý dolný roh matice zmätku je miesto, kde sa nachádzajú hodnoty True Negative, alebo kde sú skutočne falošné príklady.

Keď množina údajov obsahuje viac ako dve triedy, matica sa rozrastie o toľko tried. Napríklad, ak existujú tri triedy, matica bude matica 3 x 3. Bez ohľadu na veľkosť konfúznej matice je spôsob ich interpretácie úplne rovnaký. Ľavá strana obsahuje predpokladané hodnoty a skutočné označenia tried prebiehajú navrchu. Inštancie, ktoré klasifikátor správne predpovedal, prebiehajú diagonálne od ľavého horného rohu k pravému dolnému rohu. Pri pohľade na maticu môžete rozlíšiť štyri prediktívne metriky diskutované vyššie.

Môžete napríklad vypočítať zapamätanie tak, že zoberiete skutočné pozitívne a nesprávne negatívne výsledky, spočítate ich a vydelíte ich počtom skutočne pozitívnych príkladov. Medzitým možno presnosť vypočítať kombináciou falošných pozitívnych výsledkov so skutočnými pozitívnymi výsledkami a potom rozdelením hodnoty na celkový počet skutočne pozitívnych výsledkov.

Aj keď by sme mohli stráviť čas manuálnym výpočtom metrík, ako je presnosť, zapamätanie a špecifickosť, tieto metriky sú tak bežne používané, že väčšina knižníc strojového učenia má metódy na ich zobrazenie. Napríklad Scikit-learn pre Python má funkciu generujúcu maticu zmätku.