O que é uma Matriz de Confusão?

Uma das ferramentas analíticas mais poderosas em aprendizado de máquina e ciência de dados é a matriz de confusão. A matriz de confusão é capaz de fornecer aos pesquisadores informações detalhadas sobre como um classificador de aprendizado de máquina se saiu em relação às classes-alvo no conjunto de dados. Uma matriz de confusão demonstrará exemplos que foram corretamente classificados contra exemplos mal classificados. Vamos dar uma olhada mais profunda em como uma matriz de confusão é estruturada e como ela pode ser interpretada.

O que é uma Matriz de Confusão?

Vamos começar dando uma definição simples de uma matriz de confusão. Uma matriz de confusão é uma ferramenta de análise preditiva. Especificamente, é uma tabela que exibe e compara valores reais com os valores previstos pelo modelo. No contexto do aprendizado de máquina, uma matriz de confusão é utilizada como uma métrica para analisar como um classificador de aprendizado de máquina se saiu em um conjunto de dados. Uma matriz de confusão gera uma visualização de métricas como precisão, acurácia, especificidade e recall.

A razão pela qual a matriz de confusão é particularmente útil é que, ao contrário de outros tipos de métricas de classificação, como a acurácia simples, a matriz de confusão gera uma imagem mais completa de como um modelo se saiu. Usar apenas uma métrica como acurácia pode levar a uma situação em que o modelo está completamente e consistentemente mal identificando uma classe, mas isso passa despercebido porque, em média, o desempenho é bom. Enquanto isso, a matriz de confusão fornecer uma comparação de diferentes valores como Falsos Negativos, Verdadeiros Negativos, Falsos Positivos e Verdadeiros Positivos.

Vamos definir as diferentes métricas que uma matriz de confusão representa.

Recall em uma Matriz de Confusão

Recall é o número de exemplos positivos genuínos dividido pelo número de falsos negativos e exemplos positivos totais. Em outras palavras, recall é representativo da proporção de exemplos positivos verdadeiros que um modelo de aprendizado de máquina classificou. Recall é dado como a porcentagem de exemplos positivos que o modelo foi capaz de classificar em relação a todos os exemplos positivos contidos no conjunto de dados. Esse valor também pode ser referido como a “taxa de acertos”, e um valor relacionado é a “sensibilidade“, que descreve a probabilidade de recall, ou a taxa de previsões positivas genuínas.

Precisão em uma Matriz de Confusão

Assim como recall, precisão é um valor que acompanha o desempenho do modelo em termos de classificação de exemplos positivos. No entanto, ao contrário do recall, a precisão está preocupada com quantos dos exemplos que o modelo rotulou como positivos foram realmente positivos. Para calcular isso, o número de exemplos positivos verdadeiros é dividido pelo número de falsos positivos mais os verdadeiros positivos.

Para tornar a distinção entre recall e precisão mais clara, a precisão visa determinar a porcentagem de todos os exemplos rotulados como positivos que foram realmente positivos, enquanto recall acompanha a porcentagem de todos os exemplos positivos verdadeiros que o modelo pôde reconhecer.

Especificidade em uma Matriz de Confusão

Enquanto recall e precisão são valores que acompanham exemplos positivos e a taxa de positivos verdadeiros, especificidade quantifica a taxa de negativos verdadeiros ou o número de exemplos que o modelo definiu como negativos que foram realmente negativos. Isso é calculado tomando o número de exemplos classificados como negativos e dividindo-os pelo número de falsos positivos combinados com os verdadeiros negativos.

Entendendo a Matriz de Confusão

Foto: Jackverr via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Exemplo de uma Matriz de Confusão

Depois de definir termos necessários como precisão, recall, sensibilidade e especificidade, podemos examinar como esses diferentes valores são representados dentro de uma matriz de confusão. Uma matriz de confusão é gerada em casos de classificação, aplicável quando há duas ou mais classes. A matriz de confusão que é gerada pode ser tão alta e larga quanto necessário, contendo qualquer número desejado de classes, mas para fins de simplicidade, vamos examinar uma matriz de confusão 2 x 2 para uma tarefa de classificação binária.

Como exemplo, suponha que um classificador está sendo usado para determinar se um paciente tem uma doença. Os recursos serão alimentados no classificador, e o classificador retornará uma das duas classificações diferentes – ou o paciente não tem a doença ou tem.

Vamos começar com o lado esquerdo da matriz. O lado esquerdo da matriz de confusão representa as previsões que o classificador fez para as classes individuais. Uma tarefa de classificação binária terá duas linhas aqui. Com relação à parte superior da matriz, ela acompanha os valores reais, as etiquetas de classe reais, das instâncias de dados.

Interpretar uma matriz de confusão pode ser feito examinando onde as linhas e colunas se cruzam. Verifique as previsões do modelo contra as etiquetas reais do modelo. Nesse caso, os valores de Verdadeiros Positivos, o número de previsões positivas corretas, está localizado no canto superior esquerdo. Os falsos positivos estão localizados no canto superior direito, onde os exemplos são na verdade negativos, mas o classificador os rotulou como positivos.

O canto inferior esquerdo da grade exibe instâncias que o classificador rotulou como negativas, mas que eram na verdade positivas. Finalmente, o canto inferior direito da matriz de confusão é onde os valores de Verdadeiros Negativos são encontrados, ou onde os exemplos falsos genuínos estão.

Quando o conjunto de dados contém mais de duas classes, a matriz cresce por esse número de classes. Por exemplo, se houver três classes, a matriz será uma matriz 3 x 3. Independentemente do tamanho da matriz de confusão, o método para interpretá-las é exatamente o mesmo. O lado esquerdo contém os valores previstos e as etiquetas de classe reais correm ao longo do topo. As instâncias que o classificador previu corretamente correm diagonalmente do topo esquerdo para o bottom-right. Ao olhar para a matriz, você pode discernir as quatro métricas preditivas discutidas acima.

Por exemplo, você pode calcular recall pegando os verdadeiros positivos e falsos negativos, somando-os e dividindo-os pelo número de exemplos positivos verdadeiros. Enquanto isso, a precisão pode ser calculada combinando os falsos positivos com os verdadeiros positivos, então dividindo o valor pelo total de exemplos positivos verdadeiros.

Enquanto alguém poderia gastar tempo calculando manualmente métricas como precisão, recall e especificidade, essas métricas são tão comumente usadas que a maioria das bibliotecas de aprendizado de máquina tem métodos para exibi-las. Por exemplo, Scikit-learn para Python tem uma função que gera uma matriz de confusão.