O que é uma Matriz de Confusão?

Uma das ferramentas analíticas mais poderosas em aprendizado de máquina e ciência de dados em a matriz de confusão. A matriz de confusão é capaz de fornecer aos pesquisadores informações detalhadas sobre o desempenho de um classificador de aprendizado de máquina em relação às classes alvo no conjunto de dados. Uma matriz de confusão demonstrará exemplos de exibição que foram classificados adequadamente em relação a exemplos classificados incorretamente. Vamos dar uma olhada mais profunda em como uma matriz de confusão é estruturada e como ela pode ser interpretada.

O que é uma matriz de confusão?

Vamos começar dando uma definição simples de matriz de confusão. Uma matriz de confusão é uma ferramenta de análise preditiva. Especificamente, é uma tabela que exibe e compara os valores reais com os valores previstos pelo modelo. No contexto do aprendizado de máquina, uma matriz de confusão é utilizada como uma métrica para analisar como um classificador de aprendizado de máquina foi executado em um conjunto de dados. Uma matriz de confusão gera uma visualização de métricas como precisão, exatidão, especificidade e revocação.

A razão pela qual a matriz de confusão é particularmente útil é que, ao contrário de outros tipos de métricas de classificação, como precisão simples, a matriz de confusão gera uma imagem mais completa do desempenho de um modelo. Usar apenas uma métrica como a precisão pode levar a uma situação em que o modelo está completa e consistentemente identificando incorretamente uma classe, mas isso passa despercebido porque, em média, o desempenho é bom. Enquanto isso, a matriz de confusão dá uma comparação de valores diferentes como falsos negativos, verdadeiros negativos, falsos positivos e verdadeiros positivos.

Vamos definir as diferentes métricas que uma matriz de confusão representa.

Lembre-se em uma matriz de confusão

Recall é o número de exemplos genuinamente positivos dividido pelo número de exemplos falso-negativos e o total de exemplos positivos. Em outras palavras, o recall é representativo da proporção de exemplos verdadeiros positivos que um modelo de aprendizado de máquina classificou. A rechamada é dada como a porcentagem de exemplos positivos que o modelo foi capaz de classificar de todos os exemplos positivos contidos no conjunto de dados. Esse valor também pode ser chamado de “taxa de acertos” e um valor relacionado é “sensibilidade”, que descreve a probabilidade de recordação ou a taxa de previsões positivas genuínas.

Precisão em uma matriz de confusão

Assim como a rechamada, a precisão é um valor que rastreia o desempenho de um modelo em termos de classificação de exemplo positivo. Ao contrário da rechamada, porém, a precisão está preocupada com quantos dos exemplos que o modelo rotulou como positivos foram realmente positivos. Para calcular isso, o número de exemplos verdadeiros positivos é dividido pelo número de exemplos falsos positivos mais os verdadeiros positivos.

Para fazer a distinção entre recall e precisão mais claro, a precisão visa descobrir a porcentagem de todos os exemplos rotulados como positivos que eram verdadeiramente positivos, enquanto a rechamada rastreia a porcentagem de todos os exemplos positivos verdadeiros que o modelo poderia reconhecer.

Especificidade em uma matriz de confusão

Embora recall e precisão sejam valores que rastreiam exemplos positivos e a taxa de verdadeiros positivos, especificidade quantifica a taxa de verdadeiro negativo ou o número de exemplos que o modelo definiu como negativo que eram verdadeiramente negativos. Isso é calculado tomando o número de exemplos classificados como negativos e dividindo-os pelo número de exemplos falso-positivos combinados com os exemplos negativos verdadeiros.

Entendendo a Matriz de Confusão

Foto: Jackverr via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Exemplo de Matriz de Confusão

Depois de definir os termos necessários como precisão, recall, sensibilidade e especificidade, podemos examinar como esses valores diferentes são representados em uma matriz de confusão. Uma matriz de confusão é gerada nos casos de classificação, aplicável quando há duas ou mais classes. A matriz de confusão gerada pode ser tão alta e larga quanto necessário, contendo qualquer número desejado de classes, mas, para simplificar, examinaremos uma matriz de confusão 2 x 2 para uma tarefa de classificação binária.

Como exemplo, suponha que um classificador esteja sendo usado para determinar se um paciente tem ou não uma doença. Os recursos serão alimentados no classificador, e o classificador retornará uma das duas classificações diferentes – o paciente não tem a doença ou tem.

Vamos começar com o lado esquerdo da matriz. O lado esquerdo da matriz de confusão representa as previsões que o classificador fez para as classes individuais. Uma tarefa de classificação binária terá duas linhas aqui. Em relação à parte superior da matriz, ele rastreia os valores verdadeiros, os rótulos de classe reais das instâncias de dados.

A interpretação de uma matriz de confusão pode ser feita examinando onde as linhas e colunas se cruzam. Verifique as previsões do modelo em relação aos verdadeiros rótulos do modelo. Nesse caso, os valores de verdadeiros positivos, o número de previsões positivas corretas, estão localizados no canto superior esquerdo. Os falsos positivos são encontrados no canto superior direito, onde os exemplos são realmente negativos, mas o classificador os marcou como positivos.

O canto inferior esquerdo da grade exibe as instâncias que o classificador marcou como negativas, mas que eram genuinamente positivas. Por fim, o canto inferior direito da matriz de confusão é onde os valores verdadeiros negativos são encontrados ou onde estão os exemplos genuinamente falsos.

Quando o conjunto de dados contém mais de duas classes, a matriz cresce por esse número de classes. Por exemplo, se houver três classes, a matriz será uma matriz 3 x 3. Independentemente do tamanho da matriz de confusão, o método para interpretá-los é exatamente o mesmo. O lado esquerdo contém os valores previstos e os rótulos de classe reais executados na parte superior. As instâncias que o classificador previu corretamente correm na diagonal do canto superior esquerdo para o canto inferior direito. Olhando para a matriz, você pode discernir as quatro métricas preditivas discutidas acima.

Por exemplo, você pode calcular a revocação pegando os verdadeiros positivos e falsos negativos, somando-os e dividindo-os pelo número de exemplos de verdadeiros positivos. Enquanto isso, a precisão pode ser calculada combinando os falsos positivos com os verdadeiros positivos e dividindo o valor pelo número total de verdadeiros positivos.

Embora alguém possa gastar tempo calculando métricas manualmente, como precisão, recall e especificidade, essas métricas são tão comumente usadas que a maioria das bibliotecas de aprendizado de máquina possui métodos para exibi-las. Por exemplo, Scikit-learn para Python tem uma função que gera uma matriz de confusão.