¿Qué es una matriz de confusión?

Una de las herramientas analíticas más poderosas en aprendizaje automático y ciencia de datos en la matriz de confusión. La matriz de confusión es capaz de brindar a los investigadores información detallada sobre cómo se ha desempeñado un clasificador de aprendizaje automático con respecto a las clases objetivo en el conjunto de datos. Una matriz de confusión mostrará ejemplos que se han clasificado correctamente frente a ejemplos mal clasificados. Echemos un vistazo más profundo a cómo se estructura una matriz de confusión y cómo se puede interpretar.

¿Qué es una matriz de confusión?

Comencemos dando una definición simple de una matriz de confusión. Una matriz de confusión es una herramienta de análisis predictivo. Específicamente, es una tabla que muestra y compara los valores reales con los valores predichos del modelo. En el contexto del aprendizaje automático, se utiliza una matriz de confusión como métrica para analizar cómo se desempeñó un clasificador de aprendizaje automático en un conjunto de datos. Una matriz de confusión genera una visualización de métricas como precisión, exactitud, especificidad y recuperación.

La razón por la que la matriz de confusión es particularmente útil es que, a diferencia de otros tipos de métricas de clasificación, como la precisión simple, la matriz de confusión genera una imagen más completa de cómo se desempeñó un modelo. Solo el uso de una métrica como la precisión puede conducir a una situación en la que el modelo identifica incorrectamente una clase de manera completa y constante, pero pasa desapercibido porque, en promedio, el rendimiento es bueno. Mientras tanto, la matriz de confusión da una comparación de diferentes valores como falsos negativos, verdaderos negativos, falsos positivos y verdaderos positivos.

Definamos las diferentes métricas que representa una matriz de confusión.

Recordar en una matriz de confusión

El recuerdo es el número de ejemplos genuinamente positivos dividido por el número de ejemplos falsos negativos y el total de ejemplos positivos. En otras palabras, el recuerdo es representativo de la proporción de ejemplos positivos verdaderos que ha clasificado un modelo de aprendizaje automático. El recuerdo se da como el porcentaje de ejemplos positivos que el modelo pudo clasificar de todos los ejemplos positivos contenidos en el conjunto de datos. Este valor también puede denominarse "tasa de aciertos", y un valor relacionado es "sensibilidad”, que describe la probabilidad de recuerdo, o la tasa de predicciones positivas genuinas.

Precisión en una matriz de confusión

Al igual que la recuperación, la precisión es un valor que realiza un seguimiento del rendimiento de un modelo en términos de clasificación de ejemplos positivos. Sin embargo, a diferencia del recuerdo, la precisión se refiere a cuántos de los ejemplos que el modelo etiquetó como positivos fueron realmente positivos. Para calcular esto, el número de ejemplos positivos verdaderos se divide por el número de ejemplos positivos falsos más los positivos verdaderos.

Para hacer la distinción entre recuperación y precisión más clara, la precisión tiene como objetivo calcular el porcentaje de todos los ejemplos etiquetados como positivos que fueron realmente positivos, mientras que la recuperación rastrea el porcentaje de todos los ejemplos positivos verdaderos que el modelo pudo reconocer.

Especificidad en una matriz de confusión

Si bien el recuerdo y la precisión son valores que rastrean ejemplos positivos y la verdadera tasa positiva, especificidad cuantifica la tasa negativa verdadera o el número de ejemplos que el modelo definió como negativos que fueron realmente negativos. Esto se calcula tomando el número de ejemplos clasificados como negativos y dividiéndolos por el número de ejemplos falsos positivos combinados con los ejemplos negativos verdaderos.

Dar sentido a la matriz de confusión

Foto: Jackverr vía Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Ejemplo de una matriz de confusión

Después de definir los términos necesarios como precisión, recuperación, sensibilidad y especificidad, podemos examinar cómo se representan estos diferentes valores dentro de una matriz de confusión. Se genera una matriz de confusión en los casos de clasificación, aplicable cuando hay dos o más clases. La matriz de confusión que se genera puede ser tan alta y ancha como sea necesario, con la cantidad deseada de clases, pero para simplificar, examinaremos una matriz de confusión de 2 x 2 para una tarea de clasificación binaria.

Como ejemplo, suponga que se utiliza un clasificador para determinar si un paciente tiene o no una enfermedad. Las características se introducirán en el clasificador, y el clasificador devolverá una de dos clasificaciones diferentes: el paciente no tiene la enfermedad o sí la tiene.

Comencemos con el lado izquierdo de la matriz. El lado izquierdo de la matriz de confusión representa las predicciones que hizo el clasificador para las clases individuales. Una tarea de clasificación binaria tendrá dos filas aquí. Con respecto a la parte superior de la matriz, rastrea los valores verdaderos, las etiquetas de clase reales, de las instancias de datos.

La interpretación de una matriz de confusión se puede hacer examinando dónde se cruzan las filas y las columnas. Compare las predicciones del modelo con las etiquetas verdaderas del modelo. En este caso, los valores de True Positives, el número de predicciones positivas correctas, se encuentra en la esquina superior izquierda. Los falsos positivos se encuentran en la esquina superior derecha, donde los ejemplos en realidad son negativos pero el clasificador los etiquetó como positivos.

La esquina inferior izquierda de la cuadrícula muestra las instancias que el clasificador ha etiquetado como negativas pero que eran genuinamente positivas. Finalmente, la esquina inferior derecha de la matriz de confusión es donde se encuentran los valores True Negative, o donde están los ejemplos genuinamente falsos.

Cuando el conjunto de datos contiene más de dos clases, la matriz crece en esa cantidad de clases. Por ejemplo, si hay tres clases, la matriz será una matriz de 3 x 3. Independientemente del tamaño de la matriz de confusión, el método para interpretarlas es exactamente el mismo. El lado izquierdo contiene los valores pronosticados y las etiquetas de clase reales se encuentran en la parte superior. Las instancias que el clasificador ha predicho correctamente se ejecutan en diagonal desde la esquina superior izquierda hasta la esquina inferior derecha. Al mirar la matriz, puede discernir las cuatro métricas predictivas discutidas anteriormente.

Por ejemplo, puede calcular el recuerdo tomando los verdaderos positivos y los falsos negativos, sumándolos y dividiéndolos por la cantidad de ejemplos verdaderos positivos. Mientras tanto, la precisión se puede calcular combinando los falsos positivos con los verdaderos positivos y luego dividiendo el valor entre el número total de verdaderos positivos.

Si bien uno podría dedicar tiempo a calcular manualmente métricas como precisión, recuperación y especificidad, estas métricas se usan con tanta frecuencia que la mayoría de las bibliotecas de aprendizaje automático tienen métodos para mostrarlas. Por ejemplo, Scikit-learn para Python tiene una función que genera una matriz de confusión.