¿Qué es una Matriz de Confusión?

Una de las herramientas analíticas más poderosas en el aprendizaje automático y la ciencia de datos es la matriz de confusión. La matriz de confusión es capaz de proporcionar a los investigadores información detallada sobre cómo ha funcionado un clasificador de aprendizaje automático con respecto a las clases objetivo en el conjunto de datos. Una matriz de confusión demostrará ejemplos que han sido clasificados correctamente contra ejemplos mal clasificados. Veamos más de cerca cómo se estructura una matriz de confusión y cómo se puede interpretar.

¿Qué es una Matriz de Confusión?

Comencemos definiendo una matriz de confusión de manera simple. Una matriz de confusión es una herramienta de análisis predictivo. Específicamente, es una tabla que muestra y compara valores reales con los valores predichos por el modelo. Dentro del contexto del aprendizaje automático, una matriz de confusión se utiliza como una métrica para analizar cómo ha funcionado un clasificador de aprendizaje automático en un conjunto de datos. Una matriz de confusión genera una visualización de métricas como precisión, exactitud, especificidad y recuerdo.

La razón por la que la matriz de confusión es particularmente útil es que, a diferencia de otras métricas de clasificación como la exactitud simple, la matriz de confusión genera una imagen más completa de cómo ha funcionado el modelo. Solo utilizar una métrica como la exactitud puede llevar a una situación en la que el modelo está completamente y consistentemente malidentificando una clase, pero no se nota porque el rendimiento promedio es bueno. Mientras tanto, la matriz de confusión proporciona una comparación de diferentes valores como Falsos Negativos, Verdaderos Negativos, Falsos Positivos y Verdaderos Positivos.

Definamos las diferentes métricas que representa una matriz de confusión.

Recuerdo en una Matriz de Confusión

El recuerdo es el número de ejemplos verdaderamente positivos dividido por el número de falsos negativos y ejemplos positivos totales. En otras palabras, el recuerdo es representativo de la proporción de ejemplos verdaderamente positivos que un modelo de aprendizaje automático ha clasificado. El recuerdo se expresa como el porcentaje de ejemplos positivos que el modelo pudo clasificar de todos los ejemplos positivos contenidos en el conjunto de datos. Este valor también puede ser referido como la “tasa de acierto”, y un valor relacionado es la “sensibilidad“, que describe la probabilidad de recuerdo, o la tasa de predicciones verdaderamente positivas.

Precisión en una Matriz de Confusión

Al igual que el recuerdo, la precisión es un valor que rastrea el rendimiento de un modelo en términos de clasificación de ejemplos positivos. A diferencia del recuerdo, sin embargo, la precisión se preocupa por cuántos de los ejemplos que el modelo etiquetó como positivos fueron verdaderamente positivos. Para calcular esto, se dividen el número de ejemplos verdaderamente positivos por el número de falsos positivos más verdaderos positivos.

Para hacer la distinción entre recuerdo y precisión más clara, la precisión busca determinar el porcentaje de todos los ejemplos etiquetados como positivos que fueron verdaderamente positivos, mientras que el recuerdo rastrea el porcentaje de todos los ejemplos verdaderamente positivos que el modelo pudo reconocer.

Especificidad en una Matriz de Confusión

Mientras que el recuerdo y la precisión son valores que rastrean ejemplos positivos y la tasa de predicciones verdaderamente positivas, la especificidad cuantifica la tasa de negativos verdaderos o el número de ejemplos que el modelo definió como negativos que fueron verdaderamente negativos. Esto se calcula tomando el número de ejemplos clasificados como negativos y dividiéndolos por el número de falsos positivos combinados con los negativos verdaderos.

Entendiendo la Matriz de Confusión

Foto: Jackverr via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Ejemplo de una Matriz de Confusión

Después de definir términos necesarios como precisión, recuerdo, sensibilidad y especificidad, podemos examinar cómo estos diferentes valores se representan dentro de una matriz de confusión. Una matriz de confusión se genera en casos de clasificación, aplicable cuando hay dos o más clases. La matriz de confusión que se genera puede ser tan alta y ancha como sea necesario, conteniendo cualquier número deseado de clases, pero para fines de simplicidad, examinaremos una matriz de confusión 2 x 2 para una tarea de clasificación binaria.

Por ejemplo, supongamos que un clasificador se utiliza para determinar si un paciente tiene una enfermedad o no. Las características se alimentarán al clasificador, y el clasificador devolverá una de dos clasificaciones diferentes: el paciente no tiene la enfermedad o la tiene.

Comencemos con el lado izquierdo de la matriz. El lado izquierdo de la matriz de confusión representa las predicciones que el clasificador hizo para las clases individuales. Una tarea de clasificación binaria tendrá dos filas aquí. Con respecto a la parte superior de la matriz, rastrea los valores verdaderos, las etiquetas de clase reales, de las instancias de datos.

Interpretar una matriz de confusión se puede hacer examinando dónde se cruzan las filas y columnas. Verifique las predicciones del modelo contra las etiquetas verdaderas del modelo. En este caso, los valores de Verdaderos Positivos, el número de predicciones positivas correctas, se encuentran en la esquina superior izquierda. Los falsos positivos se encuentran en la esquina superior derecha, donde los ejemplos son en realidad negativos pero el clasificador los etiquetó como positivos.

La esquina inferior izquierda de la cuadrícula muestra instancias que el clasificador ha etiquetado como negativas pero que eran verdaderamente positivas. Finalmente, la esquina inferior derecha de la matriz de confusión es donde se encuentran los valores de Verdaderos Negativos, o donde se encuentran los ejemplos falsos verdaderos.

Cuando el conjunto de datos contiene más de dos clases, la matriz crece por ese número de clases. Por ejemplo, si hay tres clases, la matriz será una matriz 3 x 3. Independientemente del tamaño de la matriz de confusión, el método para interpretarlas es exactamente el mismo. El lado izquierdo contiene los valores predichos y las etiquetas de clase reales se ejecutan a lo largo de la parte superior. Las instancias que el clasificador ha predicho correctamente se ejecutan diagonalmente desde la esquina superior izquierda hasta la esquina inferior derecha. Al mirar la matriz, se puede discernir las cuatro métricas predictivas discutidas anteriormente.

Por ejemplo, se puede calcular el recuerdo tomando los verdaderos positivos y los falsos negativos, sumándolos y dividiéndolos por el número de ejemplos verdaderamente positivos. Mientras tanto, la precisión se puede calcular combinando los falsos positivos con los verdaderos positivos, y luego dividiendo el valor en el número total de verdaderos positivos.

Mientras que uno podría pasar tiempo calculando métricas como precisión, recuerdo y especificidad, estas métricas son tan comúnmente utilizadas que la mayoría de las bibliotecas de aprendizaje automático tienen métodos para mostrarlas. Por ejemplo, Scikit-learn para Python tiene una función que genera una matriz de confusión.