¿Qué es el sobreajuste?

¿Qué es el sobreajuste?

Cuando entrenas una red neuronal, debes evitar el sobreajuste. El sobreajuste es un problema dentro del aprendizaje automático y la estadística donde un modelo aprende los patrones de un conjunto de datos de entrenamiento demasiado bien, explicando perfectamente el conjunto de datos de entrenamiento pero fallando al generalizar su poder predictivo a otros conjuntos de datos.

Para ponerlo de otra manera, en el caso de un modelo con sobreajuste, a menudo mostrará una precisión extremadamente alta en el conjunto de datos de entrenamiento pero una baja precisión en los datos recopilados y ejecutados en el modelo en el futuro. Esa es una definición rápida del sobreajuste, pero veamos el concepto de sobreajuste en más detalle. Veamos cómo ocurre el sobreajuste y cómo se puede evitar.

Entendiendo el “ajuste” y el subajuste

Es útil examinar el concepto de subajuste y “ajuste” en general cuando se discute el sobreajuste. Cuando entrenamos un modelo, estamos tratando de desarrollar un marco que sea capaz de predecir la naturaleza o la clase de los elementos dentro de un conjunto de datos, en función de las características que describen esos elementos. Un modelo debe ser capaz de explicar un patrón dentro de un conjunto de datos y predecir las clases de los puntos de datos futuros en función de ese patrón. Cuanto mejor explique el modelo la relación entre las características del conjunto de entrenamiento, más “ajustado” estará nuestro modelo.

La línea azul representa las predicciones de un modelo que está subajustando, mientras que la línea verde representa un modelo con mejor ajuste. Foto: Pep Roca a través de Wikimedia Commons, CC BY SA 3.0, (https://commons.wikimedia.org/wiki/File:Reg_ls_curvil%C3%ADnia.svg)

Un modelo que explica mal la relación entre las características de los datos de entrenamiento y, por lo tanto, no logra clasificar con precisión los ejemplos de datos futuros, está subajustando los datos de entrenamiento. Si graficaras la relación predicha de un modelo subajustado contra la intersección real de las características y las etiquetas, las predicciones se desviarían del objetivo. Si tuviéramos un gráfico con los valores reales de un conjunto de entrenamiento etiquetado, un modelo subajustado severamente perdería la mayoría de los puntos de datos. Un modelo con mejor ajuste podría cortar un camino a través del centro de los puntos de datos, con puntos de datos individuales que se desvían solo un poco de los valores predichos.

El subajuste puede ocurrir a menudo cuando no hay suficientes datos para crear un modelo preciso o cuando se intenta diseñar un modelo lineal con datos no lineales. Más datos de entrenamiento o más características a menudo ayudan a reducir el subajuste.

¿Por qué no crearíamos un modelo que explique cada punto en el conjunto de datos de entrenamiento perfectamente? Seguramente la precisión perfecta es deseable. Crear un modelo que ha aprendido los patrones de los datos de entrenamiento demasiado bien es lo que causa el sobreajuste. El conjunto de datos de entrenamiento y otros conjuntos de datos que se ejecutan en el modelo en el futuro no serán exactamente iguales. Probablemente serán muy similares en muchos aspectos, pero también diferirán en aspectos clave. Por lo tanto, diseñar un modelo que explique el conjunto de datos de entrenamiento perfectamente significa que terminas con una teoría sobre la relación entre las características que no se generaliza bien a otros conjuntos de datos.

Entendiendo el sobreajuste

El sobreajuste ocurre cuando un modelo aprende los detalles dentro del conjunto de datos de entrenamiento demasiado bien, lo que hace que el modelo sufra cuando se realizan predicciones en datos externos. Esto puede ocurrir cuando el modelo no solo aprende las características del conjunto de datos, sino que también aprende fluctuaciones aleatorias o ruido dentro del conjunto de datos, otorgando importancia a estos eventos aleatorios o no importantes.

El sobreajuste es más probable que ocurra cuando se utilizan modelos no lineales, ya que son más flexibles al aprender características de datos. Los algoritmos de aprendizaje automático no paramétricos a menudo tienen varios parámetros y técnicas que se pueden aplicar para limitar la sensibilidad del modelo a los datos y, por lo tanto, reducir el sobreajuste. Por ejemplo, los modelos de árbol de decisión son muy sensibles al sobreajuste, pero se puede utilizar una técnica llamada poda para eliminar aleatoriamente algunos de los detalles que el modelo ha aprendido.

Si graficaras las predicciones del modelo en ejes X e Y, tendrías una línea de predicción que zigzaguea de un lado a otro, lo que refleja el hecho de que el modelo ha intentado demasiado ajustar todos los puntos en el conjunto de datos a su explicación.

Controlando el sobreajuste

Cuando entrenamos un modelo, idealmente queremos que el modelo no cometa errores. Cuando el rendimiento del modelo converge hacia hacer predicciones correctas en todos los puntos de datos del conjunto de entrenamiento, el ajuste se vuelve mejor. Un modelo con buen ajuste es capaz de explicar casi todos los puntos del conjunto de entrenamiento sin sobreajuste.

A medida que un modelo se entrena, su rendimiento mejora con el tiempo. La tasa de error del modelo disminuirá a medida que pase el tiempo de entrenamiento, pero solo disminuirá hasta cierto punto. El punto en el que el rendimiento del modelo en el conjunto de prueba comienza a aumentar nuevamente es típicamente el punto en el que ocurre el sobreajuste. Para obtener el mejor ajuste para un modelo, queremos detener el entrenamiento del modelo en el punto de menor pérdida en el conjunto de entrenamiento, antes de que el error comience a aumentar nuevamente. El punto de parada óptimo se puede determinar trazando el rendimiento del modelo a lo largo del tiempo de entrenamiento y deteniendo el entrenamiento cuando la pérdida sea la más baja. Sin embargo, un riesgo con este método de control del sobreajuste es que especificar el punto final del entrenamiento en función del rendimiento de la prueba significa que los datos de la prueba se incluyen en cierta medida en el procedimiento de entrenamiento y pierden su estado de “intocados”.

Hay un par de formas diferentes de combatir el sobreajuste. Un método para reducir el sobreajuste es utilizar una táctica de muestreo, que opera estimando la precisión del modelo. También puedes utilizar un conjunto de validación además del conjunto de prueba y trazar la precisión de entrenamiento contra el conjunto de validación en lugar del conjunto de prueba. Esto mantiene tu conjunto de prueba sin ver. Un método de muestreo popular es la validación cruzada de K-folds. Esta técnica te permite dividir tus datos en subconjuntos que el modelo se entrena y luego analiza el rendimiento del modelo en los subconjuntos para estimar cómo se desempeñará el modelo en datos externos.

Utilizar la validación cruzada es una de las mejores formas de estimar la precisión de un modelo en datos no vistos, y cuando se combina con un conjunto de validación, el sobreajuste se puede mantener al mínimo.