¿Qué es el aprendizaje conjunto?

Una de las técnicas de aprendizaje automático más poderosas es el aprendizaje conjunto. Conjunto learning es el uso de múltiples modelos de aprendizaje automático para mejorar la confiabilidad y precisión de las predicciones. Sin embargo, ¿cómo conduce el uso de múltiples modelos de aprendizaje automático a predicciones más precisas? ¿Qué tipo de técnicas se utilizan para crear modelos de aprendizaje en conjunto? Exploraremos la respuesta a estas preguntas, echando un vistazo a la lógica detrás del uso de modelos de conjunto y las formas principales de crear modelos de conjunto.

¿Qué es el aprendizaje en conjunto?

En pocas palabras, el aprendizaje conjunto es el proceso de entrenar múltiples modelos de aprendizaje automático y combinar sus resultados. Los diferentes modelos se utilizan como base para crear un modelo predictivo óptimo. La combinación de un conjunto diverso de modelos de aprendizaje automático individuales puede mejorar la estabilidad del modelo general, lo que lleva a predicciones más precisas. Los modelos de aprendizaje de conjunto suelen ser más fiables que los modelos individuales y, como resultado, a menudo ocupan el primer lugar en muchas competiciones de aprendizaje automático.

Hay diferentes técnicas que un ingeniero puede usar para crear un modelo de aprendizaje de conjunto. Las técnicas de aprendizaje de conjuntos simples incluyen cosas como promediar los resultados de diferentes modelos, mientras que también hay métodos y algoritmos más complejos desarrollados especialmente para combinar las predicciones de muchos modelos/aprendices de base.

¿Por qué usar métodos de entrenamiento de conjunto?

Los modelos de aprendizaje automático pueden ser diferentes entre sí por una variedad de razones. Diferentes modelos de aprendizaje automático pueden operar en diferentes muestras de datos de población, se pueden usar diferentes técnicas de modelado y se puede usar una hipótesis diferente.

Imagina que estás jugando un juego de trivia con un gran grupo de personas. Si está solo en un equipo, seguramente habrá algunos temas sobre los que tiene conocimiento y muchos temas de los que no tiene conocimiento. Ahora suponga que está jugando en un equipo con otras personas. Al igual que usted, tendrán algunos conocimientos sobre sus propias especialidades y ningún conocimiento sobre otros temas. Sin embargo, cuando se combinan sus conocimientos, tiene conjeturas más precisas para más campos, y la cantidad de temas de los que su equipo carece de conocimiento se reduce. Este es el mismo principio que subyace en el aprendizaje conjunto, combinando las predicciones de diferentes miembros del equipo (modelos individuales) para mejorar la precisión y minimizar los errores.

Los estadísticos han demostrado que cuando se le pide a una multitud de personas que adivine la respuesta correcta para una pregunta dada con un rango de respuestas posibles, todas sus respuestas forman una distribución de probabilidad. Las personas que realmente conocen la respuesta correcta elegirán la respuesta correcta con confianza, mientras que las personas que elijan las respuestas incorrectas distribuirán sus conjeturas entre el rango de posibles respuestas incorrectas. Volviendo al ejemplo de un juego de trivia, si usted y sus dos amigos saben que la respuesta correcta es A, los tres votarán A, mientras que las otras tres personas de su equipo que no conocen la respuesta probablemente lo hagan incorrectamente. adivina B, C, D o E. El resultado es que A tiene tres votos y es probable que las otras respuestas solo tengan uno o dos votos como máximo.

Todos los modelos tienen alguna cantidad de error. Los errores de un modelo serán diferentes de los errores producidos por otro modelo, ya que los propios modelos son diferentes por las razones descritas anteriormente. Cuando se examinen todos los errores, no estarán agrupados en torno a una respuesta u otra, sino que estarán dispersos. Las conjeturas incorrectas se distribuyen esencialmente entre todas las posibles respuestas incorrectas, anulándose entre sí. Mientras tanto, las conjeturas correctas de los diferentes modelos se agruparán en torno a la respuesta verdadera y correcta. Cuando se utilizan métodos de entrenamiento en conjunto, la respuesta correcta se puede encontrar con mayor fiabilidad.

Métodos de entrenamiento de conjunto simple

Los métodos de entrenamiento de conjuntos simples generalmente solo implican la aplicación de técnica de resumen estadísticos, como determinar la moda, la media o el promedio ponderado de un conjunto de predicciones.

La moda se refiere al elemento que ocurre con mayor frecuencia dentro de un conjunto de números. Para obtener la moda, los modelos de aprendizaje individuales devuelven sus predicciones y estas predicciones se consideran votos hacia la predicción final. La determinación de la media de las predicciones se realiza simplemente calculando la media aritmética de las predicciones, redondeada al entero entero más próximo. Finalmente, se puede calcular un promedio ponderado asignando diferentes pesos a los modelos utilizados para crear predicciones, con los pesos que representan la importancia percibida de ese modelo. La representación numérica de la predicción de clase se multiplica junto con un peso de 0 a 1.0, luego se suman las predicciones ponderadas individuales y el resultado se redondea al entero más cercano.

Métodos avanzados de entrenamiento de conjuntos

Existen tres técnicas primarias de entrenamiento de conjuntos avanzados, cada una de las cuales está diseñada para tratar un tipo específico de problema de aprendizaje automático. Técnicas de “embolsado” se utilizan para disminuir la varianza de las predicciones de un modelo, y la varianza se refiere a cuánto difiere el resultado de las predicciones cuando se basan en la misma observación. Técnicas de “impulso” se utilizan para combatir el sesgo de los modelos. Finalmente, "apilado" se utiliza para mejorar las predicciones en general.

Los métodos de aprendizaje por conjuntos en sí mismos generalmente se pueden dividir en uno de dos grupos diferentes: métodos secuenciales y métodos de conjuntos paralelos.

Los métodos de conjuntos secuenciales reciben el nombre de "secuenciales" porque los modelos/aprendices básicos se generan secuencialmente. En el caso de los métodos secuenciales, la idea esencial es que se aproveche la dependencia entre los aprendices base para obtener predicciones más precisas. Los ejemplos mal etiquetados tienen sus pesos ajustados, mientras que los ejemplos correctamente etiquetados mantienen los mismos pesos. Cada vez que se genera un nuevo alumno, los pesos cambian y la precisión (con suerte) mejora.

A diferencia de los modelos de conjuntos secuenciales, los métodos de conjuntos paralelos generan los alumnos base en paralelo. Cuando se lleva a cabo un aprendizaje conjunto paralelo, la idea es aprovechar el hecho de que los alumnos base tienen independencia, ya que la tasa de error general puede reducirse promediando las predicciones de los alumnos individuales.

Los métodos de entrenamiento en conjunto pueden ser de naturaleza homogénea o heterogénea. La mayoría de los métodos de aprendizaje en conjunto son homogéneos, lo que significa que utilizan un solo tipo de modelo/algoritmo de aprendizaje base. Por el contrario, los conjuntos heterogéneos hacen uso de diferentes algoritmos de aprendizaje, diversificando y variando a los alumnos para garantizar que la precisión sea lo más alta posible.

Ejemplos de algoritmos de aprendizaje por conjuntos

Visualización del impulso del conjunto. Foto: Sirakorn vía Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Los ejemplos de métodos de conjuntos secuenciales incluyen AdaBoost, XGBoost y Impulso del árbol de gradiente. Todos estos son modelos potenciadores. Para estos modelos de impulso, el objetivo es convertir a los alumnos débiles y de bajo rendimiento en alumnos más poderosos. Los modelos como AdaBoost y XGBoost comienzan con muchos alumnos débiles que se desempeñan un poco mejor que adivinar al azar. A medida que continúa el entrenamiento, se aplican pesos a los datos y se ajustan. Las instancias que los alumnos clasificaron incorrectamente en rondas anteriores de capacitación tienen más peso. Después de repetir este proceso durante el número deseado de rondas de entrenamiento, las predicciones se unen mediante una suma ponderada (para tareas de regresión) y un voto ponderado (para tareas de clasificación).

El proceso de aprendizaje del embolsado. Foto: SeattleDataGuy vía Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Un ejemplo de un modelo de conjunto paralelo es un Bosque al azar clasificador, y Random Forests también es un ejemplo de una técnica de embolsado. El término "embolsado" proviene de "agregación de arranque". Las muestras se toman del conjunto de datos total utilizando una técnica de muestreo conocida como "muestreo de arranque", que utilizan los alumnos de base para hacer predicciones. Para las tareas de clasificación, los resultados de los modelos base se agregan mediante votación, mientras que se promedian juntos para las tareas de regresión. Random Forests usa árboles de decisión individuales como sus aprendices base, y cada árbol en el conjunto se construye usando una muestra diferente del conjunto de datos. También se utiliza un subconjunto aleatorio de características para generar el árbol. Conduce a árboles de decisión individuales altamente aleatorios, que se combinan para proporcionar predicciones confiables.

Visualización del apilamiento de conjuntos. Foto: Supun Setunga vía Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

En términos de técnicas de conjuntos de apilamiento, los modelos de clasificación o regresión múltiple se combinan a través de un metamodelo de nivel superior. Los modelos base de nivel inferior se entrenan al recibir el conjunto de datos completo. Los resultados de los modelos base se utilizan luego como funciones para entrenar el metamodelo. Los modelos de conjuntos de apilamiento suelen ser de naturaleza heterogénea.