Andrew Ng Critica la Cultura de Sobreajuste en Aprendizaje Automático

Andrew Ng, una de las voces más influyentes en aprendizaje automático en la última década, está expresando preocupaciones sobre la medida en que el sector enfatiza las innovaciones en la arquitectura del modelo sobre los datos – y específicamente, la medida en que permite que los resultados “sobreajustados” se describan como soluciones generalizadas o avances.

Estas son críticas generales a la cultura actual de aprendizaje automático, que provienen de una de sus máximas autoridades, y tienen implicaciones para la confianza en un sector aquejado por temores sobre un tercer colapso de la confianza empresarial en el desarrollo de la IA en un espacio de sesenta años.

Ng, profesor en la Universidad de Stanford, también es uno de los fundadores de deeplearning.ai, y en marzo publicó un escrito en el sitio de la organización que destiló un discurso reciente suyo en un par de recomendaciones básicas:

Primero, que la comunidad de investigación debe dejar de quejarse de que la limpieza de datos representa el 80% de los desafíos en aprendizaje automático, y ponerse a trabajar en el desarrollo de metodologías y prácticas de MLOps robustas.

Segundo, que debe alejarse de las “victorias fáciles” que se pueden obtener sobreajustando los datos a un modelo de aprendizaje automático, para que funcione bien en ese modelo pero no generalice o no produzca un modelo ampliamente desplegable.

Aceptando el Desafío de la Arquitectura y Curación de Datos

“Mi punto de vista”, escribió Ng, “es que si el 80 por ciento de nuestro trabajo es preparación de datos, entonces garantizar la calidad de los datos es el trabajo importante de un equipo de aprendizaje automático.”

Continuó:

“En lugar de confiar en que los ingenieros encuentren casualmente la mejor manera de mejorar un conjunto de datos, espero que podamos desarrollar herramientas de MLOps que ayuden a hacer que la construcción de sistemas de IA, incluida la creación de conjuntos de datos de alta calidad, sea más repetible y sistemática.

“MLOps es un campo en ciernes, y diferentes personas lo definen de manera diferente. Pero creo que el principio organizativo más importante de los equipos y herramientas de MLOps debe ser garantizar el flujo consistente y de alta calidad de los datos en todas las etapas de un proyecto. Esto ayudará a que muchos proyectos se desarrollen más suavemente.”

Hablando en Zoom en una sesión de preguntas y respuestas en vivo a finales de abril, Ng abordó la brecha de aplicabilidad en los sistemas de análisis de radiología de aprendizaje automático:

“Resulta que cuando recopilamos datos del Hospital de Stanford, luego los entrenamos y probamos en datos del mismo hospital, de hecho, podemos publicar artículos que muestran [los algoritmos] son comparables a los radiólogos humanos en la detección de ciertas afecciones.

“…[Cuando] tomas ese mismo modelo, ese mismo sistema de IA, a un hospital más antiguo en la calle, con una máquina más antigua, y el técnico utiliza un protocolo de imagen ligeramente diferente, ese desplazamiento de datos causa que el rendimiento del sistema de IA se degrade significativamente. En contraste, cualquier radiólogo humano puede caminar por la calle hasta el hospital más antiguo y hacerlo bien.”

La Subespecificación No es una Solución

El sobreajuste ocurre cuando un modelo de aprendizaje automático se diseña específicamente para acomodar las excentricidades de un conjunto de datos particular (o de la forma en que se formatean los datos). Esto puede involucrar, por ejemplo, especificar pesos que producirán buenos resultados en ese conjunto de datos, pero no “generalizar” en otros datos.

En muchos casos, dichos parámetros se definen en aspectos “no de datos” del conjunto de entrenamiento, como la resolución específica de la información recopilada, o otras idiosincrasias que no están garantizadas para volver a ocurrir en conjuntos de datos posteriores.

Aunque sería agradable, el sobreajuste no es un problema que se pueda resolver ampliando ciegamente el alcance o la flexibilidad de la arquitectura de datos o el diseño del modelo, cuando lo que realmente se necesita son características ampliamente aplicables y muy destacadas que funcionen bien en una variedad de entornos de datos – un desafío más espinoso.

En general, este tipo de “subespecificación” solo conduce a los problemas que Ng ha descrito recientemente, donde un modelo de aprendizaje automático falla en datos no vistos. La diferencia en este caso es que el modelo falla no porque los datos o el formato de los datos sean diferentes del conjunto de entrenamiento original sobreajustado, sino porque el modelo es demasiado flexible en lugar de demasiado frágil.

A finales de 2020, el artículo La Subespecificación Presenta Desafíos para la Credibilidad en el Aprendizaje Automático Moderno criticó intensamente esta práctica, y llevaba los nombres de no menos de cuarenta investigadores y científicos de aprendizaje automático de Google y MIT, entre otras instituciones.

El artículo critica el “aprendizaje de atajos”, y observa la forma en que los modelos subespecificados pueden tomar direcciones salvajes basadas en el punto de semilla aleatorio en el que comienza el entrenamiento del modelo. Los contribuyentes observan:

‘Hemos visto que la subespecificación es ubicua en las tuberías prácticas de aprendizaje automático en muchos dominios. De hecho, gracias a la subespecificación, aspectos sustancialmente importantes de las decisiones están determinados por elecciones arbitrarias, como la semilla aleatoria utilizada para la inicialización de parámetros.’

Implicaciones Económicas de Cambiar la Cultura

A pesar de sus credenciales académicas, Ng no es un académico etéreo, sino que tiene una profunda y alta experiencia industrial como cofundador de Google Brain y Coursera, como ex científico jefe de Big Data y IA en Baidu, y como fundador de Landing AI, que administra $175 millones de USD para nuevos startups en el sector.

Cuando dice “Todo el aprendizaje automático, no solo la atención médica, tiene una brecha de concepto a producción”, se pretende como una llamada de atención a un sector cuyo nivel actual de hype y su historia salpicada lo han caracterizado cada vez más como una inversión empresarial incierta a largo plazo, aquejada por problemas de definición y alcance.

Sin embargo, los sistemas de aprendizaje automático propietarios que funcionan bien in situ y fallan en otros entornos representan el tipo de captura de mercado que podría recompensar la inversión industrial. Presentar el “problema de sobreajuste” en el contexto de un peligro ocupacional ofrece una forma deshonesta de monetizar la inversión corporativa en investigación de código abierto, y producir (efectivamente) sistemas propietarios donde la replicación por parte de los competidores es posible, pero problemática.

Si este enfoque funcionaría a largo plazo depende de la medida en que los avances reales en aprendizaje automático sigan requiriendo niveles de inversión cada vez mayores, y si todas las iniciativas productivas migrarán inevitablemente a FAANG en cierta medida, debido a los recursos colosales necesarios para la alojamiento y las operaciones.