Priorizando la confianza en la IA

La dependencia de la sociedad en aplicaciones de inteligencia artificial (IA) y aprendizaje automático (ML) sigue creciendo, redefiniendo la forma en que se consume la información. Desde chatbots impulsados por IA hasta síntesis de información producidas por Modelos de Lenguaje Grande (LLM), la sociedad tiene acceso a más información y conocimientos más profundos que nunca antes. Sin embargo, mientras las empresas tecnológicas se apresuran a implementar la IA en su cadena de valor, una pregunta crítica se cierne. ¿Podemos confiar realmente en los resultados de las soluciones de IA?

¿Podemos confiar realmente en los resultados de la IA sin la cuantificación de la incertidumbre

Para una entrada determinada, un modelo podría haber generado muchas otras salidas igualmente plausibles. Esto podría deberse a datos de entrenamiento insuficientes, variaciones en los datos de entrenamiento o otras causas. Al implementar modelos, las organizaciones pueden aprovechar la cuantificación de la incertidumbre para proporcionar a sus usuarios finales una comprensión más clara de cuánto deben confiar en la salida de un modelo de IA/ML. La cuantificación de la incertidumbre es el proceso de estimar qué otras salidas podrían haber sido.

Imagina un modelo que predice la temperatura máxima de mañana. El modelo podría generar la salida 21ºC, pero la cuantificación de la incertidumbre aplicada a esa salida podría indicar que el modelo también podría haber generado las salidas 12 ºC, 15 ºC o 16 ºC; sabiendo esto, ¿cuánto confiamos ahora en la simple predicción de 20 ºC? A pesar de su potencial para generar confianza o aconsejar precaución, muchas organizaciones están optando por omitir la cuantificación de la incertidumbre debido al trabajo adicional que necesitan hacer para implementarla, así como por las demandas que hace en los recursos informáticos y la velocidad de inferencia.

Los sistemas humanos en el bucle, como los sistemas de diagnóstico y pronóstico médicos, involucran a los humanos como parte del proceso de toma de decisiones. Al confiar ciegamente en los datos de las soluciones de IA/ML de atención médica, los profesionales de la salud corren el riesgo de mal diagnosticar a un paciente, lo que podría llevar a resultados de salud deficientes o peores. La cuantificación de la incertidumbre puede permitir que los profesionales de la salud vean, cuantitativamente, cuándo pueden confiar más en los resultados de la IA y cuándo deben tratar las predicciones específicas con cautela. De manera similar, en un sistema completamente automatizado como un automóvil autónomo, la salida de un modelo para estimar la distancia de un obstáculo podría llevar a un accidente que podría haberse evitado en presencia de la cuantificación de la incertidumbre en la estimación de la distancia.

El desafío de aprovechar los métodos de Monte Carlo para generar confianza en los modelos de IA/ML

Los métodos de Monte Carlo, desarrollados durante el Proyecto Manhattan, son una forma robusta de realizar la cuantificación de la incertidumbre. Implican volver a ejecutar algoritmos repetidamente con entradas ligeramente diferentes hasta que las iteraciones adicionales no proporcionen mucha más información en las salidas; cuando el proceso alcanza ese estado, se dice que ha convergido. Una desventaja de los métodos de Monte Carlo es que suelen ser lentos y consumen muchos recursos informáticos, requiriendo muchas repeticiones de sus cálculos constituyentes para obtener una salida convergida y tienen una variabilidad inherente en esas salidas. Debido a que los métodos de Monte Carlo utilizan las salidas de generadores de números aleatorios como uno de sus bloques de construcción clave, incluso cuando se ejecuta un Monte Carlo con muchas repeticiones internas, los resultados que se obtienen cambiarán cuando se repita el proceso con parámetros idénticos.

El camino hacia la confiabilidad en los modelos de IA/ML

A diferencia de los servidores tradicionales y los aceleradores específicos de IA, una nueva generación de plataformas informáticas se están desarrollando para procesar directamente distribuciones de probabilidad empírica de la misma manera que las plataformas informáticas tradicionales procesan enteros y valores de punto flotante. Al implementar sus modelos de IA en estas plataformas, las organizaciones pueden automatizar la implementación de la cuantificación de la incertidumbre en sus modelos preentrenados y también pueden acelerar otras tareas de cálculo que tradicionalmente han utilizado métodos de Monte Carlo, como los cálculos de VaR en finanzas. En particular, para el escenario de VaR, esta nueva generación de plataformas permite a las organizaciones trabajar con distribuciones empíricas construidas directamente a partir de datos de mercado reales, en lugar de aproximar estas distribuciones con muestras generadas por generadores de números aleatorios, para análisis más precisos y resultados más rápidos.

Los avances recientes en la informática han reducido significativamente las barreras para la cuantificación de la incertidumbre. Un artículo de investigación reciente publicado por mis colegas y yo en el Taller de Aprendizaje Automático con Nuevos Paradigmas de Cálculo en NeurIPS 2024, destaca cómo una plataforma de cálculo de próxima generación que desarrollamos permitió que el análisis de cuantificación de la incertidumbre se ejecutara más de 100 veces más rápido en comparación con el análisis basado en Monte Carlo tradicional en un servidor de alta gama basado en Intel Xeon. Avances como estos permiten que las organizaciones que implementan soluciones de IA puedan implementar la cuantificación de la incertidumbre con facilidad y ejecutarla con bajos costos.

El futuro de la confiabilidad de la IA/ML depende de la computación de próxima generación avanzada

A medida que las organizaciones integran más soluciones de IA en la sociedad, la confiabilidad en la IA/ML se convertirá en una prioridad principal. Las empresas ya no pueden permitirse el lujo de omitir la implementación de facilidades en sus despliegues de modelos de IA que permitan a los consumidores saber cuándo tratar las salidas específicas del modelo de IA con escepticismo. La demanda de esta explicabilidad y cuantificación de la incertidumbre es clara, con aproximadamente tres de cada cuatro personas que indican que estarían más dispuestas a confiar en un sistema de IA si se implementaran mecanismos de aseguramiento adecuados.

Las nuevas tecnologías informáticas están haciendo que sea cada vez más fácil implementar y desplegar la cuantificación de la incertidumbre. Mientras que la industria y los organismos reguladores luchan con otros desafíos asociados con el despliegue de la IA en la sociedad, al menos hay una oportunidad de generar la confianza que los humanos requieren, haciendo que la cuantificación de la incertidumbre sea la norma en los despliegues de la IA.