Investigadores de inteligencia artificial desarrollan un método rápido para calcular intervalos de confianza, informando cuándo un modelo no debe ser confiable

Investigadores del MIT han desarrollado recientemente una técnica que permite a los modelos de redes neuronales profundas calcular rápidamente los niveles de confianza, lo que podría ayudar a los científicos de datos y a otros usuarios de inteligencia artificial a saber cuándo confiar en las predicciones realizadas por un modelo.

Los sistemas de inteligencia artificial basados en redes neuronales artificiales son responsables de más y más decisiones en la actualidad, incluyendo muchas decisiones que involucran la salud y la seguridad de las personas. Debido a esto, las redes neuronales deben tener algún método para estimar la confianza en sus salidas, lo que permite a los científicos de datos determinar cuán confiables son sus predicciones. Recientemente, un equipo de investigadores de Harvard y MIT diseñó una forma rápida para que las redes neuronales generen una indicación de la confianza del modelo junto con sus predicciones.

Los modelos de aprendizaje profundo se han vuelto cada vez más sofisticados en la última década, y ahora pueden superar fácilmente a los humanos en tareas de clasificación de datos. Los modelos de aprendizaje profundo se utilizan en campos donde la salud y la seguridad de las personas pueden estar en riesgo si fallan, como la conducción de vehículos autónomos y el diagnóstico de condiciones médicas a partir de escaneos. En estos casos, no es suficiente que un modelo sea del 99% preciso, ya que el 1% de veces que el modelo falla puede tener consecuencias catastróficas. Por lo tanto, es necesario que haya una forma de que los científicos de datos puedan determinar cuán confiable es una predicción determinada.

Hay varias formas de generar un intervalo de confianza junto con las predicciones de las redes neuronales, pero los métodos tradicionales de estimar la incertidumbre para una red neuronal son bastante lentos y computacionalmente costosos. Las redes neuronales pueden ser increíblemente grandes y complejas, llenas de miles de millones de parámetros. Solo generar predicciones puede ser computacionalmente costoso y tomar un tiempo considerable, y generar un nivel de confianza para las predicciones lleva aún más tiempo. La mayoría de los métodos anteriores de cuantificación de la incertidumbre han dependido del muestreo o de ejecutar la red una y otra vez para obtener una estimación de su confianza. Esto no siempre es factible para aplicaciones que requieren tráfico de alta velocidad.

Según MIT News, Alexander Amini lidera el grupo combinado de investigadores de MIT y Harvard, y según Amini, el método desarrollado por sus investigadores acelera el proceso de generar estimaciones de incertidumbre utilizando una técnica llamada “regresión evidencial profunda”. Amini explicó a través de MIT que los científicos de datos requieren modelos de alta velocidad y estimaciones confiables de incertidumbre para que se puedan discernir los modelos no confiables. Para preservar tanto la velocidad del modelo como generar una estimación de incertidumbre, los investigadores diseñaron una forma de estimar la incertidumbre a partir de una sola ejecución del modelo.

Los investigadores diseñaron el modelo de red neuronal de tal manera que se generara una distribución probabilística junto con cada decisión. La red mantiene la evidencia de sus decisiones durante el proceso de entrenamiento, generando una distribución de probabilidad basada en la evidencia. La distribución evidencial representa la confianza del modelo, y representa la incertidumbre tanto para la decisión final del modelo como para los datos de entrada originales. Capturar la incertidumbre tanto para los datos de entrada como para las decisiones es importante, ya que reducir la incertidumbre depende de conocer la fuente de la incertidumbre.

Los investigadores probaron su técnica de estimación de incertidumbre aplicándola a una tarea de visión por computadora. Después de que el modelo se entrenó en una serie de imágenes, generó tanto predicciones como estimaciones de incertidumbre. La red proyectó correctamente una alta incertidumbre para instancias en las que se hizo la predicción incorrecta. “Estaba muy calibrada a los errores que comete la red, lo que creemos que fue una de las cosas más importantes al juzgar la calidad de un nuevo estimador de incertidumbre”, dijo Amini sobre los resultados de la prueba del modelo.

El equipo de investigación realizó más pruebas con su arquitectura de red. Para someter a prueba la técnica, también probaron los datos en “datos fuera de la distribución”, conjuntos de datos compuestos por objetos que la red nunca había visto antes. Como se esperaba, la red informó una mayor incertidumbre para estos objetos no vistos. Cuando se entrenó en entornos interiores, la red mostró una alta incertidumbre cuando se probó en imágenes de entornos exteriores. Las pruebas mostraron que la red podría resaltar cuándo sus decisiones estaban sujetas a una alta incertidumbre y no debían ser confiables en ciertas circunstancias de alto riesgo.

El equipo de investigación incluso informó que la red podía discernir cuándo las imágenes habían sido manipuladas. Cuando el equipo de investigación alteró las fotos con ruido adversario, la red etiquetó las imágenes alteradas con estimaciones de alta incertidumbre, a pesar de que el efecto era demasiado sutil para ser visto por el observador humano promedio.

Si la técnica resulta confiable, la regresión evidencial profunda podría mejorar la seguridad de los modelos de inteligencia artificial en general. Según Amini, la regresión evidencial profunda podría ayudar a las personas a tomar decisiones cuidadosas al utilizar modelos de inteligencia artificial en situaciones de riesgo. Como explicó Amini a través de MIT News:

“Estamos empezando a ver muchos más de estos [modelos de red neuronal] que salen del laboratorio de investigación y entran en el mundo real, en situaciones que tocan a los humanos con consecuencias potencialmente letales. Cualquier usuario del método, ya sea un médico o una persona en el asiento del pasajero de un vehículo, necesita ser consciente de cualquier riesgo o incertidumbre asociado con esa decisión.”