Google crea un nuevo programa de IA explicativa para mejorar la transparencia y la depuración

Hace poco, Google (GOOGL ) anunció la creación de una nueva plataforma en la nube destinada a proporcionar información sobre cómo un programa de IA toma decisiones, lo que facilita la depuración de un programa y mejora la transparencia. Según lo informado por The Register, la plataforma en la nube se llama IA Explicativa, y marca un intento importante de Google para invertir en la explicabilidad de la IA.

Las redes neuronales artificiales se utilizan en muchos, quizás la mayoría, de los sistemas de IA importantes que se utilizan en el mundo hoy en día. Las redes neuronales que ejecutan las aplicaciones de IA importantes pueden ser extraordinariamente complejas y grandes, y a medida que crece la complejidad del sistema, se vuelve más difícil intuir por qué se ha tomado una decisión particular por el sistema. Como explica Google en su documento técnico, a medida que los sistemas de IA se vuelven más potentes, también se vuelven más complejos y, por lo tanto, más difíciles de depurar. La transparencia también se pierde cuando esto ocurre, lo que significa que los algoritmos sesgados pueden ser difíciles de reconocer y abordar.

El hecho de que la razón que impulsa el comportamiento de los sistemas complejos sea tan difícil de interpretar a menudo tiene consecuencias drásticas. Además de hacer que sea difícil combatir el sesgo de la IA, puede hacer que sea extraordinariamente difícil distinguir entre correlaciones espurias y correlaciones genuinamente importantes e interesantes.

Muchas empresas y grupos de investigación están explorando cómo abordar el problema de la “caja negra” de la IA y crear un sistema que explique adecuadamente por qué se han tomado ciertas decisiones por una IA. La plataforma de IA Explicativa de Google representa su propia oferta para abordar este desafío. La IA Explicativa consta de tres herramientas diferentes. La primera herramienta es un sistema que describe qué características han sido seleccionadas por una IA y también muestra una puntuación de atribución que representa la cantidad de influencia que una característica particular tiene en la predicción final. El informe de Google sobre la herramienta proporciona un ejemplo de predecir cuánto tiempo durará un paseo en bicicleta en función de variables como la lluvia, la temperatura actual, el día de la semana y la hora de inicio. Después de que la red toma la decisión, se proporciona una retroalimentación que muestra qué características tuvieron el mayor impacto en las predicciones.

¿Cómo proporciona esta herramienta una retroalimentación tan detallada en el caso de los datos de imagen? En este caso, la herramienta produce una superposición que resalta las regiones de la imagen que pesaron más en la decisión renderizada.

Otra herramienta que se encuentra en la herramienta es la herramienta “¿Qué pasa si?”, que muestra las fluctuaciones potenciales en el rendimiento del modelo a medida que se manipulan los atributos individuales. Finalmente, la última herramienta se puede configurar para proporcionar resultados de muestra a revisores humanos en un calendario constante.

El Dr. Andrew Moore, científico jefe de IA y aprendizaje automático de Google, describió la inspiración para el proyecto. Moore explicó que hace unos cinco años, la comunidad académica comenzó a preocuparse por los subproductos perjudiciales del uso de la IA y que Google quería asegurarse de que sus sistemas se estaban utilizando solo de manera ética. Moore describió un incidente en el que la empresa estaba tratando de diseñar un programa de visión por computadora para alertar a los trabajadores de la construcción si alguien no llevaba un casco, pero se preocuparon de que la vigilancia se llevara demasiado lejos y se volviera deshumanizadora. Moore dijo que hubo una razón similar por la que Google decidió no lanzar una API de reconocimiento facial general, ya que la empresa quería tener más control sobre cómo se utilizaba su tecnología y asegurarse de que se estuviera utilizando solo de manera ética.

Moore también destacó por qué era tan importante que la decisión de la IA fuera explicativa:

“Si tienes un sistema crítico para la seguridad o algo societariamente importante que puede tener consecuencias no intencionadas si crees que tu modelo ha cometido un error, debes poder diagnosticarlo. Queremos explicar cuidadosamente qué puede y no puede hacer la explicabilidad. No es una panacea.