¿Qué es la IA explicable?

A medida que la inteligencia artificial (IA) se vuelve más compleja y se adopta ampliamente en la sociedad, uno de los conjuntos de procesos y métodos más críticos es explicable (AI), a veces denominado XAI. 

La IA explicable se puede definir como:

• Un conjunto de procesos y métodos que ayudan a los usuarios humanos a comprender y confiar en los resultados de los algoritmos de aprendizaje automático. 

Como puede adivinar, esta capacidad de explicación es increíblemente importante ya que los algoritmos de IA toman el control de muchos sectores, lo que conlleva el riesgo de sesgo, algoritmos defectuosos y otros problemas. Al lograr transparencia con explicabilidad, el mundo realmente puede aprovechar el poder de la IA. 

La IA explicable, como sugiere su nombre, ayuda a describir un modelo de IA, su impacto y posibles sesgos. También desempeña un papel en la caracterización de la precisión, la equidad, la transparencia y los resultados del modelo en los procesos de toma de decisiones impulsados ​​por IA. 

Las organizaciones impulsadas por la IA de hoy en día siempre deben adoptar procesos de IA explicables para ayudar a generar confianza en los modelos de IA en producción. La IA explicable también es clave para convertirse en una empresa responsable en el entorno de IA actual.

Debido a que los sistemas de inteligencia artificial actuales son tan avanzados, los humanos generalmente llevan a cabo un proceso de cálculo para rastrear cómo el algoritmo llegó a su resultado. Este proceso se convierte en una “caja negra”, lo que significa que es imposible de entender. Cuando estos modelos inexplicables se desarrollan directamente a partir de datos, nadie puede entender lo que sucede dentro de ellos. 

Al comprender cómo funcionan los sistemas de IA a través de la IA explicable, los desarrolladores pueden asegurarse de que el sistema funcione como debería. También puede ayudar a garantizar que el modelo cumpla con los estándares regulatorios y brinda la oportunidad de desafiar o cambiar el modelo. 

Imagen: Dr. Matt Turek/DARPA

Diferencias entre IA y XAI

Algunas diferencias clave ayudan a separar la IA "regular" de la IA explicable, pero lo más importante es que XAI implementa técnicas y métodos específicos que ayudan a garantizar que cada decisión en el proceso de ML sea rastreable y explicable. En comparación, la IA normal generalmente llega a su resultado utilizando un algoritmo ML, pero es imposible comprender completamente cómo llegó el algoritmo al resultado. En el caso de la IA regular, es extremadamente difícil verificar la precisión, lo que resulta en una pérdida de control, responsabilidad y auditabilidad. 

Beneficios de la IA explicable 

Hay muchos beneficios para cualquier organización que busque adoptar una IA explicable, como: 

• Resultados más rápidos: La IA explicable permite a las organizaciones monitorear y administrar modelos sistemáticamente para optimizar los resultados comerciales. Es posible evaluar y mejorar continuamente el rendimiento del modelo y ajustar el desarrollo del modelo.
  
• Mitigar riesgos: Al adoptar procesos de IA explicables, se asegura de que sus modelos de IA sean explicables y transparentes. Puede gestionar los requisitos normativos, de cumplimiento, los riesgos y otros mientras minimiza los gastos generales de la inspección manual. Todo esto también ayuda a mitigar el riesgo de sesgo no deseado. 
• Generar confianza: La IA explicable ayuda a establecer la confianza en la IA de producción. Los modelos de IA se pueden llevar rápidamente a la producción, puede garantizar la interpretabilidad y la explicabilidad, y el proceso de evaluación del modelo se puede simplificar y hacer más transparente. 

Técnicas para la IA explicable

Existen algunas técnicas XAI que todas las organizaciones deberían considerar y consisten en tres métodos principales: Precisión de predicción, trazabilidad de y comprensión de la decisión. 

El primero de los tres métodos, Precisión de predicción, es esencial para utilizar con éxito la IA en las operaciones diarias. Se pueden realizar simulaciones y la salida de XAI se puede comparar con los resultados en el conjunto de datos de entrenamiento, lo que ayuda a determinar la precisión de la predicción. Una de las técnicas más populares para lograr esto se llama Explicaciones agnósticas del modelo local interpretable (LIME), una técnica que explica la predicción de clasificadores por el algoritmo de aprendizaje automático. 

El segundo método es trazabilidad de , que se logra al limitar la forma en que se pueden tomar decisiones, así como al establecer un alcance más limitado para las reglas y características del aprendizaje automático. Una de las técnicas de trazabilidad más comunes es DeepLIFT, o características importantes de aprendizaje profundo. DeepLIFT compara la activación de cada neurona con su neurona de referencia mientras demuestra un vínculo rastreable entre cada neurona activada. También muestra las dependencias entre ellos. 

El tercer y último método es comprensión de la decisión, que está centrado en el ser humano, a diferencia de los otros dos métodos. La comprensión de decisiones implica educar a la organización, específicamente al equipo que trabaja con la IA, para que puedan comprender cómo y por qué la IA toma decisiones. Este método es crucial para establecer la confianza en el sistema. 

Principios de IA explicables

Para proporcionar una mejor comprensión de XAI y sus principios, el Instituto Nacional de Estándares (NIST), que forma parte del Departamento de Comercio de EE. UU., proporciona definiciones para cuatro principios de IA explicable: 

1. Un sistema de IA debe proporcionar evidencia, apoyo o razonamiento para cada resultado. 
2. Un sistema de IA debe dar explicaciones que puedan ser entendidas por sus usuarios. 
3. La explicación debe reflejar con precisión el proceso utilizado por el sistema para llegar a su salida. 
4. El sistema de IA solo debe funcionar en las condiciones para las que fue diseñado y no debe proporcionar resultados cuando no tenga suficiente confianza en el resultado. 

Estos principios se pueden organizar aún más en: 

• Significativo: Para lograr el principio de significado, un usuario debe comprender la explicación proporcionada. Esto también podría significar que, en el caso de que diferentes tipos de usuarios utilicen un algoritmo de IA, podría haber varias explicaciones. Por ejemplo, en el caso de un automóvil autónomo, una explicación podría estar en la línea de... "la IA clasificó la bolsa de plástico en la carretera como una roca y, por lo tanto, tomó medidas para evitar golpearla". Si bien este ejemplo funcionaría para el controlador, no sería muy útil para un desarrollador de IA que busque corregir el problema. En ese caso, el desarrollador debe entender por qué hubo una clasificación errónea. 
• Explicación Precisión: A diferencia de la precisión de la salida, la precisión de la explicación implica que el algoritmo de IA explique con precisión cómo alcanzó su salida. Por ejemplo, si un algoritmo de aprobación de préstamo explica una decisión basada en los ingresos de una solicitud cuando en realidad se basó en el lugar de residencia del solicitante, la explicación sería inexacta. 
• Límites de conocimiento: Los límites de conocimiento de la IA se pueden alcanzar de dos maneras, e implica que la entrada esté fuera de la experiencia del sistema. Por ejemplo, si se construye un sistema para clasificar las especies de aves y se le da una imagen de una manzana, debería poder explicar que la entrada no es un pájaro. Si el sistema recibe una imagen borrosa, debería poder informar que no puede identificar el ave en la imagen o, alternativamente, que su identificación tiene muy poca confianza. 

El papel de los datos en la IA explicable

Uno de los componentes más importantes de la IA explicable son los datos. 

Según la Google, con respecto a los datos y la IA explicable, "un sistema de IA se entiende mejor por los datos de entrenamiento subyacentes y el proceso de entrenamiento, así como por el modelo de IA resultante". Esta comprensión depende de la capacidad de asignar un modelo de IA entrenado al conjunto de datos exacto utilizado para entrenarlo, así como de la capacidad de examinar los datos de cerca. 

Para mejorar la explicabilidad de un modelo, es importante prestar atención a los datos de entrenamiento. Los equipos deben determinar el origen de los datos utilizados para entrenar un algoritmo, la legalidad y la ética en torno a su obtención, cualquier posible sesgo en los datos y qué se puede hacer para mitigar cualquier sesgo. 

Otro aspecto crítico de los datos y la XAI es que se deben excluir los datos irrelevantes para el sistema. Para lograr esto, los datos irrelevantes no deben incluirse en el conjunto de entrenamiento ni en los datos de entrada. 

Google ha recomendado un conjunto de prácticas para lograr la interpretabilidad y la responsabilidad: 

• Planifique sus opciones para buscar la interpretabilidad
• Tratar la interpretabilidad como una parte central de la experiencia del usuario
• Diseñe el modelo para que sea interpretable
• Elija métricas para reflejar el objetivo final y la tarea final
• Comprender el modelo entrenado
• Comunicar explicaciones a los usuarios del modelo.
• Realice muchas pruebas para asegurarse de que el sistema de IA funcione según lo previsto. 

Al seguir estas prácticas recomendadas, su organización puede asegurarse de lograr una IA explicable, que es clave para cualquier organización impulsada por IA en el entorno actual.