Abriendo la Caja Negra sobre la Explicabilidad de la IA

La Inteligencia Artificial (IA) se ha entrelazado en casi todos los aspectos de nuestra vida diaria, desde recomendaciones personalizadas hasta la toma de decisiones críticas. Es un hecho que la IA seguirá avanzando, y con eso, las amenazas asociadas con la IA también se volverán más sofisticadas. A medida que las empresas establecen defensas habilitadas por IA en respuesta a la creciente complejidad, el próximo paso hacia la promoción de una cultura de seguridad en toda la organización es mejorar la explicabilidad de la IA.

Si bien estos sistemas ofrecen capacidades impresionantes, a menudo funcionan como “cajas negras“—produciendo resultados sin una visión clara de cómo el modelo llegó a la conclusión que hizo. El problema de que los sistemas de IA hagan declaraciones falsas o tomen acciones falsas puede causar problemas y perturbaciones comerciales potenciales. Cuando las empresas cometen errores debido a la IA, sus clientes y consumidores exigen una explicación y, poco después, una solución.

Pero, ¿a qué se debe la culpa? A menudo, se utiliza datos malos para el entrenamiento. Por ejemplo, la mayoría de las tecnologías de GenAI públicas se entrenan en datos disponibles en Internet, que a menudo son no verificados e inexactos. Si bien la IA puede generar respuestas rápidas, la precisión de esas respuestas depende de la calidad de los datos en los que se entrena.

Los errores de la IA pueden ocurrir en varias instancias, incluida la generación de scripts con comandos incorrectos y decisiones de seguridad falsas, o rechazar a un empleado para que trabaje en los sistemas comerciales de la empresa debido a acusaciones falsas hechas por el sistema de IA. Todos ellos tienen el potencial de causar interrupciones comerciales significativas. Esto es solo una de las muchas razones por las que garantizar la transparencia es clave para generar confianza en los sistemas de IA.

Construyendo la Confianza

Existimos en una cultura donde depositamos confianza en todo tipo de fuentes e información. Pero, al mismo tiempo, exigimos pruebas y validación cada vez más, necesitando validar constantemente las noticias, la información y las afirmaciones. Cuando se trata de la IA, estamos depositando confianza en un sistema que tiene el potencial de ser inexacto. Más importante aún, es imposible saber si las acciones que toman los sistemas de IA son precisas sin ninguna transparencia sobre la base en la que se toman las decisiones. ¿Qué pasa si su sistema de IA de ciberseguridad apaga las máquinas, pero cometió un error al interpretar las señales? Sin conocimiento sobre la información que llevó al sistema a tomar esa decisión, no hay forma de saber si tomó la decisión correcta.

Si bien la interrupción del negocio es frustrante, una de las preocupaciones más importantes sobre el uso de la IA es la privacidad de los datos. Los sistemas de IA, como ChatGPT, son modelos de aprendizaje automático que obtienen respuestas de los datos que reciben. Por lo tanto, si los usuarios o desarrolladores proporcionan información sensible accidentalmente, el modelo de aprendizaje automático puede utilizar esos datos para generar respuestas a otros usuarios que revelen información confidencial. Estos errores tienen el potencial de interrumpir gravemente la eficiencia, rentabilidad y, lo más importante, la confianza del cliente de una empresa. Los sistemas de IA están diseñados para aumentar la eficiencia y facilitar los procesos, pero en el caso de que la validación constante sea necesaria porque las salidas no se pueden confiar, las organizaciones no solo pierden el tiempo, sino que también abren la puerta a posibles vulnerabilidades.

Capacitación de Equipos para el Uso Responsable de la IA

Para proteger a las organizaciones de los posibles riesgos del uso de la IA, los profesionales de TI tienen la importante responsabilidad de capacitar adecuadamente a sus colegas para garantizar que la IA se esté utilizando de manera responsable. Al hacerlo, ayudan a mantener a sus organizaciones a salvo de los ciberataques que amenazan su viabilidad y rentabilidad.

Sin embargo, antes de capacitar a los equipos, los líderes de TI necesitan alinearse internamente para determinar qué sistemas de IA serán adecuados para su organización. Apresurarse a adoptar la IA solo dará lugar a problemas más adelante, así que en su lugar, comience pequeño, centrándose en las necesidades de la organización. Asegúrese de que los estándares y sistemas que seleccione se alineen con la pila de tecnología actual de su organización y los objetivos de la empresa, y de que los sistemas de IA cumplan con los mismos estándares de seguridad que cualquier otro proveedor que seleccione.

Una vez que se ha seleccionado un sistema, los profesionales de TI pueden comenzar a dar a sus equipos exposición a estos sistemas para garantizar el éxito. Comience utilizando la IA para tareas pequeñas y vea dónde funciona bien y dónde no, y aprenda qué peligros o validaciones potenciales necesitan aplicarse. Luego, introduzca el uso de la IA para aumentar el trabajo, permitiendo una resolución de autoservicio más rápida, incluyendo las simples preguntas “cómo hacer”. A partir de ahí, se puede enseñar cómo poner validaciones en su lugar. Esto es valioso, ya que comenzaremos a ver más trabajos que se centran en establecer condiciones y validaciones de límite, y ya se ha visto en trabajos como el uso de la IA para ayudar a escribir software.

Además de estas medidas concretas para capacitar a los miembros del equipo, iniciar y fomentar discusiones también es imperativo. Fomente un diálogo abierto y basado en datos sobre cómo la IA está sirviendo a las necesidades de los usuarios: ¿está resolviendo problemas con precisión y rapidez, ¿estamos impulsando la productividad para la empresa y el usuario final, ¿está aumentando nuestra puntuación de satisfacción del cliente (NPS) debido a estas herramientas impulsadas por la IA? Sea claro sobre el retorno de la inversión (ROI) y manténgalo en el centro. La comunicación clara permitirá que la conciencia sobre el uso responsable crezca, y a medida que los miembros del equipo obtengan una mejor comprensión de cómo funcionan los sistemas de IA, es más probable que los utilicen de manera responsable.

Cómo Lograr la Transparencia en la IA

Aunque la capacitación de equipos y el aumento de la conciencia son importantes, para lograr la transparencia en la IA es vital que haya más contexto sobre los datos que se utilizan para entrenar los modelos, garantizando que solo se utilicen datos de calidad. Esperemos que eventualmente haya una forma de ver cómo razona el sistema para que podamos confiar plenamente en él. Pero hasta entonces, necesitamos sistemas que puedan trabajar con validaciones y guardrails y probar que se adhieren a ellos.

Aunque la transparencia total inevitablemente tomará tiempo en lograrse, el crecimiento rápido de la IA y su uso hacen que sea necesario trabajar rápidamente. A medida que los modelos de IA siguen aumentando en complejidad, tienen el poder de marcar una gran diferencia para la humanidad, pero las consecuencias de sus errores también crecen. Como resultado, entender cómo estos sistemas llegan a sus decisiones es extremadamente valioso y necesario para permanecer eficaz y confiable. Al centrarnos en sistemas de IA transparentes, podemos garantizar que la tecnología sea tan útil como se pretende, mientras permanece imparcial, ética, eficiente y precisa.