Abriendo la caja negra de la explicabilidad de la IA

La Inteligencia Artificial (IA) se ha entrelazado en casi todos los aspectos de nuestra vida diaria, desde recomendaciones personalizadas hasta la toma de decisiones críticas. Es un hecho que la IA seguirá avanzando, y con eso, las amenazas asociadas con la IA también se volverán más sofisticadas. A medida que las empresas implementan defensas habilitadas por IA en respuesta a la creciente complejidad, el próximo paso hacia la promoción de una cultura organizacional de seguridad es mejorar la explicabilidad de la IA.

Si bien estos sistemas ofrecen capacidades impresionantes, a menudo funcionan como “cajas negras” —produciendo resultados sin una visión clara de cómo el modelo llegó a la conclusión que hizo. El problema de que los sistemas de IA hacen declaraciones falsas o toman acciones falsas puede causar problemas significativos y posibles interrupciones comerciales. Cuando las empresas cometen errores debido a la IA, sus clientes y consumidores exigen una explicación y pronto después, una solución.

Pero, ¿a qué se debe la culpa? A menudo, se utiliza datos malos para el entrenamiento. Por ejemplo, la mayoría de las tecnologías de GenAI públicas se entrenan con datos disponibles en Internet, que a menudo son no verificados y poco precisos. Si bien la IA puede generar respuestas rápidas, la precisión de esas respuestas depende de la calidad de los datos con los que se entrena.

Los errores de la IA pueden ocurrir en varias instancias, incluyendo la generación de scripts con comandos incorrectos y decisiones de seguridad falsas, o rechazar a un empleado para que trabaje en los sistemas comerciales de la empresa debido a acusaciones falsas hechas por el sistema de IA. Todos estos tienen el potencial de causar interrupciones comerciales significativas. Esto es solo una de las muchas razones por las que garantizar la transparencia es clave para generar confianza en los sistemas de IA.

Construyendo la confianza

Existimos en una cultura donde depositamos confianza en todo tipo de fuentes y información. Pero, al mismo tiempo, exigimos pruebas y validación cada vez más, necesitando validar constantemente noticias, información y afirmaciones. Cuando se trata de la IA, depositamos confianza en un sistema que tiene el potencial de ser inexacto. Más importante aún, es imposible saber si las acciones que toman los sistemas de IA son precisas sin ninguna transparencia sobre la base en la que se toman las decisiones. ¿Qué pasa si su sistema de IA de ciberseguridad apaga las máquinas, pero cometió un error al interpretar las señales? Sin visibilidad sobre la información que llevó al sistema a tomar esa decisión, no hay forma de saber si tomó la decisión correcta.

Si bien la interrupción del negocio es frustrante, una de las preocupaciones más significativas con el uso de la IA es la privacidad de los datos. Los sistemas de IA, como ChatGPT, son modelos de aprendizaje automático que obtienen respuestas de los datos que reciben. Por lo tanto, si los usuarios o desarrolladores proporcionan información sensible accidentalmente, el modelo de aprendizaje automático puede utilizar esos datos para generar respuestas a otros usuarios que revelan información confidencial. Estos errores tienen el potencial de interrumpir gravemente la eficiencia, rentabilidad y, lo más importante, la confianza del cliente de una empresa. Los sistemas de IA están diseñados para aumentar la eficiencia y facilitar los procesos, pero en el caso de que se necesite una validación constante porque las salidas no se pueden confiar, las organizaciones no solo pierden el tiempo, sino que también abren la puerta a posibles vulnerabilidades.

Capacitación de equipos para el uso responsable de la IA

Para proteger a las organizaciones de los posibles riesgos del uso de la IA, los profesionales de TI tienen la importante responsabilidad de capacitar adecuadamente a sus colegas para garantizar que la IA se utilice de manera responsable. Al hacerlo, ayudan a mantener a sus organizaciones a salvo de ataques cibernéticos que amenazan su viabilidad y rentabilidad.

Sin embargo, antes de capacitar a los equipos, los líderes de TI necesitan alinearse internamente para determinar qué sistemas de IA serán adecuados para su organización. Apresurarse a implementar la IA solo dará lugar a problemas más adelante, así que en su lugar, comience de a poco, centrándose en las necesidades de la organización. Asegúrese de que los estándares y sistemas que seleccione se alineen con la pila de tecnología actual de la organización y los objetivos de la empresa, y de que los sistemas de IA cumplan con los mismos estándares de seguridad que cualquier otro proveedor que seleccione.

Una vez que se ha seleccionado un sistema, los profesionales de TI pueden comenzar a dar a sus equipos una exposición a estos sistemas para garantizar el éxito. Comience utilizando la IA para tareas pequeñas y vea dónde funciona bien y dónde no, y aprenda qué peligros o validaciones son necesarias. Luego, introduzca el uso de la IA para aumentar el trabajo, permitiendo una resolución de autoservicio más rápida, incluyendo las simples preguntas “cómo”. A partir de ahí, se puede enseñar cómo poner validaciones en su lugar. Esto es valioso, ya que comenzaremos a ver más trabajos que se centran en establecer condiciones y validaciones, y ya se ha visto en trabajos como el uso de la IA para ayudar a escribir software.

Además de estos pasos prácticos para capacitar a los miembros del equipo, iniciar y fomentar las discusiones también es fundamental. Fomente un diálogo abierto y basado en datos sobre cómo la IA está sirviendo las necesidades de los usuarios: ¿está resolviendo problemas con precisión y rapidez, ¿estamos impulsando la productividad para la empresa y el usuario final, ¿está aumentando nuestra puntuación de satisfacción del cliente (NPS) debido a estas herramientas impulsadas por la IA? Sea claro sobre el retorno de la inversión (ROI) y manténgalo en el centro. La comunicación clara permitirá que la conciencia sobre el uso responsable crezca, y a medida que los miembros del equipo obtengan una mejor comprensión de cómo funcionan los sistemas de IA, es más probable que los utilicen de manera responsable.

Cómo lograr la transparencia en la IA

Aunque la capacitación de equipos y el aumento de la conciencia son importantes, para lograr la transparencia en la IA es fundamental que haya más contexto sobre los datos que se utilizan para entrenar los modelos, asegurando que solo se utilicen datos de calidad. Esperemos que eventualmente haya una forma de ver cómo el sistema razona para que podamos confiar plenamente en él. Pero hasta entonces, necesitamos sistemas que puedan trabajar con validaciones y guardrails y demostrar que se adhieren a ellos.

Mientras que la transparencia completa inevitablemente tomará tiempo en lograrse, el rápido crecimiento de la IA y su uso hacen que sea necesario trabajar rápidamente. A medida que los modelos de IA continúan aumentando en complejidad, tienen el poder de hacer una gran diferencia para la humanidad, pero las consecuencias de sus errores también crecen. Como resultado, entender cómo estos sistemas llegan a sus decisiones es extremadamente valioso y necesario para permanecer efectivos y confiables. Al centrarnos en sistemas de IA transparentes, podemos asegurarnos de que la tecnología sea tan útil como se pretende, mientras permanece imparcial, ética, eficiente y precisa.