Cómo la IA explicable genera confianza y responsabilidad

Las empresas ya se han lanzado de lleno a la adopción de IA y se apresuran a implementar chatbots, generadores de contenido y herramientas de apoyo a la toma de decisiones en todas sus operaciones. Según McKinseyEl 78% de las empresas utilizan IA en al menos una función comercial.

El frenesí de la implementación es comprensible: todos ven el valor potencial. Pero en esta prisa, muchas organizaciones pasan por alto que todas las tecnologías basadas en redes neuronales, incluyendo todos los sistemas LLM e IA generativa en uso hoy y en el futuro previsible, comparten una falla importante: son impredecibles y, en última instancia, incontrolables.

Como algunos han aprendido, esto puede tener consecuencias graves. En un concesionario Chevrolet que había implementado un chatbot en su sitio web, un El cliente convenció al bot impulsado por ChatGPT para que le vendiera un Chevy Tahoe de $58,195 por solo $1.Otro cliente le pidió al mismo chatbot que escribiera un script en Python para ecuaciones complejas de dinámica de fluidos, lo cual hizo con mucho gusto. El concesionario desactivó rápidamente los bots después de que estos incidentes se hicieran virales.

El año pasado, Air Canada perdió en el tribunal de reclamos menores cuando argumentó que su chatbot, que le dio a un pasajero información inexacta sobre un descuento por duelo, “es una entidad legal separada que es responsable de sus propias acciones”.

Esta imprevisibilidad se deriva de la arquitectura fundamental de los LLM. Son tan grandes y complejos que es imposible comprender cómo llegan a respuestas específicas o predecir qué generarán hasta que generen un resultado. La mayoría de las organizaciones están respondiendo a este problema de confiabilidad sin reconocerlo plenamente.

La solución sensata es verificar manualmente los resultados de la IA, lo cual funciona, pero limita drásticamente el potencial de la tecnología. Cuando la IA se reduce a un simple asistente personal (redactando textos, tomando actas de reuniones, resumiendo documentos y ayudando con la programación), ofrece modestas mejoras de productividad. No suficientes para revolucionar la economía.

Los verdaderos beneficios de la IA llegarán cuando dejemos de usarla para facilitar los trabajos existentes y, en su lugar, adaptemos procesos, sistemas y empresas completos para que utilicen IA sin intervención humana en cada paso. Consideremos el procesamiento de préstamos: si un banco proporciona a los agentes de crédito un asistente de IA para resumir las solicitudes, podrían trabajar entre un 20 % y un 30 % más rápido. Pero implementar la IA para gestionar todo el proceso de decisión (con las medidas de seguridad adecuadas) podría reducir drásticamente los costos en más del 90 % y eliminar prácticamente todo el tiempo de procesamiento. Esta es la diferencia entre la mejora incremental y la transformación.

El camino hacia una implementación confiable de IA

Aprovechar al máximo el potencial de la IA sin sucumbir a su imprevisibilidad requiere una sofisticada combinación de enfoques técnicos y pensamiento estratégico. Si bien varios métodos actuales ofrecen soluciones parciales, cada uno presenta limitaciones significativas.

Algunas organizaciones intentan mitigar los problemas de confiabilidad mediante impulsos del sistema, dirigiendo sutilmente el comportamiento de la IA en las direcciones deseadas para que responda de maneras específicas a ciertas entradas. Los investigadores antrópicos demostraron la fragilidad Este enfoque, al identificar una "característica del Puente Golden Gate" en la red neuronal de Claude y amplificarla artificialmente, le provocó una crisis de identidad. Cuando se le preguntó sobre su forma física, en lugar de reconocer que no tenía ninguna, Claude afirmó... be El propio puente Golden Gate. Este experimento reveló la facilidad con la que se puede alterar el funcionamiento básico de un modelo y que cada pequeño cambio representa una compensación, que puede mejorar un aspecto del rendimiento y degradar otros.

Otro enfoque consiste en que la IA monitoree a otras IA. Si bien este enfoque por capas puede detectar algunos errores, introduce complejidad adicional y aún no alcanza una fiabilidad completa. Las barreras de seguridad codificadas son una intervención más directa, como bloquear respuestas que contengan ciertas palabras clave o patrones, como los ingredientes precursores de armas. Si bien son eficaces contra problemas conocidos, estas barreras de seguridad no pueden anticipar los nuevos resultados problemáticos que surgen de estos sistemas complejos.

Un enfoque más eficaz consiste en desarrollar procesos centrados en la IA que funcionen de forma autónoma, con supervisión humana estratégicamente posicionada para detectar problemas de fiabilidad antes de que provoquen problemas reales. No sería conveniente que la IA aprobara o rechazara directamente las solicitudes de préstamo, pero sí podría realizar una evaluación inicial para que la revisen los operadores humanos. Esto puede funcionar, pero depende de la vigilancia humana para detectar errores de la IA y socava las posibles mejoras de eficiencia derivadas de su uso.

Construyendo para el futuro

Estas soluciones parciales apuntan a un enfoque más integral. Las organizaciones que reconsideren radicalmente su forma de trabajar, en lugar de simplemente optimizar los procesos existentes con la ayuda de IA, obtendrán la mayor ventaja. Sin embargo, la IA nunca debería ser el último paso en un proceso o decisión crucial, así que ¿cuál es el mejor camino a seguir?

En primer lugar, la IA crea un proceso repetible que ofrecerá resultados consistentes de forma fiable y transparente. En segundo lugar, las personas revisan el proceso para garantizar que comprenden su funcionamiento y que los datos introducidos son adecuados. Finalmente, el proceso se ejecuta de forma autónoma (sin IA) con revisión periódica de los resultados por parte de personas.

Consideremos el sector asegurador. El enfoque convencional podría incorporar asistentes de IA para ayudar a los procesadores de reclamaciones a trabajar con mayor eficiencia. Un enfoque más revolucionario utilizaría la IA para desarrollar nuevas herramientas, como la visión artificial que analiza fotos de daños o modelos mejorados de detección de fraude que identifican patrones sospechosos, y luego combinar estas herramientas en sistemas automatizados regidos por reglas claras y comprensibles. Los humanos diseñarían y supervisarían estos sistemas en lugar de procesar reclamaciones individuales.

Este enfoque mantiene la supervisión humana en el momento crítico donde más importa: el diseño y la validación del propio sistema. Permite obtener ganancias exponenciales de eficiencia, a la vez que elimina el riesgo de que la imprevisibilidad de la IA provoque resultados perjudiciales en casos individuales.

Una IA podría identificar indicadores potenciales de la capacidad de pago de un préstamo en los datos de las transacciones, por ejemplo. Expertos humanos pueden evaluar la imparcialidad de estos indicadores y construir modelos explícitos y comprensibles para confirmar su capacidad predictiva.

Este enfoque de la IA explicable creará una división más clara entre las organizaciones que utilizan la IA superficialmente y aquellas que transforman sus operaciones en torno a ella. Estas últimas se destacarán cada vez más en sus sectores, capaces de ofrecer productos y servicios a precios que sus competidores no pueden igualar.

A diferencia de la IA de caja negra, los sistemas de IA explicables garantizan que los humanos mantengan una supervisión significativa de la aplicación de la tecnología, creando un futuro en el que la IA aumenta el potencial humano en lugar de simplemente reemplazar el trabajo humano.