Por qué la confianza ciega en la IA podría ser su peor decisión hasta ahora

En 1979, un Manual de capacitación de IBM hizo una advertencia simple pero impactante: “Una computadora nunca puede ser considerada responsable; por lo tanto, una computadora nunca debe tomar una decisión de gestión”. Y más de 45 años después, esta declaración se siente como una profecía ignorada.

En 2025, la IA no solo asiste; toma decisiones autónomas, y en muchos casos, no solo decide sino que lidera. De hecho, alrededor del 74% de los ejecutivos tienen más confianza en la IA para asesoramiento empresarial en comparación con colegas o amigos, el 38% confía en la IA para tomar decisiones comerciales por ellos, y el 44% se inclina por la razón de la tecnología sobre sus propias ideas. El cambio es claro; la IA es el nuevo instinto visceral.

Pero hay un problema. La confianza en la IA solo es posible si el algoritmo es digno de confianza. Y cuando la confianza se deposita a ciegas, especialmente en cajas negras que no podemos entender o auditar, es un riesgo disfrazado de progreso. Al igual que con el liderazgo humano, la confianza sin rendición de cuentas es peligrosa, y cuando la IA se equivoca, ¿quién asume la responsabilidad?

Cuando la herramienta se convierte en el jefe

Lo que comenzó como una herramienta para racionalizar las operaciones de oficina es ahora utilizado en procesos comerciales básicos. Pero las empresas no solo están utilizando la IA para apoyar las decisiones humanas; ahora confían en la IA, particularmente la IA generativa (GenAI), para tomar decisiones comerciales, desde la estrategia empresarial hasta el servicio al cliente, la modelización financiera y más.

Este cambio es comprensible. La IA no se distrae, no olvida instrucciones ni permite que las emociones nublen su juicio. Para muchas empresas, esto ofrece un antídoto atractivo para los riesgos del error humano. Sin embargo, una pregunta clave permanece: ¿podemos confiar en la IA para que sea el jefe y tome decisiones de forma independiente?

No es una respuesta sencilla, pero una forma de verlo es cómo juzgamos la confiabilidad de las personas: por su competencia, confiabilidad y clara intención. Los mismos principios se aplican a la IA.

Para ser confiable, un sistema de IA debe entregar resultados que sean precisos, oportunos y adecuados. Pero el nivel de confianza y la margen de error varían dependiendo del contexto. Por ejemplo, cuando se diagnostica cáncer a partir de imágenes médicas, la barra para el fracaso es extremadamente baja. Por el contrario, cuando se generan ideas para una campaña publicitaria, hay más espacio para la experimentación.

Hemos visto la IA utilizada para tomar decisiones autónomas en áreas como la aprobación de créditos, con los bancos que utilizan algoritmos para determinar la elegibilidad para préstamos en cuestión de segundos. Los minoristas utilizan la IA para gestionar el inventario y los precios sin aportes humanos. Pero también hemos visto fracasos, como los coches autónomos que malinterpretaban las condiciones de la carretera.

Un cuento de advertencia muestra los riesgos de depositar demasiada confianza en la IA sin una supervisión adecuada. Derek Mobley, un hombre negro de más de 40 años, solicitó más de 100 puestos a través del sistema de contratación de Workday impulsado por IA desde 2017 y fue rechazado cada vez. Alegó discriminación basada en la edad y la raza. En mayo de 2025, el tribunal otorgó una acción colectiva a nivel nacional. La clase incluye a todos los solicitantes de 40 años o más que solicitaron a través de Workday desde septiembre de 2020 y fueron rechazados en base a recomendaciones de IA.

Este ejemplo hace un punto importante: la IA carece de inteligencia emocional, razonamiento moral o un sentido natural de justicia. Y desde que la IA se mueve de asistente humano a tomador de decisiones independiente, ahora hay un vacío de rendición de cuentas. Cuando se permiten que los algoritmos funcionen sin controles y equilibrios humanos, pueden y toman malas decisiones y refuerzan sesgos existentes.

La pregunta en torno a las cajas negras

Cajas negras, cuando el sistema y la lógica de la IA no son completamente visibles, son cada vez más comunes. Aunque pueden tener capas visibles, los desarrolladores y usuarios aún no pueden ver qué sucede en cada capa, lo que los hace opacos.

Por ejemplo, ChatGPT es una caja negra, ya que incluso sus creadores no están seguros de cómo funciona, ya que se entrena en conjuntos de datos tan grandes. Pero debido a la falta de transparencia, ¿alguna vez es aceptable ‘confiar’ en un modelo de IA sin entender completamente cómo funciona?

En resumen, no: las alucinaciones de la IA empeoran. Esto significa que en escenarios de alto riesgo, como decisiones financieras, asesoramiento legal y conocimientos médicos, la IA exige una validación rigurosa, una cross-referencia y una supervisión humana.

La demanda de Disney y Universal presentada en junio de 2025 refuerza este punto. Los estudios alegan que las herramientas de GenAI se entrenaron con materiales con derechos de autor para crear nuevo contenido sin consentimiento. Este caso destaca una nueva realidad: cuando las empresas despliegan modelos de IA que no entienden completamente, pueden ser consideradas responsables de las decisiones tomadas. Y la ignorancia no es una defensa; es una responsabilidad.

Sin embargo, a menudo depositamos confianza en sistemas complejos que no entendemos. Por ejemplo, la mayoría de los pasajeros de vuelos no pueden explicar la física del vuelo, pero la gente aborda aviones con confianza porque hemos construido confianza a través de la exposición repetida, la experiencia colectiva y un historial sólido de seguridad.

La misma lógica se puede aplicar nuevamente a la IA. No es razonable esperar que todos entiendan cómo funcionan las LLM. Pero la confianza no se basa en la comprensión; requiere familiaridad, transparencia sobre las limitaciones y un patrón demostrado de rendimiento confiable. Los ingenieros aeroespaciales saben qué pruebas realizar y qué errores parecen, y debemos exigir lo mismo de los proveedores de GenAI. El principio fundamental de la IA debe ser confiar, pero verificar.

Además, los líderes empresariales a menudo creen que la IA será el balazo de plata que resolverá todos sus problemas empresariales. Sin embargo, este mito afecta a muchas empresas cuando integran la IA. Los líderes pueden preferir modelos complejos y sofisticados, pero una solución más simple puede ser más adecuada si realizaran un análisis de costo-beneficio. La IA es un instrumento poderoso, pero no es adecuado para cada tarea. Las empresas necesitan reconocer el problema antes de seleccionar una herramienta.

Reconstruir la confianza en la IA

Aunque está claro que confiar ciegamente en la IA es un problema, los sistemas y algoritmos de IA pueden ser la mejor herramienta que una empresa pueda tener, siempre y cuando se utilicen de manera segura.

Para las empresas que buscan aprovechar las herramientas de IA, lo primero que deben investigar es la debida diligencia del proveedor. Cuando una empresa ha identificado un área que podría beneficiarse de la eficiencia de la IA, los líderes empresariales deben evaluar a los proveedores no solo en términos de rendimiento, sino también en controles de gobernanza. Esto incluye revisar cómo se desarrollan los modelos, si las herramientas de explicabilidad están en su lugar, cómo se monitorea el sesgo y si las pistas de auditoría están disponibles. Elegir un proveedor con procesos transparentes es esencial para mitigar el riesgo desde el principio.

Quizás el punto más importante al construir confianza en los sistemas de IA es garantizar la gobernanza de los datos con conjuntos de datos limpios, representativos y bien documentados. Como dice el dicho: basura dentro, basura fuera. Por lo tanto, si los datos son incompletos, sesgados o inexactos, incluso el modelo más avanzado producirá resultados poco confiables.

Para asegurarse de que los datos estén listos para la IA, las empresas deben:

• Auditar los conjuntos de datos existentes en busca de brechas y duplicados, y verificar las fuentes de sesgo

• Establecer formatos de datos estándar

• Implementar políticas de gobernanza de datos que definan la propiedad y los controles de acceso

Otro paso clave para que los líderes empresariales realicen es la prueba de estrés en diferentes condiciones. Aunque un modelo pueda funcionar bien en pruebas controladas, es fundamental entender las limitaciones del modelo cuando se enfrenta a nuevos datos o entradas que no esperaba. Es por eso que es importante probar la IA en una variedad de situaciones, con diferentes tipos de usuarios, varios casos de uso y datos de diferentes períodos de tiempo.

La validación de la IA también es una tarea continua. A medida que los datos cambian con el tiempo, incluso los modelos de IA confiables pueden perder precisión. Es por eso que la monitorización regular es importante. Las empresas necesitan monitorear cómo está funcionando el modelo día a día: ¿sigue siendo preciso? ¿O están aumentando los falsos positivos? Y al igual que cualquier sistema que requiere mantenimiento, los modelos deben volver a entrenarse regularmente con datos frescos para mantenerse relevantes.

La IA no es confiable ni poco confiable; está moldeada por los datos que aprende, las personas que la crean y las reglas que la gobiernan. A medida que la IA se desarrolla desde una herramienta útil hasta un asesor empresarial, los líderes tienen la opción de no solo usarla, sino de hacerlo de una manera reflexiva y ética. Si lo hacemos bien, la IA no solo será poderosa en el futuro, sino también responsable, con la rendición de cuentas claramente situada en su desarrollador y supervisores.