Interacción entre máquina y humano: El problema del “último kilómetro” que está frenando a la inteligencia artificial empresarial

Hasta hace muy poco, las conversaciones en las salas de juntas sobre la inteligencia artificial se centraban en los modelos en sí. ¿Es precisa su salida? ¿Qué tan limpios fueron los datos de entrenamiento? ¿Cómo podemos reducir el sesgo? ¿Están bajo control las alucinaciones? Esas preguntas todavía importan, por supuesto, pero la salida ya no es lo único en lo que se centran las juntas y los accionistas. En cambio, están interesados en algo que es mucho más difícil de medir: si los sistemas de inteligencia artificial están trabajando realmente con las personas de manera efectiva en las interacciones diarias.

Eso es en parte por qué IBM recientemente se encontró frente a una propuesta de accionista que exigía una mayor transparencia sobre cómo gestiona el sesgo y la gobernanza de la inteligencia artificial. La propuesta se centró específicamente en la mitigación del sesgo, pero la idea más amplia fue que a medida que la inteligencia artificial se vuelve más profundamente integrada en los procesos de toma de decisiones, se la juzga según su rendición de cuentas operativa y los resultados comerciales medibles, en lugar de su capacidad básica.

Lo que estoy viendo en conversaciones con empresas es que muy pocas personas todavía debaten si los modelos en sí son capaces. La mayoría de las organizaciones ya saben que estos sistemas pueden generar salidas, automatizar flujos de trabajo y surfacear información a una velocidad extraordinaria. La pregunta más difícil es si todo eso está mejorando consistentemente los resultados dentro del negocio. ¿Están los empleados utilizando realmente estos sistemas de manera significativa? ¿Confían en las recomendaciones que reciben? ¿Están las decisiones volviéndose más claras, rápidas o consistentes? ¿O las organizaciones simplemente están generando más contenido, más análisis y más ruido sin cambiar la forma en que las personas operan? Esa brecha entre la capacidad de la inteligencia artificial y la adopción humana es lo que considero el “último kilómetro” de la inteligencia artificial empresarial. Es donde la rentabilidad, la confianza, la rendición de cuentas y la consistencia operativa convergen, y es donde muchos despliegues comienzan a estancarse.

La capacidad no es el cuello de botella – el contexto humano es

La propuesta de accionista de IBM en sí se centró en el sesgo, una preocupación familiar y en crecimiento en la industria. La resolución pidió a IBM que produjera informes adicionales sobre los métodos que utiliza para identificar y mitigar el sesgo en sus modelos de inteligencia artificial, incluidos los riesgos potenciales asociados con esos esfuerzos de mitigación. IBM se opuso, argumentando que mucha de esta información ya estaba disponible públicamente a través de tarjetas de modelo, documentación de gobernanza, informes de transparencia y presentaciones al Índice de Transparencia de Modelos de Fundación de Stanford. La mayoría de los observadores reconocieron que IBM ha hecho más que muchos proveedores para operativizar prácticas de inteligencia artificial responsables, mientras también reconocían que la gobernanza y el sesgo siguen siendo desafíos irresueltos en toda la industria.

Lo que me parece interesante no es si la respuesta de IBM fue correcta o incorrecta. Es lo que toda la situación dice sobre hacia dónde se dirigen las conversaciones de inteligencia artificial empresarial. Las juntas han pasado en gran medida a una nueva fase de evaluación de la inteligencia artificial centrada en la calidad de la toma de decisiones, el impacto operativo, la confianza del empleado y la adopción a largo plazo dentro del negocio.

Esto es donde una lente de neurociencia me lleva a una conclusión diferente a la de mucha de la conversación actual de inteligencia artificial empresarial. Los humanos no somos máquinas racionales de entrada-salida. Nos acercamos a las decisiones con una atención finita, una confianza fluctuante, una sobrecarga cognitiva y una intención que cambia constantemente. Cuando las interacciones se sienten lentas, cuando las respuestas enlatadas pierden lo que realmente queríamos decir, o cuando las personas tienen que luchar contra el sistema para llegar a algo útil, el compromiso se derrumba mucho antes de que las métricas de adopción se pongan al día. El riesgo de alucinación, la inconsistencia y el sesgo simplemente compounding el problema, creando fricción dentro de los flujos de trabajo que originalmente se destinaban a mejorar la productividad y la toma de decisiones. Este “último kilómetro” es lo que la mayoría de las organizaciones todavía subestiman: el valor de la inteligencia artificial no se crea cuando un modelo genera una respuesta, sino cuando entrega la respuesta correcta en el momento correcto y los humanos pueden confiar en ella lo suficiente como para actuar en lo que produce.

¿Por qué estamos ignorando al verdadero “humano en el bucle” – el usuario?

Hemos estado escuchando mucho últimamente sobre “humano en el bucle” y la importancia de tener a un humano presente para aprobar la salida impulsada por la inteligencia artificial. Pero ¿qué pasa si el humano más importante – el usuario – no se entiende adecuadamente? La interacción humana a humana es compleja y multifacética, pero la razón por la que la comunicación directa funciona tan bien es porque no se pierde ninguna sutileza. Si alguien se detiene, pierde la confianza, se vuelve frustrado o confundido, o su intención cambia, eso se transmite durante una interacción y la conversación cambia en consecuencia. La mayoría de los sistemas de inteligencia artificial todavía luchan por reconocer esas señales porque están más o menos “en rails” en el sentido de que solo responden a la última solicitud del usuario.

En mi opinión, esto se está convirtiendo en una de las limitaciones definitorias de los despliegues actuales de inteligencia artificial empresarial. Hemos construido sistemas que son excepcionalmente buenos para generar información mientras siguen siendo limitados en su capacidad para reconocer si esa información está ayudando a alguien a tomar mejores decisiones.

Una organización puede implementar herramientas de inteligencia artificial empresarial para miles de empleados y aún así no lograr una alineación significativa en cómo se utilizan realmente esos sistemas. Marcos como el Marco de gestión de riesgos de inteligencia artificial de NIST, ISO/IEC 42001 y el Acta de Inteligencia Artificial de la UE están empujando a las organizaciones hacia una mayor madurez en la gobernanza y la rendición de cuentas operativa. Pero la gobernanza en papel solo llega hasta cierto punto si la participación de los empleados con la inteligencia artificial sigue siendo fragmentada. Si diferentes equipos confían y utilizan la inteligencia artificial de maneras completamente diferentes, medir la rentabilidad de manera consistente se vuelve casi imposible, y ese es un problema que ninguna cantidad de solicitud puede solucionar.

El costo de la sobrecarga de inteligencia artificial

Ahora estamos entrando en una fase en la que la inteligencia artificial se está volviendo completamente ubicua dentro de los flujos de trabajo de inteligencia artificial. Hay copilotos integrados en suites de productividad, resúmenes de reuniones generados por inteligencia artificial que llegan después de cada llamada, paneles que surfacean información predictiva en tiempo real, motores de recomendación que alimentan a los empleados con sugerencias constantes y análisis automatizados que aparecen más rápido de lo que la mayoría de los equipos pueden procesar realistamente. En papel, esto parece progreso – las empresas están produciendo más información que nunca antes. Pero la ciencia cognitiva ha estado clara sobre esto durante décadas: más información no produce automáticamente mejores decisiones.

Las personas solo pueden absorber tanta información antes de que comience a establecerse la sobrecarga. Demasiadas recomendaciones crean vacilación. Demasiadas alertas se convierten en ruido de fondo. Demasiadas opciones generadas por inteligencia artificial pueden dejar a los empleados dudando en lugar de actuar con confianza. Lo que es interesante es que los sistemas de inteligencia artificial se están volviendo excepcionalmente buenos para producir información mientras siguen siendo relativamente pobres para entender cómo los humanos reciben, interpretan y responden a esa información en contexto. Las juntas directivas no se preocupan por la cantidad de resúmenes, recomendaciones o información generada que un sistema puede producir. Se preocupan por si las decisiones se vuelven más claras y más confiables en toda la empresa.

La inteligencia artificial ha entrado en su fase de rendición de cuentas

La propuesta de accionista de IBM puede haber surgido de preocupaciones sobre el sesgo, pero creo que refleja algo mucho más amplio que está sucediendo en toda la inteligencia artificial empresarial. La novedad de la inteligencia artificial ha pasado, y las empresas que buscan una sólida rentabilidad en su inversión en inteligencia artificial ya no pueden mirar solo a la capacidad del modelo. La tecnología se ha demostrado a sí misma, pero ahora necesita una medida de rendición de cuentas. ¿Cómo consistentemente están utilizando los empleados estos sistemas? ¿Están mejorando las decisiones? ¿Están aumentando la confianza y la participación con el tiempo, o se erosiona gradualmente? A medida que la inteligencia artificial se vuelve más integrada en los flujos de trabajo diarios, la próxima generación de sistemas puede necesitar volverse mucho más consciente del comportamiento humano, la atención, la confianza y la intención si las empresas quieren una adopción sostenida y una rentabilidad medible. Hasta entonces, el último kilómetro probablemente seguirá siendo uno de los mayores desafíos en la adopción de inteligencia artificial empresarial.