Líderes de opinión
Cómo transferí mi conocimiento a sistemas de IA que pueden tomar decisiones como expertos humanos
Cuando dejé Microsoft y continué trabajando con empresas en sus despliegues de IA, seguí viendo que la mayoría de los sistemas de IA que la gente estaba emocionada no podían tomar decisiones con un juicio humano real. Claro, podían escribir, resumir y producir textos notablemente fluidos que sonaban como una decisión, pero cuando se colocan estos sistemas en un entorno operativo real, donde hay compensaciones, incertidumbre, instrucciones incompletas y consecuencias reales, luchan rápidamente. Esto coincide con los datos del Proyecto NANDA de MIT, que muestra que mientras el 60% de las organizaciones evaluó herramientas de IA, solo el 20% llegó a la etapa de prueba piloto, y solo el 5% llegó a la producción. En otras palabras, la industria está luchando por construir sistemas que puedan mantenerse dentro de flujos de trabajo reales.
En entornos empresariales, especialmente en áreas como la cadena de suministro, la fabricación y las operaciones, obtener una respuesta no es difícil; lo difícil es saber qué respuesta confiar, qué variables son las más importantes y qué es probable que se rompa en la línea de abajo si se equivoca. En mi opinión, esto es tanto un problema de experiencia como de juicio.
Para ser claro, la IA ha hecho avances extraordinarios en la producción de mejores resultados. Pero mejores resultados no son lo mismo que mejores decisiones. Estos son dos hitos distintos, y creo que la industria ha pasado mucho tiempo tratándolos como intercambiables.
La falta de experiencia y juicio es por lo que me interesé en construir IA que los expertos humanos puedan enseñar a tomar decisiones complejas como lo hacen ellos. La IA no debería ser solo sobre la automatización de tareas, sino sobre la transferencia efectiva y segura del juicio humano a la IA que se mantiene.
Los modelos de lenguaje grande (LLM) hablan como tomadores de decisiones, pero no lo son
No hay duda de que los LLM son útiles, pero no son, por defecto, sistemas de toma de decisiones. Son sistemas de predicción envueltos en lenguaje. Y el lenguaje es persuasivo, lo que es parte del problema. Si un sistema puede explicarse de manera fluida, fácilmente sobreestimamos lo que entiende. Le haces una pregunta de negocios, te da una respuesta estructurada con compensaciones, salvedades y un resumen breve al final, lo que hace que parezca más inteligente de lo que es. Sonar coherente y ser competente operativamente no son lo mismo, y este es el lugar donde mucha IA empresarial se rompe. Los modelos pueden decirte qué suena como una buena decisión sin tener ninguna comprensión de lo que hace que una decisión sea buena bajo presión, con el tiempo o en contexto. Esta es una de las razones por las que muchas organizaciones luchan por avanzar más allá de la experimentación. Gartner encontró que al menos el 50% de los proyectos de IA generativa se abandonan después de las pruebas de concepto, mucho antes de que entreguen un impacto operativo real, a menudo debido a un valor y controles de riesgo poco claros.
La información no es lo mismo que la experiencia
Una de las trampas más fáciles en las que caer con la IA es asumir que si un sistema tiene suficiente información, debería ser capaz de actuar como un experto. Suena razonable, pero cuando lo piensas en nuestra vida cotidiana, aumentar nuestra información sobre algo no nos convierte automáticamente en expertos. Puedes leer todos los manuales de aviación y aún no estar listo para aterrizar un avión. Puedes memorizar todas las mejores prácticas en la cadena de suministro y aún congelarte cuando tres cosas salen mal al mismo tiempo.
Puedo seguir, pero el punto es que la información no se equipara con la capacidad. La capacidad proviene de la experiencia, específicamente, de la exposición repetida a situaciones desordenadas donde la respuesta no es obvia.
Todos los días, veo que la mayoría de los sistemas de IA de hoy se entrenan con ejemplos estáticos. Esto es todo útil para hacer predicciones, pero eso es solo una pequeña parte de la toma de decisiones. Las empresas no carecen de datos per se, pero necesitan entornos estructurados para la práctica, lo que significa darles a los sistemas entornos donde puedan:
- Encontrar escenarios realistas
- Tomar decisiones
- Ver qué sucede
- Recibir retroalimentación
- Mejorar con el tiempo
La IA se puede entrenar utilizando algoritmos predictivos, pero este enfoque tiene limitaciones. Lo que se necesita a continuación es una IA que se pueda entrenar en un entorno simulado con supervisión humana. Llamo a esto enseñanza de máquina, una metodología que desglosa decisiones complejas en escenarios y habilidades, proporcionando una guía para que los expertos humanos enseñen a la IA a través de la simulación. La retroalimentación y el ensayo y error resultantes permiten finalmente que los agentes aprendan y actúen con autonomía real directamente de las personas que construyeron esos procesos.
Dejar de tratar a la IA como un monolito
Otro error que veo mucho es la suposición de que un modelo grande debería hacer todo. Ningún equipo de baloncesto consiste en solo una persona. Ninguna fábrica es dirigida por un individuo. Los sistemas complejos funcionan porque diferentes componentes hacen diferentes trabajos, y hay una estructura que los mantiene unidos.
La IA debería construirse de la misma manera. No creo que el futuro a largo plazo de la toma de decisiones empresariales sea un modelo gigante sentado en el medio de la empresa fingiendo ser universalmente competente. Es más probable que se parezca a equipos de agentes especializados.
Un agente podría ser un experto en recuperación de datos. Otro es mejor para evaluar escenarios. Otro maneja la planificación. Uno controla el cumplimiento o detecta contradicciones. Otro actúa más como un supervisor, decidiendo cuándo escalar o cuándo la confianza es demasiado baja para proceder. La arquitectura de equipo tiene mucho más sentido para mí porque se ajusta a cómo funcionan las organizaciones reales y se alinea con las tendencias del mercado más amplio. Los hallazgos de McKinsey refuerzan que las organizaciones obtienen el mayor valor de la IA volviendo a diseñar flujos de trabajo y estructuras operativas alrededor de ella.
No todas las decisiones se toman de la misma manera, y demasiado a menudo asumimos que el mismo modelo, los mismos datos y el mismo tipo de razonamiento pueden manejarlos todos. En realidad, diferentes decisiones requieren diferentes mecanismos.
Las cuatro formas en que se toman las decisiones
En mi experiencia, la mayoría de las decisiones tienden a caer en unos pocos grupos:
- Sistemas de control (reglas y fórmulas): Las decisiones se toman aplicando ecuaciones o reglas predefinidas a entradas conocidas. Si X sucede, haz Y.
- Búsqueda y optimización: Las decisiones se toman evaluando muchas opciones posibles y seleccionando la mejor según un objetivo definido.
- Aprendizaje por refuerzo (ensayo y error): Las decisiones se aprenden con el tiempo tomando acciones, observando los resultados y ajustando según la recompensa o la penalización.
- Práctica y experiencia (aprendizaje al estilo humano): Las decisiones se moldean a través de la exposición repetida, la retroalimentación guiada y el juicio acumulado en escenarios del mundo real.
La mayoría de la IA empresarial se desempeña bien en las dos primeras categorías. Las terceras y cuartas categorías son más desafiantes para la IA, porque ahí es donde vive el juicio similar al humano.
La autonomía sin estructura es un riesgo
Cada vez que la gente habla sobre IA autónoma, la conversación tiende a dividirse en dos extremos. Un lado piensa que los sistemas son básicamente mágicos y listos para ejecutar todo. El otro lado actúa como si nunca deberían confiarse con nada significativo.
No creo que ninguna de las dos visiones sea útil. Deberíamos centrarnos en la autonomía dentro de la estructura porque la autonomía sin supervisión, lógica de escalación, límites o rendición de cuentas es la principal fuente de riesgo. Las preocupaciones sobre el riesgo están apareciendo más ahora, también, incluyendo en conversaciones moldeadas por esfuerzos como el Marco de gestión de riesgos de IA del Instituto Nacional de Estándares y Tecnología, que refleja cómo seriamente las organizaciones están tomando las preguntas de supervisión, rendición de cuentas y confianza operativa.
El futuro de la IA empresarial se encuentra en equipos de agentes. Las organizaciones que obtienen el mayor valor de la IA no serán las que automatizan la mayoría de las palabras. Son las que figuran cómo transferir experiencia real a sistemas que puedan mantenerse cuando el entorno se vuelve desordenado. Eso, en mi opinión, es la diferencia entre la IA que parece impresionante y la IA que se vuelve genuinamente útil, produciendo un ROI real.
