Si su IA está alucinando, no culpe a la IA

Las “alucinaciones” de la IA – esas respuestas falsas que suenan convincentes – atraen mucha atención de los medios, como en el reciente artículo del New York Times, La IA se está volviendo más poderosa, pero sus alucinaciones están empeorando. Las alucinaciones son un peligro real cuando se trata de un chatbot de consumo. En el contexto de las aplicaciones comerciales de la IA, es una preocupación aún más grave. Afortunadamente, como líder de tecnología empresarial, tengo más control sobre ello. Puedo asegurarme de que el agente tenga los datos correctos para producir una respuesta significativa.

Porque ese es el verdadero problema. En el negocio, no hay excusa para alucinaciones de la IA. Deje de culpar a la IA. Culpe a sí mismo por no utilizar la IA correctamente.

Cuando las herramientas de IA generativa alucinan, están haciendo lo que están diseñadas para hacer – proporcionar la mejor respuesta que pueden basada en los datos que tienen disponibles. Cuando se inventan cosas, producen una respuesta que no se basa en la realidad, es porque les faltan los datos relevantes, no pueden encontrarlos o no entienden la pregunta. Sí, los nuevos modelos como o3 y o4-mini de OpenAI alucinan más, actúan de manera más “creativa” cuando no tienen una buena respuesta a la pregunta que se les ha planteado. Sí, las herramientas más potentes pueden alucinar más – pero también pueden producir resultados más poderosos y valiosos si los configuramos para el éxito.

Si no quiere que su IA alucine, no la prive de datos. Alimente a la IA con los mejores y más relevantes datos para el problema que desea resolver, y no se dejará llevar.

Incluso entonces, cuando trabaja con cualquier herramienta de IA, le recomiendo mantener sus habilidades de pensamiento crítico intactas. Los resultados que entregan los agentes de IA pueden ser productivos y deleitosos, pero el punto no es desconectar su cerebro y dejar que el software haga todo el pensamiento por usted. Siga haciendo preguntas. Cuando un agente de IA le da una respuesta, cuestione esa respuesta para asegurarse de que tenga sentido y esté respaldada por datos. Si es así, debería ser un signo alentador de que vale la pena hacer preguntas de seguimiento.

Cuanto más cuestione, mejores perspectivas obtendrá.

Por qué ocurren las alucinaciones

No es un misterio. La IA no está tratando de mentirle. Cada modelo de lenguaje grande (LLM) de IA es esencialmente una predicción de la próxima palabra o número basada en la probabilidad.

En un nivel alto, lo que está sucediendo aquí es que los LLM conectan oraciones y párrafos una palabra a la vez, prediciendo la próxima palabra que debería ocurrir en la oración basada en miles de millones de otros ejemplos en sus datos de entrenamiento. Los antepasados de los LLM (aparte de Clippy) fueron prompts de autocompletado para mensajes de texto y código de computadora, herramientas de traducción automática de lenguaje humano y otros sistemas lingüísticos probabilísticos. Con el aumento de la potencia de cálculo y el entrenamiento en volúmenes de datos a escala de Internet, estos sistemas se volvieron “inteligentes” suficientes como para mantener una conversación completa a través del chat, como el mundo aprendió con la introducción de ChatGPT.

Los escépticos de la IA les gustaría señalar que esto no es lo mismo que la “inteligencia” real, solo software que puede destilar y regurgitar la inteligencia humana que se le ha alimentado. Pídale que resuma datos en un informe escrito, y imita la forma en que otros escritores han resumido datos similares.

Me parece un argumento académico siempre y cuando los datos sean correctos y el análisis sea útil.

¿Qué sucede si la IA no tiene los datos? Llena los espacios en blanco. A veces es divertido. A veces es un desastre total.

Cuando se construyen agentes de IA, este es un riesgo 10 veces mayor. Los agentes deben proporcionar perspectivas accionables, pero toman más decisiones en el camino. Ejecutan tareas de múltiples pasos, donde el resultado del paso 1 informa los pasos 2, 3, 4, 5, … 10 … 20. Si los resultados del paso 1 son incorrectos, el error se amplificará, lo que hará que la salida en el paso 20 sea aún peor. Especialmente, ya que los agentes pueden tomar decisiones y omitir pasos.

Hecho correctamente, los agentes logran más para el negocio que los despliega. Sin embargo, como gerentes de productos de IA, debemos reconocer el mayor riesgo que va junto con la mayor recompensa.

Lo cual es lo que hizo nuestro equipo. Vimos el riesgo y lo abordamos. No solo construimos un robot sofisticado; nos aseguramos de que funcionara con los datos correctos. Aquí hay lo que creo que hicimos bien:

• Construir el agente para hacer las preguntas correctas y verificar que tenga los datos correctos. Asegurarse de que el proceso de entrada de datos inicial del agente sea más determinista, menos “creativo”. Quieres que el agente diga cuando no tenga los datos correctos y no continúe al siguiente paso, en lugar de inventar los datos.
• Crear un libro de juego para su agente – asegurarse de que no invente un nuevo plan cada vez, sino que tenga un enfoque semi-estructurado. La estructura y el contexto son extremadamente importantes en la etapa de recopilación y análisis de datos. Puedes permitir que el agente se relaje y actúe de manera más “creativa” cuando tenga los hechos y esté listo para escribir el resumen, pero primero asegúrate de que los hechos sean correctos.
• Construir una herramienta de alta calidad para extraer los datos. Esto debería ser más que solo una llamada a la API. Tómate el tiempo para escribir el código (la gente todavía lo hace) que hace la cantidad y variedad de datos que se recopilarán, incorporando controles de calidad en el proceso.
• Hacer que el agente muestre su trabajo. El agente debe citar sus fuentes y vincular a donde el usuario puede verificar los datos, desde la fuente original, y explorarlos más a fondo. ¡No se permite ningún truco!
• Barandillas: Piense en lo que podría salir mal y construya protecciones contra los errores que absolutamente no puede permitir. En nuestro caso, eso significa que cuando el agente encargado de analizar un mercado no tiene los datos – por los que me refiero a nuestros datos de Similarweb, no a alguna fuente de datos aleatoria extraída de la web – asegurarse de que no invente nada es una barandilla esencial. Es mejor que el agente no pueda responder que entregar una respuesta falsa o engañosa.

Hemos incorporado estos principios en nuestro lanzamiento reciente de nuestros tres nuevos agentes, con más por venir. Por ejemplo, nuestro Agente de preparación de reuniones de IA para vendedores no solo pide el nombre de la empresa objetivo, sino detalles sobre el objetivo de la reunión y con quién es, preparándolo para proporcionar una mejor respuesta. No tiene que adivinar porque utiliza una gran cantidad de datos de empresa, datos digitales y perfiles ejecutivos para informar sus recomendaciones.

¿Son nuestros agentes perfectos? No. Nadie está creando IA perfecta todavía, ni siquiera las empresas más grandes del mundo. Pero enfrentar el problema es un infierno de mucho mejor que ignorarlo.

¿Quiere menos alucinaciones? Déle a su IA un buen trozo de datos de alta calidad.

Si alucina, tal vez no sea la IA la que necesita reparación. Tal vez sea su enfoque para aprovechar estas poderosas nuevas capacidades sin poner el tiempo y el esfuerzo para hacerlas correctamente.