Si tu IA está alucinando, no la culpes

Las “alucinaciones” de la IA (esas respuestas que parecen convincentes pero son falsas) atraen mucha atención de los medios, como en el reciente artículo del New York Times: La IA se está volviendo más poderosa, pero sus alucinaciones están empeorandoLas alucinaciones son un verdadero peligro al tratar con un chatbot de consumo. En el contexto de las aplicaciones empresariales de IA, es una preocupación aún más grave. Afortunadamente, como líder en tecnología empresarial, también tengo mayor control sobre ellas. Puedo asegurarme de que el agente tenga los datos correctos para generar una respuesta significativa.

Porque ese es el verdadero problema. En los negocios, no hay excusa para... alucinaciones de IADeja de culpar a la IA. Cúlpate por no usarla correctamente.

¿Cuándo? IA generativa Las herramientas alucinan; hacen lo que están diseñadas para hacer: dar la mejor respuesta posible basándose en los datos disponibles. Cuando inventan cosas, dando una respuesta que no se basa en la realidad, Es porque les faltan los datos relevantes, no los encuentran o no entienden la pregunta.Sí, nuevos modelos como o3 y o4-mini de OpenAI generan más alucinaciones, actuando de forma aún más "creativa" cuando no tienen una buena respuesta a la pregunta que se les plantea. Sí, las herramientas más potentes pueden generar más alucinaciones, pero también pueden producir resultados más potentes y valiosos si las configuramos para el éxito.

Si no quieres que tu IA alucine, no la prives de datos. Alimenta a la IA con los datos más relevantes para el problema que quieres que resuelva, y no se verá tentada a desviarse.

Aun así, al trabajar con cualquier herramienta de IA, recomiendo mantener intactas tus habilidades de pensamiento crítico. Los resultados que ofrecen los agentes de IA pueden ser productivos y gratificantes, pero la clave no es desconectar el cerebro y dejar que el software piense por ti. Sigue haciendo preguntas. Cuando un agente de IA te dé una respuesta, cuestionela para asegurarte de que tenga sentido y esté respaldada por datos. De ser así, debería ser una señal alentadora de que vale la pena hacer preguntas de seguimiento.

Cuanto más preguntes, mejores conocimientos obtendrás.

¿Por qué ocurren las alucinaciones?

No es ningún misterio. La IA no intenta mentirte. Toda IA ​​de modelo lingüístico grande (LLM) predice la siguiente palabra o número basándose en la probabilidad.

A grandes rasgos, lo que ocurre aquí es que los LLM encadenan oraciones y párrafos palabra por palabra, prediciendo la siguiente palabra que debería aparecer en la oración basándose en miles de millones de ejemplos adicionales en sus datos de entrenamiento. Los antecesores de los LLM (aparte de Clippy) fueron las indicaciones de autocompletado para mensajes de texto y código informático, las herramientas automatizadas de traducción humana y otros sistemas lingüísticos probabilísticos. Con una mayor potencia de cálculo de fuerza bruta, además del entrenamiento con volúmenes de datos a escala de internet, estos sistemas se volvieron lo suficientemente inteligentes como para mantener una conversación completa por chat, como se descubrió a nivel mundial con la introducción de ChatGPT.

Los detractores de la IA suelen señalar que esto no es lo mismo que la "inteligencia" real, sino solo un software capaz de destilar y regurgitar la inteligencia humana que se le ha suministrado. Si se le pide que resuma datos en un informe escrito, imita la forma en que otros autores han resumido datos similares.

Eso me parece un argumento académico siempre que los datos sean correctos y el análisis sea útil.

¿Qué pasa si la IA no tiene los datos? Rellena los espacios en blanco. A veces es gracioso. A veces es un desastre total.

Al construir Agentes de inteligencia artificialEsto representa un riesgo diez veces mayor. Se supone que los agentes deben proporcionar información útil, pero toman más decisiones a lo largo del proceso. Ejecutaron tareas de varios pasos, donde el resultado del paso 10 informa los pasos 1, 2, 3, 4, … 5 … 10. Si los resultados del paso 20 son incorrectos, el error se amplifica, empeorando aún más el resultado del paso 1. Sobre todo, porque los agentes pueden tomar decisiones y omitir pasos.

Si se implementan correctamente, los agentes logran más para la empresa que los implementa. Sin embargo, como gerentes de producto de IA, debemos reconocer el mayor riesgo que conlleva la mayor recompensa.

Eso es lo que hizo nuestro equipo. Vimos el riesgo y lo afrontamos. No nos limitamos a construir un robot sofisticado; nos aseguramos de que funcionara con los datos correctos. Esto es lo que creo que hicimos bien:

• Construya el agente para que formule las preguntas correctas y verifique que tenga los datos correctos. Asegúrese de que el proceso inicial de entrada de datos del agente sea más determinista, menos "creativo". Quiere que el agente indique cuándo no tiene los datos correctos y no continúe con el siguiente paso, en lugar de inventarlos.
• Estructura un manual de estrategias para tu agente: asegúrate de que no invente un plan nuevo cada vez, sino que adopte un enfoque semiestructurado. La estructura y el contexto son fundamentales en la etapa de recopilación y análisis de datos. Puedes dejar que el agente se relaje y sea más creativo cuando tenga los datos y esté listo para redactar el resumen, pero primero asegúrate de que los datos sean correctos.
• Desarrollar una herramienta de alta calidad para extraer los datos. Esto debería ser más que una simple llamada a la API. Dedicar tiempo a escribir el código (aún se hace) que genere la cantidad y variedad adecuadas de datos que se recopilarán, integrando controles de calidad en el proceso.
• Haz que el agente muestre su trabajo. El agente debe citar sus fuentes y enlazar a un lugar donde el usuario pueda verificar los datos, desde la fuente original, y explorarlos más a fondo. ¡No se permiten trucos!
• Medidas de seguridad: Analice qué podría salir mal e incorpore medidas de protección contra los errores que no puede permitir. En nuestro caso, esto significa que, cuando el agente encargado de analizar un mercado no dispone de los datos (me refiero a nuestros datos de Similarweb, no a una fuente de datos aleatoria extraída de la web), asegurarse de que no se invente algo es una medida de seguridad esencial. Es mejor que el agente no pueda responder que dar una respuesta falsa o engañosa.

Hemos incorporado estos principios en el reciente lanzamiento de nuestros tres nuevos agentes, y próximamente añadiremos más. Por ejemplo, nuestro Agente de Preparación de Reuniones con IA para vendedores no solo pregunta el nombre de la empresa objetivo, sino también detalles sobre el objetivo de la reunión y con quién se realizará, lo que le permite ofrecer una mejor respuesta. No necesita adivinar, ya que utiliza una amplia gama de datos de la empresa, datos digitales y perfiles ejecutivos para fundamentar sus recomendaciones.

¿Son perfectos nuestros agentes? No. Nadie está creando una IA perfecta todavía, ni siquiera las empresas más grandes del mundo. Pero afrontar el problema es muchísimo mejor que ignorarlo.

¿Quieres menos alucinaciones? Dale a tu IA un buen rato. datos de alta calidad.

Si alucina, quizá no sea la IA la que necesite una reparación. Quizás sea tu estrategia para aprovechar estas nuevas y poderosas capacidades sin invertir tiempo ni esfuerzo en perfeccionarlas.