Cuanto más críticas sean las decisiones, menos debe trabajar el IA solo

Los agentes de IA claramente tienen un problema que se disfraza como una presentación de sus ventajas. El agente habla con confianza y escribe con elegancia, procesando información más rápido que un ser humano. Esto puede dar la impresión de que el IA está listo para operar de forma autónoma. En realidad, tan pronto como una decisión involucre dinero real, expectativas de los clientes y confianza, el IA no debe ser un sistema autónomo, porque todavía necesita la supervisión de un adulto.

Esta lección no se derivó de la teoría, sino que se aprendió a través de pruebas, cuando el IA del servicio de estilo de vida de lujo pudo interactuar con clientes reales.

Consejos bienintencionados que pueden ser peligrosos

En las primeras pruebas de la aplicación de gestión de estilo de vida impulsada por IA, el sistema parecía impresionante a primera vista. Podía compilar una lista de restaurantes, sugerir opciones de entretenimiento, redactar itinerarios para actividades locales y combinar todo esto en recomendaciones claras y de alta calidad. Pero en aproximadamente el 15% de los casos, simplemente inventaba los detalles, y lo hacía de manera convincente para ser creíble.

Hay un ejemplo que hizo que este problema fuera imposible de ignorar: el IA recomendó un restaurante en Dubái que había cerrado ocho meses antes. Cuando se le preguntó sobre ello, no dudó ni admitió que había cometido un error. El agente se aferró a su posición y fabricó una reseña y la citó.

Otra vez, el Agente confundió un snack bar en la calle con un restaurante con estrellas Michelin porque los nombres eran similares. Si un ser humano no hubiera revisado el pedido, el cliente del servicio de concierge podría haber terminado con una cena que no se parecía en nada a lo que se había planeado.

Luego estuvo el incidente con el juego de padel. Un cliente preguntó sobre un club deportivo con canchas de padel. El IA estaba a punto de dirigirlo a un lugar que solo tenía canchas de tenis. ¿Por qué? Porque en algún lugar de los datos de origen, encontró un artículo de noticias que decía que se planeaban construir canchas de padel allí, y sutilmente convirtió “planeado” en “ya existe”. Esto es precisamente lo que hace que los modelos sean un experimento riesgoso en el sector de servicios: incluso si el IA no tiene datos completos y precisos, no se detiene, improvisa.

Alucinaciones de IA como amenaza comercial

Este problema no se limita en absoluto a la industria del turismo, sino que se encuentra en la implementación de la IA en sí.

Dentro de parámetros claramente definidos, la IA funciona de manera brillante. Puedes proporcionarle datos estructurados, API actualizados, y superará con creces a un ser humano. Puede ordenar casos según diecisiete parámetros, escanear las reglas al instante y generar borradores listos para usar en segundos. Pero el mundo real está lejos de ser una base de datos estructurada. La realidad está llena de casos límite, información desactualizada, preferencias ambiguas, palabras vagas y brechas operativas.

Es precisamente aquí donde las alucinaciones comienzan a representar un riesgo comercial. Estudios han advertido una y otra vez que las alucinaciones pueden destruir instantáneamente la confianza, especialmente cuando un cliente recibe información pulida pero inexacta en el momento de la toma de decisiones. La gente ya está utilizando ampliamente planificadores de IA, pero la confianza sigue siendo escasa.

HNWIs como la prueba de estrés definitiva para la IA

Ahora elevemos la apuesta.

La IA maneja fácilmente las tareas estándar, un ejemplo de tal tarea es reservar un viaje desde Londres a Dubái: clase business, un hotel de cuatro estrellas durante tres noches. La verdadera prueba de estrés es un breve de un HNWI: es nuestro aniversario. Ella mencionó un restaurante en Amalfi con una puerta azul. Le encantan los peonios pero odia las rosas, y se sentirá más cómoda con un conductor que hable francés.

Una solicitud como esta suena elegante, pero desde el punto de vista operativo, es un campo minado. Un agente de IA seguramente sugerirá opciones, pero también puede proporcionar un 40% de información incorrecta con total confianza.

Los clientes en los segmentos de lujo y HNWI revelan las verdaderas limitaciones de la IA más rápido que cualquier prueba, ya que sus solicitudes no están estandarizadas y sus expectativas son emocionales, dependientes del contexto y altamente específicas. Con mucha frecuencia, tales solicitudes son difíciles de verificar automáticamente.

Además, el fracaso en servir a los clientes de HNWI de manera efectiva no terminará con un simple reembolso. Dañará la reputación de la empresa, ya que las recomendaciones y la confianza son crucialmente importantes en este segmento.

Los empleados reales lidian con estas alucinaciones todos los días. Notan el restaurante que resulta que está cerrado el mismo martes en que el cliente llega, y el rápido paseo de cinco minutos que en realidad resulta ser una caminata cuesta arriba de veinticinco minutos con equipaje. Un especialista capacitado no pasará por alto un hotel boutique que parece perfecto en las fotos pero que en realidad está cubierto de andamios debido a renovaciones.

Por qué la fintech requiere precisión, no velocidad

Podemos aplicar la misma lógica a todo el sector de la fintech. La IA puede analizar productos, comparar opciones, identificar anomalías y generar recomendaciones de manera rápida y eficiente. Pero cuando se trata de dinero, no hay tolerancia cero para errores aleatorios.

Las empresas de fintech están pagando el precio de las decisiones tomadas por la automatización, en forma de pérdida de confianza del cliente. Las empresas exitosas implementan mecanismos de control desde el principio, en lugar de introducirlos retrospectivamente una vez que el daño ya se ha hecho; el modelo adecuado implica la supervisión humana.

Se requiere una capa adicional de verificación entre el IA y el cliente, una etapa en la que el resultado se verifica a fondo y se garantiza su seguridad. En campos donde el costo del error es alto, esta capa se convierte en la base del producto.

Un concepto más útil es la infraestructura. La IA debe centrarse en tareas estructuradas: investigación, clasificación, comparación y redacción. En este proceso, los humanos deben tomar las decisiones finales. Con el tiempo, algunos procesos de trabajo se volverán lo suficientemente estables como para ser completamente automatizados. En ese momento, es probable que sea posible establecer un nivel base, pero esto debe hacerse basado en evidencia, no en fe. Estas ideas pueden sonar menos inspiradoras que el futuro completamente autónomo, pero este es exactamente cómo las empresas serias eventualmente tendrán éxito.

Estas ideas pueden sonar menos inspiradoras que el futuro completamente autónomo, pero este es exactamente cómo las empresas serias eventualmente tendrán éxito. Los procesos se volverán lo suficientemente estables como para ser completamente automatizados. En ese momento, es probable que sea posible establecer un nivel base, pero esto debe hacerse basado en evidencia, no en fe.