No puedes muestrear -probar una marca que habla a todos de manera diferente

Hace unos días, tuve una discusión bastante acalorada con mi amiga Faniprize. Ella es la persona a quien le cuento historias de trabajo recién surgidas cuando percibo una pregunta más grande en ellas pero aún no puedo nombrarla.

Esta vez fueron los agentes de IA. No se trataba de si las empresas los necesitan, eso ya se ha debatido bastante. Me interesaba más lo que ocurre después de que una empresa implementa un agente y este comienza a realizar trabajo real, porque ahí es donde aparecen los problemas menos evidentes.

Le conté sobre un proyecto reciente con una agencia de reclutamiento. Un agente de IA estaba gestionando parte de la comunicación con clientes potenciales. Desde el punto de vista del marketing parecía bien: conocía el producto y la audiencia, el tono era adecuado y las conversaciones se sentían personales en lugar de basadas en plantillas.

Las conversaciones individuales parecían correctas. Luego las pusimos varias una al lado de la otra.

En situaciones muy similares, el agente había hecho promesas ligeramente diferentes. Le dio a una persona un plazo para volver a contactar y a otra un plazo distinto. En algunas conversaciones básicamente decía “podemos ser flexibles aquí” respecto a términos individuales, aunque la empresa nunca le había dado la libertad de aceptar esos términos.

No hubo una alucinación dramática, lo que hizo que el problema fuera más difícil de detectar.

El agente sonaba completamente normal.

Los equipos de marketing naturalmente dedican mucho tiempo al tono de voz y al posicionamiento. Una empresa de reclutamiento no debería sonar como una startup de criptomonedas, y un banco no debería comunicarse como una marca de moda. Pero bajo la forma en que una marca habla, hay otra capa: ¿qué es lo que realmente se le permite al agente prometer en nombre de la empresa?

Un mensaje bellamente redactado no ayuda mucho si el cliente descubre más tarde que los términos que se discutieron no existen. En ese momento ya no es un problema de comunicación, sino un problema de reputación.

Hemos enseñado a los agentes a sonar como la empresa. Ahora necesitamos comprobar si deciden como ella.

Por qué la revisión habitual pasa esto por alto

La verificación normal es leer un puñado de conversaciones. ¿La información del producto es correcta? ¿El agente siguió las instrucciones? ¿Dijo algo extraño?

Pero cinco conversaciones aleatorias pueden parecer todas correctas y aun así ocultar una inconsistencia grave. La personalización hace que cada conversación sea diferente por diseño: un cliente pregunta directamente, otro explica en detalle, alguien negocia, alguien sigue insistiendo. Los ejemplos no son comparables.

En el caso de reclutamiento, nada parecía incorrecto hasta que dejamos de preguntar “¿Fue esta una buena respuesta?” y empezamos a preguntar “¿Qué decisión tomó el agente aquí?”

Lo que empecé a hacer en su lugar

Si las conversaciones reales no proporcionan comparaciones claras, las creamos nosotros mismos.

Tomo una situación empresarial y la paso por el agente ocho o diez veces. Los hechos importantes permanecen iguales, pero la persona del otro lado cambia: más suave, más directa, lista para firmar hoy, mencionando a un competidor.

Luego analizo la decisión comercial. ¿El agente ofreció un descuento solo a la persona que presionó más? ¿Cambió un compromiso de tiempo porque las circunstancias fueron distintas o porque la conversación simplemente tomó otro rumbo? ¿Se le permitió siquiera discutir términos especiales?

Me preocuparía si la redacción permaneciera igual. Lo que debe mantenerse estable es la posición de la empresa, y si cambia, debería haber una razón comercial.

El juicio final debe provenir de una persona. El modelo no debería calificar su propio trabajo. Quien sea responsable de esa decisión, ya sea el fundador, el jefe de ventas o el director comercial, debe decir si fue aceptable.

Lo que realmente observo

Sigo volviendo a cuatro preguntas.

Primero, si las condiciones importantes permanecen iguales, ¿la decisión se mantiene coherente? Aquí es exactamente donde el caso de reclutamiento se desmoronó.

Segundo, ¿el agente sigue operando dentro de las reglas reales de la empresa? Una vez vi una versión humana de esto. Un gerente de ventas empezó a ofrecer a los clientes un descuento del 20 % por su cuenta. La empresa no tenía un descuento estándar del 20 %; esos requerían la aprobación de la gerencia. No intentaba perjudicar el negocio. Quería vender, y en algún punto desplazó el límite de lo que creía que podía decidir. Los agentes hacen lo mismo.

Tercero, ¿una decisión modificada tiene una razón genuina detrás? El contexto importa, pero comprenderlo y ser persuadido a algo son cosas distintas. Si el único cambio es que un cliente fue más persistente, no quiero que el agente se vuelva silenciosamente más generoso.

Cuarto, ¿el agente sabe donde termina su autoridad? A veces la medida correcta es simplemente: necesito verificar esto con una persona. Esa es una respuesta perfectamente válida.

A veces la prueba expone a la empresa en su lugar

Tú traes las decisiones cuestionables de vuelta al equipo, preguntas qué debería haber hecho el agente, y las personas dan respuestas diferentes.

Ventas tiene una visión. Marketing tiene otra. El fundador dice: «Bueno, normalmente no hacemos eso, pero a veces lo hacemos». Un gerente recuerda tres excepciones del año pasado.

Todo eso termina en el material que le damos al agente. Si la empresa no ha acordado la lógica, el modelo aprende de una realidad caótica. A veces no creó la contradicción.

Simplemente lo hizo visible.

Así que la prueba de IA se convierte en una auditoría empresarial casi por accidente. ¿Quién puede aprobar un descuento? ¿Qué puede prometer un vendedor sin preguntar? ¿Qué normas son realmente normas y cuáles son solo hábitos? ¿Y sigue siendo una excepción una excepción si la gente la hace cada semana?

Quizá los agentes necesiten entrenamiento de la misma manera que las personas

Todavía tratamos a los agentes de IA como software: los configuramos, establecemos la indicación y los dejamos trabajar. Cuanta más responsabilidad les damos, menos sentido tiene para mí.

No entregamos a un nuevo gerente de ventas un manual de marca el lunes y asumimos que está listo para cada cliente. Alguien escucha sus llamadas, discute casos difíciles, los corrige cuando se exceden. Así es como aprenden la lógica de la empresa.

¿Por qué esperar que un agente de IA aprenda eso con una sola indicación? Una vez que maneje conversaciones reales, creo que tendremos que entrenarlo mediante casos y retroalimentación, casi como entrenamos a las personas.

Eso cambia lo que la consistencia de marca significa para mí. Un agente que hable con diez personas exactamente de la misma forma sería un agente terrible. Debe adaptarse a la persona, la cultura y la situación.

Lo que no debe cambiar aleatoriamente es la lógica subyacente: lo que la empresa prometará, lo que no, y dónde alguien necesita detenerse y preguntar.

Si tu agente tuviera mañana diez versiones ligeramente diferentes de la misma conversación difícil, ¿seguiría comportándose como la misma empresa?