El peor primer trabajo que puedes dar a un agente es el visible

Las empresas suelen elegir su primer trabajo de agente de la misma manera. Alguien pregunta qué puede hacer la IA para nosotros, y la sala se centra en el trabajo que todos pueden imaginar: escribir nuestros blogs, responder a nuestros clientes, manejar el buzón. Es el trabajo más visible en el edificio, así que es el trabajo que viene a la mente.

Seis meses después, el piloto se estaciona silenciosamente y la conclusión es que la tecnología no estaba lista. La tecnología estaba bien. El problema fue la selección del trabajo, y la visibilidad es lo que lo hizo malo.

Tres cosas que hacen que un trabajo sea difícil, y los visibles tienen las tres

Un trabajo es fácil para un agente cuando hay una respuesta correcta comprobable, cuando una mala salida es barata, y cuando alguien en el edificio ya hace el trabajo y puede distinguir entre bueno y malo a simple vista.

La escritura orientada al cliente no aprueba la primera prueba.

No hay una respuesta correcta a “¿es este post de blog bueno?”, solo una preferencia sostenida por una persona que reconocerá la versión incorrecta al instante y luchará por especificar la correcta con anticipación. Esa brecha es donde viven la mayoría de las quejas de calidad.

Todo lo relacionado con el cliente no aprueba la segunda prueba.

Un resumen interno malo cuesta a alguien cuatro minutos. Una mala respuesta a un cliente cuesta una relación, y ocasionalmente una conversación de cumplimiento. El costo de un fallo establece cuánta supervisión necesita el trabajo, y la supervisión es la parte costosa de ejecutar agentes.

Y los trabajos visibles suelen no aprobar la tercera prueba de una manera que nadie nota hasta tarde.

La persona que juzgaría la salida es una persona senior cuya atención es la cosa más escasa en la empresa. Asignarle una cola de revisión implica mover trabajo a su calendario más caro.

Qué aspecto tienen los primeros trabajos exitosos

Son aburridos. Ese es el patrón, y es lo suficientemente consistente como para planificar alrededor.

Cuando NTT DATA Group expandió su herramienta de agente a través de la organización, una de las primeras victorias que cambió la opinión interna fue un trabajo de ingeniería interno, no una experiencia del cliente. La cuenta de OpenAI de la implementación describe la automatización de un análisis de incidentes complejo para un sistema crítico — trabajo que previamente requería cinco ingenieros experimentados y tomó tres días, completado en 30 minutos. Ese resultado, la reseña dice, “ganó rápidamente la atención de los líderes senior y se convirtió en un punto de referencia temprano”.

Mira la forma de ese trabajo en lugar del titular. El análisis de incidentes tiene una respuesta correcta, y es una respuesta que la organización puede comprobar, porque el trabajo ya existía y las personas que lo hacían antes todavía están allí.

Se repite. Se encuentra dentro de los propios sistemas de la empresa en lugar de frente a un cliente. Y el estándar para “hecho” es si el análisis se mantiene contra la evidencia, lo que es una pregunta con una respuesta defendible, no una cuestión de gusto.

Compara eso con el trabajo que la mayoría de las empresas nominan primero. Un post de blog no tiene una respuesta correcta, no tiene un juez interno cuyo tiempo es barato, y tiene una audiencia.

La secuencia es tan importante como la elección. NTT DATA implementó ChatGPT Enterprise en toda la empresa primero y, en una encuesta interna, más del 96% de los encuestados dijeron que estaban satisfechos con él y más del 95% informaron ganancias de productividad.

A través de ese uso diario, la reseña dice, “los empleados construyeron experiencia trabajando con IA para investigación, escritura y creación de contenido” — y esos hábitos “prepararon a la organización para el siguiente paso: delegar tareas claramente definidas”.

Las lecciones de liderazgo publicadas con el estudio de caso comienzan exactamente con eso: haz que la IA sea parte del trabajo diario, ayuda a las personas a construir los hábitos para colaborar con ella. La empresa construyó una base amplia de familiaridad con la salida de IA antes de que el trabajo de análisis de incidentes aterrizara.

Esa fase de construcción de hábitos está haciendo más trabajo de lo que parece. Cuando la herramienta de IA general se vuelve ordinaria, las personas comienzan a aplicarla bien fuera de los límites de sus títulos de trabajo, y mi lectura es que este es donde surgen los trabajos candidatos buenos — de las personas que hacen el trabajo, no de una reunión de planificación. También es donde se resuelve el escepticismo, y cómo el personal de primera línea realmente se siente sobre las herramientas no es algo que un solo proyecto de alto riesgo resuelva.

La excepción prueba la regla, si lees el caso completo

La objeción obvia es que los agentes orientados al cliente demostrablemente funcionan. Funcionan. Vale la pena leer uno de cerca.

El agente de compras avatarin construido con Yamada Holdings es tan visible como un trabajo de agente puede ser — soporte multilingüe 24/7 por voz y texto, guiando a los compradores desde el descubrimiento de productos hasta las decisiones de compra. En una campaña pública de dos semanas en la tienda en línea de Yamada Denki, aproximadamente 30,000 personas lo usaron y el 92% de las respuestas de la encuesta fueron positivas. Resultado real, clientes reales, frente a la casa.

Vale la pena ser directo sobre una cosa: la reseña de OpenAI lo llama “su primera oportunidad importante para llevar esas lecciones directamente a los clientes”. Así que este fue el primer agente orientado al cliente de avatarin, lo que lee como un argumento en contra de todo lo anterior.

Mira a qué se refieren “esas lecciones”. avatarin es una empresa de servicio de atención al cliente de IA derivada de ANA Holdings, y la reseña señala que había trabajado con OpenAI “mucho antes del proyecto de Yamada Denki, utilizando la API de OpenAI para reconocimiento de voz, análisis de consultas y capacitación de empleados”.

Las respuestas del agente están ancladas por un sistema de generación aumentada de recuperación, lo que significa que las respuestas están ancladas a información de producto real en lugar de la memoria del modelo. El conocimiento de servicio al cliente del minorista se codificó deliberadamente en flujos de conversación y llamadas. Las barreras de seguridad ayudan a mantener la conversación en la experiencia de compra. Y OpenAI trabajó directamente con el equipo para estructurar las llamadas y reducir el costo de ejecutar un servicio de voz siempre activo.

Así que fue un primer trabajo orientado al cliente para una empresa cuyo negocio completo es el servicio de atención al cliente de IA, llegando después de un trabajo previo con las herramientas del mismo proveedor, con una capa de base, conocimientos de dominio codificados, barreras de seguridad y la gente del proveedor ayudando. Ese es el precio real del trabajo visible, y casi nada de eso es visible en el resultado.

Lee las dos cuentas juntas y son una lección de secuencia en lugar de dos historias de éxito. Una organización ganó el derecho a delegar trabajo definido haciendo que la IA fuera ordinaria primero. La otra llegó al trabajo orientado al cliente como especialista, a partir de un trabajo de componentes que ya había hecho. Ninguna de las dos comenzó donde la reunión de planificación quiere comenzar.

La regla de selección

Puntúa cada trabajo candidato en cuatro preguntas antes de elegir.

1. ¿Hay una respuesta correcta comprobable?

No una buena respuesta, una correcta. Reconciliación, clasificación, extracción y análisis con conclusión califican. Cualquier cosa juzgada por el gusto no califica, al menos no primero.

2. ¿Cuánto cuesta una mala salida?

Si la respuesta honesta implica a un cliente, un regulador o un número en una presentación, el trabajo necesita el tipo de arquitectura y rieles de revisión que casi seguramente no has construido todavía.

3. ¿Justifica el volumen la configuración?

Un trabajo realizado dos veces al mes nunca reembolsará las semanas de iteración. La economía viene de la repetición, y la repetición es también lo que te enseña dónde falla la cosa.

4. ¿Quién ya hace esto y puede detectar un mal resultado al instante?

Esa persona es tu revisor, y necesita tener tiempo. Si la única persona calificada es el fundador, elige un trabajo diferente.

El trabajo que obtiene una buena puntuación en las cuatro es casi nunca el trabajo que surgió en la reunión. Es usualmente algo que un equipo ha estado haciendo manualmente durante dos años y ha dejado de quejarse, porque ya no lo nota como trabajo.

Dónde te deja esto

Toma la lista de trabajos que estás considerando y puntúalos honestamente esta semana. El candidato que gane se sentirá como una decepción. Automatízalo de todos modos.

El punto de un primer trabajo de agente no es el valor que devuelve. Es que tu organización aprende qué hacen bien estos sistemas, dónde fallan y cuánto cuesta supervisarlos en realidad, en un trabajo donde estar equivocado es sobrevivible. Ese conocimiento es lo que hace que el segundo trabajo sea una decisión real en lugar de una suposición, y el tercero es usualmente donde está el dinero.

Elige el trabajo aburrido. Gana el trabajo visible.