Le pire premier emploi que vous pouvez donner à un agent est le visible

Les entreprises ont tendance à choisir leur premier emploi d’agent de la même manière. Quelqu’un demande ce que l’IA pourrait faire pour nous, et la salle converge sur le travail que tout le monde peut imaginer : écrire nos billets de blog, répondre à nos clients, gérer la boîte de réception. C’est le travail le plus visible dans le bâtiment, donc c’est le travail qui vient à l’esprit.

Six mois plus tard, le projet pilote est discrètement mis en veilleuse et la conclusion est que la technologie n’était pas prête. La technologie était bonne. Le choix du travail était le problème, et la visibilité est ce qui en a fait un mauvais choix.

Trois choses qui rendent un travail difficile, et les travaux visibles ont les trois

Un travail est facile pour un agent lorsqu’il y a une bonne réponse vérifiable, lorsqu’une mauvaise sortie est peu coûteuse, et lorsqu’il y a quelqu’un dans le bâtiment qui fait déjà le travail et peut distinguer le bon du mauvais à première vue.

L’écriture orientée client échoue au premier test.

Il n’y a pas de bonne réponse à “est-ce que ce billet de blog est bon”, mais seulement une préférence tenue par une personne qui reconnaîtra la mauvaise version instantanément et aura du mal à spécifier la bonne version à l’avance. C’est là que vivent la plupart des plaintes de qualité.

Tout ce qui est orienté client échoue au deuxième test.

Un mauvais résumé interne coûte à quelqu’un quatre minutes. Une mauvaise réponse à un client coûte une relation, et parfois une conversation de conformité. Le coût d’une défaillance détermine combien de supervision le travail nécessite, et la supervision est la partie coûteuse de l’exécution des agents.

Et les travaux visibles échouent généralement au troisième test d’une manière que personne ne remarque jusqu’à tard.

La personne qui jugerait la sortie est une personne senior dont l’attention est la chose la plus rare dans l’entreprise. Lui donner une file d’attente implique de déplacer du travail sur votre calendrier le plus coûteux.

À quoi ressemblent les premiers emplois réussis

Ils sont ennuyeux. C’est le modèle, et il est suffisamment cohérent pour être planifié.

Lorsque NTT DATA Group a étendu ses outils d’agent à travers l’organisation, l’un des premiers succès qui ont changé l’opinion interne était un travail d’ingénierie interne, et non une expérience client. Le compte rendu de OpenAI décrit l’automatisation d’une analyse d’incident complexe pour un système critique — un travail qui nécessitait précédemment cinq ingénieurs expérimentés et trois jours, terminé en 30 minutes. Ce résultat, selon le compte rendu, “a rapidement gagné l’attention des dirigeants seniors et est devenu un premier point de preuve”.

Regardez la forme de ce travail plutôt que le nombre d’en-tête. L’analyse des incidents a une bonne réponse, et c’est une réponse que l’organisation peut vérifier, car le travail existait déjà et que les personnes qui le faisaient sont toujours là.

Il se répète. Il se trouve à l’intérieur des systèmes de l’entreprise plutôt qu’en face d’un client. Et la norme pour “terminé” est si l’analyse tient contre les preuves, ce qui est une question avec une réponse défendable, et non une question de goût.

Comparez cela au travail que la plupart des entreprises nomment en premier. Un billet de blog n’a pas de bonne réponse, pas de juge en interne dont le temps est peu coûteux, et un public.

L’ordre des choses compte autant que le choix. NTT DATA a déployé ChatGPT Enterprise dans toute l’entreprise en premier et, dans une enquête interne, plus de 96 % des répondants ont déclaré être satisfaits et plus de 95 % ont signalé des gains de productivité.

Grâce à cette utilisation quotidienne, le compte rendu indique que “les employés ont construit de l’expérience en travaillant avec l’IA pour la recherche, la rédaction et la création de contenu” — et que ces habitudes “ont préparé l’organisation pour l’étape suivante : déléguer des tâches clairement définies”.

La phase de construction d’habitudes fait plus de travail qu’il n’y paraît. Lorsque l’outillage d’IA général devient ordinaire, les gens commencent à l’appliquer bien au-delà des limites de leurs titres de travail, et mon interprétation est que c’est là que les bons emplois candidats apparaissent — à partir des personnes qui font le travail, et non à partir d’une réunion de planification. C’est également là que le scepticisme est résolu, et comment le personnel de première ligne se sent réellement à l’égard des outils n’est pas quelque chose qu’un seul projet à haut risque résout.

L’exception prouve la règle, si vous lisez tout le cas

L’objection évidente est que les agents orientés client fonctionnent réellement. Ils le font. Il vaut la peine de lire un cas de près.

L’agent de shopping avatarin construit avec Yamada Holdings est aussi visible qu’un travail d’agent peut l’être — un support 24/7 multilingue par voix et texte, guidant les acheteurs de la découverte de produits à la prise de décision d’achat. Dans une campagne publique de deux semaines sur le magasin en ligne de Yamada Denki, environ 30 000 personnes l’ont utilisé et 92 % des réponses aux enquêtes étaient positives. Résultat réel, clients réels, devant la maison.

Vaut être honnête sur une chose : le compte rendu de OpenAI appelle cela “sa première grande occasion de faire passer ces leçons directement aux clients”. Donc c’était le premier agent orienté client d’avatarin, ce qui ressemble à un argument contre tout ce qui précède.

Regardez ce que “ces leçons” font référence. avatarin est une entreprise de service client basée sur l’IA issue d’ANA Holdings, et le compte rendu note qu’elle avait travaillé avec OpenAI “bien avant le projet Yamada Denki, en utilisant l’API OpenAI pour la reconnaissance vocale, l’analyse des requêtes et la formation des employés”.

Les réponses de l’agent sont ancrées par un système de génération augmenté de récupération, ce qui signifie que les réponses sont ancrées à des informations de produit réelles et non à la mémoire du modèle. Les connaissances de service client du détaillant ont été délibérément encodées dans des flux de conversation et des invites. Des garde-fous aident à maintenir la conversation sur l’expérience d’achat. Et OpenAI a travaillé directement avec l’équipe pour structurer les invites et réduire le coût de l’exécution d’un service vocal toujours actif.

Donc c’était un premier travail orienté client pour une entreprise dont tout le business est le service client basé sur l’IA, arrivant après un travail précédent avec les outils du même fournisseur, avec une couche de fondation, une expertise de domaine encodée, des garde-fous et les personnes du fournisseur aidant. C’est le véritable prix du travail visible, et presque rien de tout cela n’est visible dans le résultat.

Lisez les deux comptes rendus ensemble et ils sont une leçon de séquencement plutôt que deux histoires de succès. Une organisation a gagné le droit de déléguer des travaux clairement définis en rendant l’IA ordinaire en premier. L’autre a atteint le travail orienté client en tant que spécialiste, sur le dos d’un travail de composant qu’il avait déjà fait. Aucun des deux n’a commencé où la réunion de planification veut commencer.

La règle de sélection

Évaluez chaque candidat travail sur quatre questions avant de choisir.

1. Y a-t-il une bonne réponse vérifiable ?

Pas une bonne réponse, une réponse vérifiable. La réconciliation, la classification, l’extraction et l’analyse avec une conclusion qualifient. Tout ce qui est jugé sur le goût ne qualifie pas, au moins pas en premier.

2. Quel est le coût d’une mauvaise sortie ?

Si la réponse honnête implique un client, un régulateur ou un nombre dans un dépôt, le travail nécessite le type d’architecture et de rails de révision que vous n’avez probablement pas encore construits.

3. Le volume justifie-t-il la configuration ?

Un travail effectué deux fois par mois ne remboursera jamais les semaines d’itération. L’économie vient de la répétition, et la répétition est également ce qui vous enseigne où la chose échoue.

4. Qui fait déjà ce travail et peut repérer une mauvaise sortie instantanément ?

Cette personne est votre réviseur, et il doit avoir le temps. Si la seule personne qualifiée est le fondateur, choisissez un autre travail.

Le travail qui obtient un bon score sur les quatre n’est presque jamais le travail qui est venu dans la réunion. C’est généralement quelque chose que une équipe a fait manuellement pendant deux ans et a cessé de se plaindre, car ils ne le remarquent plus comme du travail.

Où cela vous laisse

Prenez la liste des travaux que vous envisagez et évaluez-les honnêtement cette semaine. Le candidat qui gagne ressemblera à une déception. Automatisez-le quand même.

Le but d’un premier travail d’agent n’est pas la valeur qu’il rapporte. C’est que votre organisation apprend ce que ces systèmes font bien, où ils échouent et ce que la supervision leur coûte réellement, sur des travaux où se tromper est survivable. C’est cette connaissance qui fait que le deuxième travail est une décision réelle et non une supposition, et le troisième est généralement où se trouve l’argent.

Choisissez le travail ennuyeux. Gagnez le travail visible.