Vous ne pouvez pas échantillonner – tester une marque qui parle à tout le monde différemment

Il y a quelques jours, je me suis engagé dans une discussion assez animée avec mon amie Faniprize. C’est la personne à qui je raconte les nouvelles histoires de travail lorsque je perçois une question plus vaste en elles, mais que je ne peux pas encore nommer.

Cette fois, il s’agissait d’agents IA. Pas de la nécessité pour les entreprises, ce sujet a déjà été largement débattu. Ce qui m’intéressait davantage, c’était ce qui se passe après qu’une société déploie un agent et qu’il commence à effectuer un travail réel, car c’est là que les problèmes moins évidents apparaissent.

Je lui ai parlé d’un projet récent avec une agence de recrutement. Un agent IA gérait une partie de la communication avec des clients potentiels. Du point de vue marketing, cela semblait bon : il connaissait le produit et le public, le ton était approprié et les conversations semblaient personnelles plutôt que standardisées.

Les conversations individuelles semblaient correctes. Puis nous les avons mises côte à côte.

Dans des situations très similaires, l’agent avait fait des promesses légèrement différentes. Il a donné à une personne un délai pour reprendre contact et à une autre un délai différent. Dans quelques conversations, il disait essentiellement « nous pouvons être flexibles ici » concernant des conditions individuelles, bien que l’entreprise ne lui ait jamais donné la liberté d’accepter ces conditions.

Il n’y a pas eu d’hallucination spectaculaire, ce qui rend le problème plus difficile à remarquer.

L’agent semblait tout à fait normal.

Les équipes marketing passent naturellement beaucoup de temps sur le ton de la voix et le positionnement. Une société de recrutement ne devrait pas sonner comme une startup crypto, et une banque ne devrait pas communiquer comme une marque de mode. Mais sous la façon dont une marque s’exprime, il existe une autre couche : qu’est-ce que l’agent est réellement autorisé à promettre au nom de l’entreprise ?

Un message magnifiquement rédigé n’aide guère si le client découvre plus tard que les conditions évoquées n’existent pas. À ce stade, il ne s’agit plus d’un problème de communication, mais d’un problème de réputation.

Nous avons appris aux agents à parler comme l’entreprise. Maintenant, nous devons vérifier s’ils décident de la même façon.

Pourquoi la revue habituelle manque cela

Le contrôle habituel consiste à lire une poignée de conversations. L’information sur le produit est‑elle correcte ? L’agent a‑t‑il suivi les instructions ? A‑t‑il dit quelque chose d’étrange ?

Mais cinq conversations aléatoires peuvent toutes sembler bonnes et pourtant masquer une incohérence sérieuse. La personnalisation rend chaque conversation différente par conception : un client demande directement, un autre explique en détail, quelqu’un négocie, quelqu’un continue de pousser. Les exemples ne sont pas comparables.

Dans le cas du recrutement, rien ne semblait anormal jusqu’à ce que nous arrêtions de demander « Était‑ce une bonne réponse ? » et commencions à demander « Quelle décision l’agent a‑t‑il prise ici ? »

Ce que j’ai commencé à faire à la place

Si les conversations réelles ne permettent pas de comparer clairement, nous les créons nous‑mêmes.

Je prends une situation commerciale et la fais passer par l’agent huit à dix fois. Les faits importants restent les mêmes, mais la personne de l’autre côté change : plus douce, plus directe, prête à signer aujourd’hui, mentionnant un concurrent.

Ensuite, j’examine la décision commerciale. L’agent a‑t‑il offert une remise uniquement à la personne qui a insisté davantage ? Un engagement de timing a‑t‑il changé parce que les circonstances étaient différentes ou simplement parce que la conversation a dévié ? Était‑il même autorisé à discuter de conditions spéciales ?

Je serais inquiet si le libellé restait identique. Ce qui doit rester stable, c’est la position de l’entreprise, et si elle change, il doit y avoir une raison commerciale.

Le jugement final doit venir d’une personne. Le modèle ne devrait pas évaluer son propre travail. Quiconque détient cette décision – le fondateur, le responsable des ventes ou le directeur commercial – doit dire si elle était acceptable.

Ce que j’examine réellement

Je reviens toujours à quatre questions.

Premièrement, si les conditions importantes restent les mêmes, la décision reste‑t‑elle cohérente ? C’est exactement là que le cas du recrutement s’est effondré.

Deuxièmement, l’agent fonctionne‑t‑il toujours dans le cadre des règles réelles de l’entreprise ? J’ai déjà vu une version humaine de cela. Un responsable des ventes a commencé à offrir aux clients une remise de 20 % de sa propre initiative. L’entreprise n’avait pas de remise standard de 20 %; celles‑ci nécessitaient l’approbation de la direction. Il ne cherchait pas à nuire à l’entreprise. Il voulait vendre, et en cours de route il a repoussé la limite de ce qu’il pensait pouvoir décider. Les agents font de même.

Troisièmement, une décision modifiée a‑t‑elle une raison authentique ? Le contexte compte, mais le comprendre et être persuadé de faire quelque chose sont deux choses différentes. Si le seul changement est qu’un client était plus persévérant, je ne veux pas que l’agent devienne discrètement plus généreux.

Quatrièmement, l’agent sait‑il jusqu’où s’étend son autorité ? Parfois, la bonne réponse est simplement : je dois vérifier cela avec une personne. C’est une réponse tout à fait valable.

Le test révèle parfois l’entreprise à la place

Vous ramenez les décisions douteuses à l’équipe, demandez ce que l’agent aurait dû faire, et les gens donnent des réponses différentes.

Les ventes ont un point de vue. Le marketing en a un autre. Le fondateur déclare : « Eh bien, normalement nous ne faisons pas cela, mais parfois nous le faisons. » Un responsable se souvient de trois exceptions de l’année dernière.

Tout cela se retrouve dans le support que nous donnons à l’agent. Si l’entreprise n’a pas convenu de la logique, le modèle apprend d’une réalité désordonnée. Parfois, il n’a pas créé la contradiction.

Cela l’a simplement rendu visible.

Ainsi, les tests d’IA se transforment presque par accident en audit commercial. Qui peut approuver une remise ? Qu’est‑ce qu’un commercial peut promettre sans demander ? Quelles règles sont réellement des règles, et lesquelles ne sont que des habitudes ? Et une exception reste‑t‑elle une exception si les gens la reproduisent chaque semaine ?

Peut‑être que les agents ont besoin d’une formation de la même manière que les personnes.

Nous traitons toujours les agents IA comme des logiciels : nous les configurons, définissons l’invite, puis les laissons fonctionner. Plus nous leur confions de responsabilités, moins cela a de sens à mes yeux.

Nous ne remettons pas à un nouveau responsable des ventes un guide de marque le lundi en supposant qu’il soit prêt pour chaque client. Quelqu’un écoute ses appels, discute des cas difficiles, le corrige lorsqu’il va trop loin. C’est ainsi qu’il apprend la logique de l’entreprise.

Pourquoi s’attendre à ce qu’un agent IA apprenne cela à partir d’une seule invite ? Une fois qu’il gère de vraies conversations, je pense que nous devrons le former à travers des cas et des retours, presque comme nous coachons les personnes.

Cela change ce que signifie la cohérence de la marque pour moi. Un agent qui s’adresse à dix personnes exactement de la même façon serait un agent médiocre. Il doit s’adapter à la personne, à la culture et à la situation.

Ce qui ne doit pas changer aléatoirement, c’est la logique sous‑jacente : ce que l’entreprise promettra, ce qu’elle ne promettra pas, et les moments où quelqu’un doit s’arrêter et demander.

Si votre agent disposait demain de dix versions légèrement différentes de la même conversation difficile, se comporterait‑il toujours comme la même entreprise ?