Non puoi testare un marchio che parla a tutti in modo diverso

Qualche giorno fa, ho avuto una discussione piuttosto accesa con la mia amica Faniprize. È la persona a cui racconto le storie di nuovi progetti quando percepisco una domanda più ampia in esse, ma non riesco ancora a nominarla.

Questa volta si trattava di agenti IA. Non se le aziende ne hanno bisogno, ne abbiamo già discusso a sufficienza. Mi interessava più ciò che accade dopo che un’azienda implementa un agente e questo inizia a svolgere lavoro reale, perché è lì che emergono i problemi meno evidenti.

Le ho parlato di un progetto recente con un’agenzia di reclutamento. Un agente IA gestiva parte della comunicazione con i potenziali clienti. Dal punto di vista del marketing sembrava positivo: conosceva il prodotto e il pubblico, il tono era corretto e le conversazioni sembravano personali anziché preconfezionate.

Le singole conversazioni sembravano a posto. Poi le abbiamo messe una accanto all’altra.

In situazioni molto simili, l’agente aveva fatto promesse leggermente diverse. Ha dato a una persona una tempistica per ricontattare e a un’altra una diversa. In alcune conversazioni diceva sostanzialmente “possiamo essere flessibili qui” riguardo a termini individuali, sebbene l’azienda non gli avesse mai concesso la libertà di accettare tali termini.

Non c’è stata alcuna allucinazione drammatica, il che ha reso il problema più difficile da notare.

L’agente sembrava completamente normale.

I team di marketing naturalmente dedicano molto tempo al tono di voce e al posizionamento. Un’agenzia di reclutamento non dovrebbe suonare come una startup crypto, e una banca non dovrebbe comunicare come un marchio di moda. Ma sotto il modo in cui un brand parla, c’è un altro livello: a cosa è realmente autorizzato a promettere l’agente per conto dell’azienda?

Un messaggio splendidamente scritto non è di grande aiuto se il cliente scopre in seguito che i termini discussi non esistono. A quel punto non è più un problema di comunicazione, ma di reputazione.

Abbiamo insegnato agli agenti a parlare come l’azienda. Ora dobbiamo verificare se decidono allo stesso modo.

Perché la revisione abituale non lo rileva

La verifica normale consiste nel leggere una manciata di conversazioni. Le informazioni sul prodotto sono corrette? L’agente ha seguito le istruzioni? Ha detto qualcosa di strano?

Ma cinque conversazioni casuali possono apparire tutte corrette e nascondere comunque una seria incoerenza. La personalizzazione rende ogni conversazione diversa per progettazione: un cliente chiede direttamente, un altro spiega a lungo, qualcuno negozia, qualcuno continua a insistere. Gli esempi non sono comparabili.

Nel caso del reclutamento, nulla sembrava sbagliato finché non abbiamo smesso di chiedere “Era una buona risposta?” e abbiamo iniziato a chiedere “Quale decisione ha preso l’agente qui?”

Cosa ho iniziato a fare invece

Se le conversazioni reali non forniscono confronti chiari, le creiamo noi stessi.

Prendo una situazione aziendale e la faccio passare attraverso l’agente otto‑dieci volte. I fatti importanti rimangono gli stessi, ma la persona dall’altra parte cambia: più morbida, più diretta, pronta a firmare oggi, menzionando un concorrente.

Poi esamino la decisione aziendale. L’agente ha offerto uno sconto solo alla persona che ha spinto di più? Un impegno temporale è cambiato perché le circostanze differivano o semplicemente perché la conversazione è andata altrove? Era comunque consentito discutere termini speciali?

Mi preoccuperebbe se la formulazione rimanesse invariata. Ciò che dovrebbe rimanere stabile è la posizione dell’azienda, e se cambia dovrebbe esserci una ragione di business.

Il giudizio finale deve provenire da una persona. Il modello non dovrebbe valutare i propri compiti. Chiunque detenga quella decisione — il fondatore, il responsabile vendite o il direttore commerciale — deve stabilire se era accettabile.

Ciò che realmente osservo

Ritorno sempre a quattro domande.

Prima, se le condizioni importanti rimangono le stesse, la decisione rimane coerente? È proprio qui che il caso del reclutamento è crollato.

Secondo, l’agente opera ancora entro le vere regole dell’azienda? Una volta ho visto una versione umana di questo. Un responsabile vendite ha iniziato a offrire ai clienti uno sconto del 20% di sua iniziativa. L’azienda non aveva uno sconto standard del 20%; quelli richiedevano l’approvazione della direzione. Non voleva danneggiare l’azienda. Voleva vendere e, lungo il percorso, ha spostato il confine di ciò che credeva potesse decidere. Gli agenti fanno lo stesso.

Terzo, una decisione modificata ha una ragione genuina? Il contesto è importante, ma comprenderlo e essere convinti a fare qualcosa sono cose diverse. Se l’unico cambiamento è che un cliente è stato più persistente, non voglio che l’agente diventi silenziosamente più generoso.

Quarto, l’agente sa dove finisce la sua autorità? A volte la mossa corretta è semplicemente: devo verificare questo con una persona. È una risposta perfettamente valida.

Il test a volte espone l’azienda invece

Tu porti le decisioni dubbie al team, chiedi cosa avrebbe dovuto fare l’agente, e le persone danno risposte diverse.

Le vendite hanno un punto di vista. Il marketing ne ha un altro. Il fondatore dice: “Beh, di solito non lo facciamo, ma a volte lo facciamo.” Un manager ricorda tre eccezioni dell’anno scorso.

Tutto ciò finisce nel materiale che forniamo all’agente. Se l’azienda non ha concordato la logica, il modello impara da una realtà caotica. A volte non ha creato la contraddizione.

L’ha semplicemente resa visibile.

Quindi il test dell’IA si trasforma quasi accidentalmente in una verifica aziendale. Chi può approvare uno sconto? Cosa può promettere un venditore senza chiedere? Quali regole sono davvero regole e quali sono solo abitudini? E un’eccezione è ancora un’eccezione se le persone la fanno ogni settimana?

Forse gli agenti hanno bisogno di formazione allo stesso modo delle persone

Trattiamo ancora gli agenti IA come software: li configuriamo, impostiamo il prompt e li lasciamo operare. Più responsabilità gli diamo, meno senso ha per me.

Non consegniamo a un nuovo responsabile vendite un brand book il lunedì e presumiamo che sia pronto per ogni cliente. Qualcuno ascolta le sue chiamate, discute i casi difficili, lo corregge quando va troppo oltre. È così che apprende la logica dell’azienda.

Perché aspettarsi che un agente IA impari tutto da un unico prompt? Una volta che gestisce conversazioni reali, credo che dovremo addestrarlo attraverso casi e feedback, quasi come alleniamo le persone.

Questo cambia il significato di coerenza del brand per me. Un agente che parla a dieci persone nello stesso modo sarebbe un agente pessimo. Dovrebbe adattarsi alla persona, alla cultura e alla situazione.

Ciò che non dovrebbe cambiare casualmente è la logica sottostante: ciò che l’azienda prometterà, ciò che non prometterà e quando qualcuno deve fermarsi e chiedere.

Se il tuo agente avesse domani dieci versioni leggermente diverse della stessa conversazione difficile, si comporterebbe ancora come la stessa azienda?