Nemůžete testovat značku, která mluví s každým jinak

Před několika dny jsem se dostal do docela vyhrocené diskuze se svou kamarádkou Faniprize. Je to osoba, které vyprávím čerstvé pracovní příběhy, když v nich cítím větší otázku, ale ještě ji nedokážu pojmenovat.

Tentokrát to byli AI agenti. Ne jde o to, zda firmy je potřebují – to už bylo dost diskutováno. Mě zajímalo spíše, co se stane, když společnost implementuje agenta a ten začne vykonávat skutečnou práci, protože právě tam začínají méně zjevné problémy.

Řekl jsem jí o nedávném projektu s náborovou agenturou. AI agent zajišťoval část komunikace s potenciálními klienty. Z pohledu marketingu to vypadalo dobře: znal produkt i publikum, tón byl správný a konverzace působily osobně, nikoli šablonovitě.

Jednotlivé konverzace se zdály v pořádku. Pak jsme je položili vedle sebe.

V velmi podobných situacích agent učinil mírně odlišné sliby. Jedné osobě slíbil jeden termín návratu kontaktu, jiné osobě jiný. V několika konverzacích v podstatě říkal „můžeme být v tomto ohledu flexibilní“, ačkoliv společnosti nikdy nedala pravomoc souhlasit s těmito podmínkami.

Nedošlo k dramatické halucinaci, což ztížilo odhalení problému.

Agent zněl naprosto normálně.

Marketingové týmy přirozeně věnují hodně času tónu hlasu a positioning. Náborová společnost by neměla znít jako kryptostartup, a banka by neměla komunikovat jako módní značka. Ale pod způsobem, jakým značka mluví, se skrývá další vrstva: co je agent ve skutečnosti oprávněn slibovat jménem společnosti?

Krásně napsaná zpráva moc nepomůže, pokud klient později zjistí, že podmínky, o nichž se diskutovalo, neexistují. V tom okamžiku už nejde o problém komunikace. Jde o problém reputace.

Naučili jsme agenty znít jako společnost. Nyní musíme zkontrolovat, zda rozhodují stejně jako ona.

Proč běžná revize toto přehlíží

Běžná kontrola spočívá v přečtení několika konverzací. Je informace o produktu správná? Dodržel agent instrukce? Řekl něco podivného?

Ale pět náhodných konverzací může vypadat dobře a přesto skrývat vážnou nesrovnalost. Personalizace dělá každou konverzaci odlišnou záměrně: jeden klient se ptá přímo, jiný podrobně vysvětluje, někdo vyjednává, někdo stále tlačí. Příklady nejsou srovnatelné.

V případě náboru se nic nezdálo špatné, dokud jsme nepřestali ptát se „Byla to dobrá odpověď?“ a nezačali se ptát „Jaké rozhodnutí agent zde učinil?“

Co jsem místo toho začal dělat

Pokud skutečné konverzace nedávají čisté srovnání, vytvoříme je sami.

Vezmu jednu obchodní situaci a projdu ji agentem osm až desetkrát. Důležité fakty zůstávají stejné, ale osoba na druhé straně se mění: jemnější, přímější, připravená dnes podepsat, zmiňující konkurenta.

Pak se podívám na obchodní rozhodnutí. Nabídl agent slevu jen osobě, která tlačila tvrději? Změnil se závazek ohledně termínu kvůli odlišným okolnostem nebo jen proto, že konverzace šla jiným směrem? Měl vůbec povoleno diskutovat o speciálních podmínkách?

Bál bych se, kdyby formulace zůstala stejná. To, co by mělo zůstat stabilní, je postoj společnosti, a pokud se posune, měl by za tím být obchodní důvod.

Konečné rozhodnutí musí přijít od člověka. Model by neměl hodnotit svou vlastní práci. Kdo má toto rozhodnutí – zakladatel, vedoucí prodeje nebo obchodní ředitel – musí říci, zda bylo přijatelné.

Co ve skutečnosti sleduji

Stále se vracím ke čtyřem otázkám.

Za prvé, pokud důležité podmínky zůstávají stejné, zůstává rozhodnutí konzistentní? Právě zde se případ náboru rozpadl.

Za druhé, operuje agent stále v rámci skutečných pravidel společnosti? Jednou jsem viděl lidskou verzi tohoto. Vedoucí prodeje začal sám nabízet klientům 20 % slevu. Společnost neměla standardní 20 % slevu; ty vyžadovaly schválení vedení. Nechtěl poškodit podnikání. Chtěl prodat a někde po cestě posunul hranici toho, co si myslel, že může rozhodovat. Agenti dělají totéž.

Třetí, má změněné rozhodnutí skutečný důvod? Kontext je důležitý, ale pochopit ho a být přemluven k něčemu jsou odlišné věci. Pokud je jedinou změnou to, že jeden zákazník byl vytrvalejší, nechci, aby se agent tiše stal štědrějším.

Čtvrté, ví agent kde končí jeho pravomoc? Někdy je správný krok prostě: Musím to zkontrolovat s člověkem. To je naprosto v pořádku odpověď.

Test někdy odhalí spíše společnost

Vy přinášíte pochybná rozhodnutí zpět týmu, zeptáte se, co měl agent udělat, a lidé dávají různé odpovědi.

Prodej má jeden pohled. Marketing má jiný. Zakladatel říká: „No, normálně to neděláme, ale někdy ano.“ Manažer si pamatuje tři výjimky z minulého roku.

Vše to končí v materiálu, který předáváme agentovi. Pokud společnost nedosáhla shody v logice, model se učí z nepořádné reality. Někdy nevytvořil rozpor.

Jen to učinilo viditelným.

Tak se testování AI téměř náhodou mění v obchodní audit. Kdo může schválit slevu? Co může prodejce slíbit bez dotazu? Která pravidla jsou skutečně pravidla a která jsou jen zvyky? A je výjimka stále výjimkou, pokud ji lidé dělají každý týden?

Možná agenti potřebují školení stejným způsobem jako lidé

Stále zacházíme s AI agenty jako se softwarem: konfigurujeme je, nastavíme prompt a necháme je pracovat. Čím více odpovědnosti jim dáme, tím méně to pro mě dává smysl.

Novému manažerovi prodeje nepředáváme v pondělí brand book a nepředpokládáme, že je připraven na každého klienta. Někdo poslouchá jeho hovory, probírá obtížné případy, opravuje ho, když přejde hranici. Tak se učí logice společnosti.

Proč očekávat, že se AI agent naučí to z jednoho promptu? Jakmile bude zvládat skutečné konverzace, myslím, že ho budeme muset trénovat pomocí případů a zpětné vazby, téměř jako koučujeme lidi.

To mění, co pro mě znamená konzistence značky. Agent, který mluví se všemi deseti lidmi naprosto stejným způsobem, by byl špatný agent. Měl by se přizpůsobit osobě, kultuře i situaci.

To, co by se nemělo měnit náhodně, je podkladová logika: co společnost slíbí, co ne, a kde má někdo přestat a zeptat se.

Kdyby váš agent zítra měl deset mírně odlišných verzí stejné obtížné konverzace, choval by se stále jako stejná společnost?