Nie możesz testować marki, która rozmawia z każdym inaczej

Kilka dni temu wdałem się w dość gorącą dyskusję z moją przyjaciółką Faniprize. To ona jest osobą, której opowiadam świeże historie z pracy, gdy wyczuwam w nich większe pytanie, ale nie potrafię jeszcze go nazwać.

Tym razem chodziło o agenty AI. Nie o to, czy firmy ich potrzebują – to już było wystarczająco omówione. Interesowało mnie raczej to, co się dzieje po wdrożeniu agenta w firmie i rozpoczęciu przez niego rzeczywistej pracy, ponieważ właśnie wtedy pojawiają się mniej oczywiste problemy.

Opowiedziałem jej o niedawnym projekcie z agencją rekrutacyjną. Agent AI zajmował się częścią komunikacji z potencjalnymi klientami. Z perspektywy marketingu wyglądało to dobrze: znał produkt i odbiorców, ton był właściwy, a rozmowy wydawały się osobiste, a nie szablonowe.

Poszczególne rozmowy wydawały się w porządku. Potem zestawiliśmy je kilka razem.

W bardzo podobnych sytuacjach agent składał nieco różne obietnice. Jednej osobie podał jeden termin kontaktu, a drugiej inny. W kilku rozmowach zasadniczo mówił „możemy tu być elastyczni” odnośnie indywidualnych warunków, mimo że firma nigdy nie dała mu swobody do akceptacji takich warunków.

Nie wystąpiła dramatyczna halucynacja, co utrudniało zauważenie problemu.

Agent brzmiał całkowicie normalnie.

Zespoły marketingowe naturalnie poświęcają dużo czasu na ton wypowiedzi i pozycjonowanie. Firma rekrutacyjna nie powinna brzmieć jak startup kryptowalutowy, a bank nie powinien komunikować się jak marka modowa. Jednak pod warstwą sposobu, w jaki marka mówi, istnieje kolejna warstwa: co agent naprawdę może obiecać w imieniu firmy?

Pięknie sformułowana wiadomość niewiele pomaga, jeśli klient później odkryje, że omawiane warunki nie istnieją. Wtedy nie jest to już problem komunikacji, lecz reputacji.

Nauczyliśmy agenty brzmieć jak firma. Teraz musimy sprawdzić, czy podejmują decyzje tak, jak ona.

Dlaczego tradycyjna ocena tego nie dostrzega

Standardowa kontrola polega na przeczytaniu kilku rozmów. Czy informacje o produkcie są prawidłowe? Czy agent przestrzegał instrukcji? Czy powiedział coś dziwnego?

Jednak pięć losowych rozmów może wyglądać dobrze i jednocześnie ukrywać poważną niespójność. Personalizacja sprawia, że każda rozmowa jest z założenia inna: jeden klient pyta bezpośrednio, inny rozwleka odpowiedź, ktoś negocjuje, ktoś inny ciągle naciska. Przykłady nie są porównywalne.

W przypadku rekrutacji nic nie wydawało się nie tak, dopóki nie przestaliśmy pytać „Czy to była dobra odpowiedź?” i nie zaczęliśmy pytać „Jaką decyzję podjął tutaj agent?”

Co zacząłem robić zamiast tego

Jeśli rzeczywiste rozmowy nie dają klarownych porównań, tworzymy je sami.

Biorę jedną sytuację biznesową i przepuszczam ją przez agenta od ośmiu do dziesięciu razy. Ważne fakty pozostają takie same, ale osoba po drugiej stronie zmienia się: łagodniejsza, bardziej bezpośrednia, gotowa podpisać dziś, wspominająca konkurenta.

Następnie przyglądam się decyzji biznesowej. Czy agent zaoferował zniżkę tylko osobie, która naciskała mocniej? Czy zobowiązanie czasowe zmieniło się z powodu różnych okoliczności, czy po prostu rozmowa poszła w innym kierunku? Czy w ogóle miał pozwolenie na omawianie specjalnych warunków?

Martwiłoby mnie, gdyby sformułowanie pozostało takie samo. To, co powinno pozostać stałe, to pozycja firmy, a jeśli się zmienia, powinien istnieć uzasadniony powód biznesowy.

Ostateczna ocena musi pochodzić od człowieka. Model nie powinien oceniać własnych prac domowych. Ktokolwiek podejmuje tę decyzję – założyciel, szef sprzedaży czy dyrektor handlowy – musi stwierdzić, czy była ona dopuszczalna.

Na co naprawdę patrzę

Wciąż wracam do czterech pytań.

Po pierwsze, jeśli ważne warunki pozostają niezmienne, czy decyzja pozostaje spójna? To właśnie w tym miejscu przypadek rekrutacji się rozpadł.

Po drugie, czy agent nadal działa w ramach rzeczywistych zasad firmy? Raz widziałem ludzką wersję tego. Kierownik sprzedaży sam zaczął oferować klientom 20% zniżki. Firma nie posiadała standardowej 20% zniżki; takie wymagały zatwierdzenia przez zarząd. Nie chciał zaszkodzić firmie. Chciał sprzedawać i w pewnym momencie przesunął granicę tego, co uważał, że może decydować. Agenci robią to samo.

Po trzecie, czy zmieniona decyzja ma prawdziwy powód? Kontekst ma znaczenie, ale zrozumienie go i bycie namawianym do czegoś to różne rzeczy. Jeśli jedyną zmianą jest to, że jeden klient był bardziej wytrwały, nie chcę, aby agent po cichu stał się bardziej hojny.

Po czwarte, czy agent wie gdzie kończy się jego uprawnienia? Czasami właściwym posunięciem jest po prostu: Muszę to sprawdzić z osobą. To w pełni satysfakcjonująca odpowiedź.

Test czasami ujawnia firmę zamiast tego

Ty przynosisz wątpliwe decyzje z powrotem do zespołu, pytasz, co agent powinien był zrobić, i ludzie dają różne odpowiedzi.

Sprzedaż ma jedno podejście. Marketing ma inne. Założyciel mówi: „Cóż, zwykle tego nie robimy, ale czasami tak.” Menedżer przypomina sobie trzy wyjątki z zeszłego roku.

Wszystko to trafia do materiału, który przekazujemy agentowi. Jeśli firma nie uzgodniła logiki, model uczy się na chaotycznej rzeczywistości. Czasami nie stworzył sprzeczności.

Po prostu to uwidoczniło.

W ten sposób testowanie AI zamienia się prawie przypadkowo w audyt biznesowy. Kto może zatwierdzić rabat? Co może sprzedawca obiecać bez pytania? Które zasady są naprawdę zasadami, a które to tylko nawyki? I czy wyjątek nadal jest wyjątkiem, jeśli ludzie robią go co tydzień?

Może agenci potrzebują szkolenia w taki sam sposób, jak ludzie

Wciąż traktujemy agenty AI jak oprogramowanie: konfigurujemy je, ustawiamy prompt i pozwalamy działać. Im więcej odpowiedzialności im przekazujemy, tym mniej ma to dla mnie sensu.

Nie wręczamy nowemu menedżerowi sprzedaży brand booka w poniedziałek i nie zakładamy, że jest gotowy na każdego klienta. Ktoś słucha jego rozmów, omawia trudne przypadki, koryguje go, gdy posuwa się za daleko. Tak uczą się logiki firmy.

Dlaczego oczekiwać, że agent AI nauczy się tego z jednego promptu? Gdy zacznie prowadzić prawdziwe rozmowy, myślę, że będziemy musieli go szkolić na podstawie przypadków i informacji zwrotnych, prawie tak jak coachujemy ludzi.

To zmienia dla mnie znaczenie spójności marki. Agent, który rozmawia z dziesięcioma osobami w dokładnie taki sam sposób, byłby fatalnym agentem. Powinien dostosowywać się do osoby, kultury i sytuacji.

To, co nie powinno zmieniać się losowo, to leżąca u podstaw logika: co firma obiecuje, czego nie obiecuje i w którym miejscu ktoś musi się zatrzymać i zapytać.

Jeśli twój agent miałby jutro dziesięć nieco różnych wersji tej samej trudnej rozmowy, czy nadal zachowywałby się jak ta sama firma?