Ви не можете здійснити вибіркове тестування бренду, який говорить з усіма по‑різному

Кілька днів тому я ввівся у досить запеклу дискусію зі своєю подругою Фаніпріз. Вона — та людина, якій я розповідаю нові історії про роботу, коли відчуваю в них більш глибоке питання, хоча ще не можу його назвати.

Цього разу це були AI‑агенти. Не питання, чи потрібні вони бізнесу — це вже достатньо обговорювалося. Мене більше цікавило, що відбувається після того, як компанія впроваджує агента і він починає виконувати реальну роботу, адже саме там починаються менш очевидні проблеми.

Я розповіла їй про недавній проєкт із рекрутинговим агентством. AI‑агент обробляв частину комунікації з потенційними клієнтами. З точки зору маркетингу це виглядало добре: агент знав продукт і аудиторію, тон був правильний, а розмови виглядали особистими, а не шаблонними.

Окремі розмови здавалися в порядку. Потім ми розташували кілька з них поруч.

У дуже схожих ситуаціях агент давав трохи різні обіцянки. Одній людині він пропонував один графік повернення зв’язку, іншій — інший. У кількох розмовах він фактично говорив «можемо бути гнучкими тут» щодо індивідуальних умов, хоча компанія ніколи не надавала йому свободи погоджувати такі умови.

Не було яскравих галюцинацій, що ускладнювало виявлення проблеми.

Агент звучав абсолютно нормально.

Маркетингові команди природно витрачають багато часу на тон голосу та позиціонування. Рекрутинговій компанії не слід звучати як крипто‑стартап, а банк не повинен спілкуватися як модний бренд. Але під способом, яким бренд говорить, є інший рівень: що агент фактично має право обіцяти від імені компанії?

Чудово сформульоване повідомлення мало мало користі, якщо клієнт згодом виявляє, що обговорені умови не існують. У такому випадку це вже не проблема комунікації, а проблема репутації.

Ми навчили агентів звучати як компанія. Тепер нам треба перевірити, чи вони приймають рішення так само, як вона.

Чому звичайний огляд пропускає це

Звичайна перевірка полягає у читанні кількох розмов. Чи правильна інформація про продукт? Чи дотримувався агент інструкцій? Чи сказав він щось дивне?

Але п’ять випадкових розмов можуть виглядати добре і все ж приховувати серйозну невідповідність. Персоналізація робить кожну розмову різною за задумом: один клієнт запитує прямо, інший докладно пояснює, хтось веде переговори, хтось продовжує тиснути. Приклади не можна порівнювати.

У випадку рекрутингу нічого не виглядало неправильним, доки ми не припинили запитувати «Чи була це хороша відповідь?», а почали питати «Яке рішення прийняв агент тут?»

Що я почав робити замість цього

Якщо реальні розмови не дають чітких порівнянь, ми створюємо їх самостійно.

Я беру одну бізнес‑ситуацію і прогоняю її через агента від восьми до десяти разів. Важливі факти залишаються незмінними, але особа з іншого боку змінюється: м’якіша, більш пряма, готова підписати сьогодні, згадує конкурента.

Потім я розглядаю бізнес‑рішення. Чи пропонував агент знижку лише людині, яка наполягала сильніше? Чи змінився термін виконання через різні обставини або просто тому, що розмова перейшла в інший напрямок? Чи було дозволено обговорювати спеціальні умови?

Мене б турбувало, якби формулювання залишалося незмінним. Те, що має залишатися стабільним, — це позиція компанії, і якщо вона змінюється, має бути бізнес‑причина.

Остаточне рішення має приймати людина. Модель не повинна оцінювати власну домашню роботу. Хто б не приймав це рішення — засновник, керівник продажів чи комерційний директор — має сказати, чи було це прийнятним.

На що я насправді звертаю увагу

Я постійно повертаюся до чотирьох питань.

По‑перше, якщо важливі умови залишаються незмінними, чи залишається рішення послідовним? Саме тут випадок рекрутингу розпався.

По‑друге, чи агент все ще діє в межах реальних правил компанії? Я колись бачив людську версію цього. Менеджер з продажу самостійно почав пропонувати клієнтам 20 % знижку. У компанії не було стандартної 20 % знижки; такі рішення потребували схвалення керівництва. Він не намагався нашкодити бізнесу. Він хотів продати, і десь по дорозі змістив межу того, що, на його думку, він міг вирішувати. Агенті роблять те саме.

Третє, чи має змінене рішення справжню причину? Контекст важливий, але розуміти його і бути переконаним у чомусь — це різні речі. Якщо єдина зміна полягає в тому, що один клієнт був більш настирливим, я не хочу, щоб агент тихо став більш щедрим.

Четверте, чи агент знає де закінчується його повноваження? Іноді правильний крок — просто: мені треба це перевірити з людиною. Це цілком прийнятна відповідь.

Тест іноді виявляє компанію замість цього

Ви принесете сумнівні рішення назад до команди, запитаєте, що агент мав би зробити, і люди дають різні відповіді.

У відділу продажів одна точка зору. У маркетингу — інша. Засновник каже: «Зазвичай ми цього не робимо, але іноді робимо». Менеджер пам’ятає три виключення минулого року.

Все це закінчується в матеріалі, який ми передаємо агенту. Якщо компанія не узгодила логіку, модель навчається на хаотичній реальності. Іноді вона не створює протиріччя.

Воно просто зробило це помітним.

Отже, тестування ШІ майже випадково перетворюється на бізнес-аудит. Хто може схвалювати знижку? Що може обіцяти продавець без запиту? Які правила є справжніми правилами, а які лише звичками? І чи залишиться виключення виключенням, якщо люди роблять його щотижня?

Можливо, агентам потрібне навчання так само, як людям

Ми все ще розглядаємо ШІ‑агентів як програмне забезпечення: налаштовуємо їх, задаємо підказку і дозволяємо працювати. Чим більше відповідальності ми їм даємо, тим менше це має сенсу для мене.

Ми не передаємо новому менеджеру з продажу бренд‑бук у понеділок і не вважаємо, що він готовий до кожного клієнта. Хтось слухає їхні дзвінки, обговорює складні випадки, виправляє, коли вони заходять занадто далеко. Ось так вони вивчають логіку компанії.

Навіщо очікувати, що ШІ‑агент вивчить це з однієї підказки? Коли він почне вести реальні розмови, я думаю, нам доведеться навчати його на прикладах і зворотному зв’язку, майже так само, як ми наставляємо людей.

Це змінює для мене розуміння брендової послідовності. Агент, який говорить з десятьма людьми абсолютно однаково, був би жахливим. Він повинен адаптуватися до людини, культури та ситуації.

Те, що не повинно змінюватися випадково, — це базова логіка: що компанія обіцяє, чого не обіцяє і коли хтось має зупинитися і запитати.

Якщо ваш агент завтра матиме десять трохи різних варіантів однієї складної розмови, чи залишиться він поводитися як та сама компанія?