Вы не можете проводить выборочный тест бренда, который говорит со всеми по‑разному

Несколько дней назад я завёл довольно жаркую дискуссию со своей подругой Faniprize. Она тот человек, которому я рассказываю свежие истории о работе, когда ощущаю в них более крупный вопрос, но пока не могу его назвать.

В этот раз речь шла об AI‑агентах. Не о том, нужны ли они бизнесу — этот вопрос уже достаточно обсуждался. Меня больше интересовало, что происходит после того, как компания внедряет агента и он начинает выполнять реальную работу, потому что именно здесь начинаются менее очевидные проблемы.

Я рассказал ей о недавнем проекте с рекрутинговым агентством. AI‑агент обрабатывал часть коммуникации с потенциальными клиентами. С точки зрения маркетинга всё выглядело хорошо: он знал продукт и аудиторию, тон был правильным, а разговоры казались личными, а не шаблонными.

Отдельные разговоры выглядели нормально. Затем мы разместили их несколько рядом.

В очень похожих ситуациях агент давал слегка разные обещания. Он одному человеку обещал один срок обратной связи, а другому — другой. В нескольких разговорах он, по сути, говорил “мы можем быть гибкими здесь” относительно индивидуальных условий, хотя компания никогда не давала ему свободу согласовывать такие условия.

Не было драматической галлюцинации, что усложняло замечание проблемы.

Агент звучал полностью нормально.

Маркетинговые команды естественно тратят много времени на тон общения и позиционирование. Рекрутинговая компания не должна звучать как крипто‑стартап, а банк не должен коммуницировать как модный бренд. Но под тем, как бренд говорит, скрывается ещё один уровень: какие обещания агент действительно имеет право давать от имени компании?

Красиво написанное сообщение мало помогает, если клиент позже обнаруживает, что обсуждаемые условия не существуют. В этот момент проблема уже не в коммуникации, а в репутации.

Мы научили агентов звучать как компания. Теперь нам нужно проверить, принимают ли они решения так же, как она.

Почему обычный обзор упускает это

Обычная проверка заключается в чтении нескольких разговоров. Правильна ли информация о продукте? Следовал ли агент инструкциям? Сказал ли он что‑то странное?

Но пять случайных разговоров могут выглядеть безупречно и при этом скрывать серьёзную несогласованность. Персонализация делает каждый разговор по‑разному по замыслу: один клиент задаёт вопрос напрямую, другой подробно объясняет, кто‑то ведёт переговоры, кто‑то постоянно подталкивает. Примеры не сопоставимы.

В случае рекрутинга ничего не выглядело неправильным, пока мы не перестали спрашивать «Был ли это хороший ответ?» и не начали спрашивать «Какое решение принял агент здесь?»

Что я начал делать вместо этого

Если реальные разговоры не дают чистых сравнений, мы создаём их сами.

Я беру одну бизнес‑ситуацию и прогоняю её через агента восемь‑десять раз. Важные факты остаются теми же, но человек на другой стороне меняется: мягче, более прямолинейно, готов подписать сегодня, упоминает конкурента.

Затем я смотрю на бизнес‑решение. Предложил ли агент скидку только тому, кто настойчивее? Изменилась ли временная привязка из‑за разных обстоятельств или просто разговор ушёл в другое русло? Было ли вообще разрешено обсуждать специальные условия?

Меня бы беспокоило, если бы формулировка оставалась той же. То, что должно оставаться стабильным, — позиция компании, и если она меняется, должна быть бизнес‑причина.

Окончательное решение должно принимать человек. Модель не должна оценивать собственную работу. Кто бы ни принимал это решение — основатель, руководитель отдела продаж или коммерческий директор — должен решить, было ли это приемлемо.

На что я действительно смотрю

Я постоянно возвращаюсь к четырём вопросам.

Во‑первых, если важные условия остаются теми же, остаётся ли решение последовательным? Именно здесь в случае рекрутинга всё развалилось.

Во‑вторых, действует ли агент всё ещё в рамках реальных правил компании? Однажды я видел человеческую версию этого. Менеджер по продажам начал самостоятельно предлагать клиентам скидку 20 %. В компании не было стандартной скидки 20 %; такие скидки требовали одобрения руководства. Он не пытался навредить бизнесу. Он хотел продать, и где‑то по пути сместил границу того, что, по его мнению, он мог решать. Агенты делают то же самое.

В‑третьих, есть ли у изменённого решения подлинная причина? Контекст имеет значение, но понимание его и быть убеждённым в чём‑то — разные вещи. Если единственное изменение — более настойчивый клиент, я не хочу, чтобы агент тихо стал более щедрым.

В‑четвёртых, знает ли агент где заканчивается её полномочия? Иногда правильный ход просто: мне нужно уточнить это у человека. Это вполне приемлемый ответ.

Иногда тест раскрывает компанию вместо агента

Вы приводите сомнительные решения обратно команде, спрашиваете, что агент должен был сделать, и люди дают разные ответы.

У отдела продаж одно мнение. У отдела маркетинга — другое. Основатель говорит: «Ну, обычно мы этого не делаем, но иногда делаем». Менеджер вспоминает три исключения из прошлого года.

Всё это оказывается в материале, который мы передаём агенту. Если компания не согласовала логику, модель учится на хаотичной реальности. Иногда она не создавала противоречие.

Это просто сделало его видимым.

Таким образом, тестирование ИИ почти случайно превращается в бизнес‑аудит. Кто может одобрить скидку? Что продавец может пообещать без согласования? Какие правила действительно являются правилами, а какие — лишь привычками? И остаётся ли исключение исключением, если люди делают его каждую неделю?

Возможно, агентам тоже требуется обучение, как и людям

Мы всё ещё относимся к ИИ‑агентам как к программному обеспечению: настраиваем их, задаём запрос и позволяём работать. Чем больше ответственности мы им даём, тем меньше это для меня имеет смысла.

Мы не выдаём новому менеджеру по продажам бренд‑бук в понедельник и не считаем его готовым к каждому клиенту. Кто‑то прослушивает его звонки, обсуждает сложные случаи, исправляет, когда он заходит слишком далеко. Так они усваивают логику компании.

Зачем ожидать, что ИИ‑агент выучит это из одного запроса? Как только он начнёт вести реальные беседы, я считаю, нам придётся обучать его на примерах и обратной связи, почти так же, как мы наставляем людей.

Это меняет моё представление о том, что такое согласованность бренда. Агент, который разговаривает с десятью людьми абсолютно одинаково, будет плохим агентом. Он должен адаптироваться к человеку, культуре и ситуации.

То, что не должно меняться случайно, — это базовая логика: что компания готова обещать, чего не будет, и где кто‑то должен остановиться и спросить.

Если ваш агент завтра будет иметь десять слегка разных вариантов одной и той же сложной беседы, будет ли он всё ещё вести себя как одна и та же компания?