Самая плохая первая работа, которую можно дать агенту, – это видимая

Компании обычно выбирают первую работу агента одинаково. Кто-то спрашивает, что может сделать ИИ для нас, и в комнате сходятся на работе, которую все могут представить: написать наши блог-посты, ответить на вопросы наших клиентов, обработать входящие сообщения. Это самая видимая работа в здании, поэтому это та работа, которая приходит на ум.

Через шесть месяцев пилотный проект тихо сворачивается, и вывод такой, что технология не была готова. Технология была нормальной. Проблема была в выборе работы, и именно видимость сделала ее плохой.

Три вещи, которые делают работу трудной, и видимые работы имеют все три

Работа легко выполняется агентом, когда есть проверяемый правильный ответ, когда плохой результат стоит дешево, и когда кто-то в здании уже выполняет эту работу и может отличить хорошее от плохого на взгляд.

Написание текстов для клиентов не проходит первый тест.

Не существует правильного ответа на вопрос “хороший ли этот блог-пост”, есть только предпочтение, которое держит человек, который может распознать неправильную версию сразу и с трудом указать правильную заранее. Этот пробел – это место, где на самом деле живут большинство жалоб на качество.

Любая работа, связанная с клиентами, не проходит второй тест.

Плохой внутренний отчет стоит кого-то четыре минуты. Плохой ответ клиенту стоит отношений и иногда разговора о соблюдении правил. Стоимость ошибки определяет, сколько надзора требуется за работой, и надзор – это дорогая часть работы агентов.

И видимые работы обычно не проходят третий тест так, что никто не замечает этого до поздна.

Человек, который будет судить результат, – это старший человек, чье внимание – это самое редкое в компании. Передача ему очереди на проверку предполагает перенос работы на ваш самый дорогой календарь.

Как выглядят успешные первые работы

Они скучны. Это закономерность, и она достаточно последовательна, чтобы можно было спланировать.

Когда NTT DATA Group расширила инструменты агентов по всей организации, одна из первых побед, которая изменила внутреннее мнение, была внутренней инженерной работой, а не опытом клиента. Описание развертывания OpenAI описывает автоматизацию сложного анализа инцидентов для критической системы – работы, которая ранее требовала пяти опытных инженеров и занимала три дня, теперь выполненной за 30 минут. Этот результат, по словам описания, “быстро привлек внимание старших руководителей и стал одним из первых доказательств”.

Посмотрите на форму этой работы, а не на заголовок. Анализ инцидентов имеет правильный ответ, и это ответ, который организация может проверить, потому что работа уже существовала, и люди, которые ее выполняли, все еще есть.

Это повторяется. Она находится внутри систем компании, а не перед клиентом. И стандарт “сделано” – это вопрос, который имеет обоснованный ответ, а не вопрос вкуса.

Сравните это с работой, которую большинство компаний номинируют первой. Блог-пост не имеет правильного ответа, нет внутреннего судьи, чье время дешево, и есть аудитория.

Последовательность имеет значение так же, как и выбор. NTT DATA сначала развернула ChatGPT Enterprise по всей компании, и в内部 опросе более 96% респондентов заявили, что они удовлетворены им, и более 95% сообщили о повышении производительности.

Через повседневное использование, по словам описания, “сотрудники построили опыт работы с ИИ для исследований, написания и создания контента” – и эти привычки “подготовили организацию к следующему шагу: делегированию明确定义рованных задач”.

Уроки лидерства, опубликованные вместе с этим деловым случаем, начинаются именно с этого: сделать ИИ частью повседневной работы, помочь людям построить привычки к сотрудничеству с ним. Компания построила широкую базу знакомства с результатами ИИ до того, как работа по анализу инцидентов началась.

Эта фаза построения привычек делает больше работы, чем кажется. Когда общее инструментирование ИИ становится обычным, люди начинают применять его далеко за пределами границ своих должностей, и мой вывод такой, что это место, где появляются хорошие кандидаты на работу – от людей, которые выполняют работу, а не от планирующего заседания. Это также место, где скептицизм работает, и как сотрудники на переднем крае действительно чувствуют о этих инструментах – это не то, что может решить один проект с высокими ставками.

Исключение подтверждает правило, если прочитать весь случай

Очевидное возражение заключается в том, что агенты, работающие с клиентами, действительно работают. Они работают. Стоит прочитать один из них внимательно.

Агент аватари, созданный с Yamada Holdings, – это одна из самых видимых работ агента – 24/7 многолингвальная поддержка по голосу и тексту, направляющая покупателей от открытия продукта до принятия решений о покупке. В двухнедельной публичной кампании на онлайн-магазине Yamada Denki около 30 000 человек использовали его, и 92% ответов на опрос были положительными. Реальный результат, реальные клиенты, передний офис.

Стоит быть прямым в одном: описание OpenAI называет это “его первой большой возможностью принести эти уроки直接 клиентам”. Итак, это был первый агент, работающий с клиентами, аватари, что звучит как аргумент против всего вышесказанного.

Посмотрите, на что ссылаются “эти уроки”. Аватарин – это компания по обслуживанию клиентов на основе ИИ, вышедшая из ANA Holdings, и в описании говорится, что она работала с OpenAI “долго до проекта Yamada Denki, используя API OpenAI для распознавания речи, анализа запросов и обучения сотрудников”.

Ответы агента основаны на системе, дополненной извлечением, что означает, что ответы привязаны к фактической информации о продукте, а не к памяти модели. Знания службы поддержки клиентов ритейлера были намеренно закодированы в потоках разговора и подсказках. Ограничители помогают сохранить разговор на тему опыта покупки. И OpenAI работал напрямую с командой, чтобы структурировать подсказки и снизить стоимость работы круглосуточной голосовой службы.

Итак, это была первая работа с клиентами для компании, чей весь бизнес – это обслуживание клиентов на основе ИИ, прибывшая после предыдущей работы с инструментами того же поставщика, с основой, закодированными знаниями области, ограничителями и людьми поставщика, которые помогали. Это реальная цена видимой работы, и почти ничего из этого не видно в результате.

Прочитайте два отчета вместе, и они станут уроком последовательности, а не двумя историями успеха. Одна организация заработала право на делегирование明确定義рованных задач, сделав ИИ обычным сначала. Другая достигла работы с клиентами как специалист, на основе компонентной работы, которую она уже выполнила. Ни одна из них не начала там, где хочет начать планирующее заседание.

Правило выбора

Оцените каждую кандидатскую работу по четырем вопросам, прежде чем выбрать.

1. Есть ли проверяемый правильный ответ?

Не хороший ответ, а правильный. Реконциляция, классификация, извлечение и анализ с выводом все проходят. Все, что оценивается по вкусу, не проходит, по крайней мере не сначала.

2. Что стоит одна плохая salida?

Если честный ответ включает клиента, регулирующего органа или число в отчете, работа требует такой архитектуры и рельсов проверки, которую вы, скорее всего, еще не построили.

3. Оправдывает ли объем настройку?

Работа, выполняемая дважды в месяц, никогда не окупит недели итераций. Экономика возникает из повторения, и повторение – это то, что учит, где вещь ломается.

4. Кто уже выполняет эту работу и может сразу увидеть плохий результат?

Этот человек – ваш проверяющий, и ему нужно иметь время. Если единственный квалифицированный судья – это основатель, выберите другую работу.

Работа, которая хорошо справляется со всеми четырьмя, почти никогда не является той работой, которая возникла на заседании. Это обычно что-то, что команда выполняла вручную в течение двух лет и перестала жаловаться, потому что они больше не замечают это как работу.

Где это оставляет вас

Возьмите список работ, которые вы рассматриваете, и оцените их честно на этой неделе. Кандидат, который выиграет, будет казаться разочарованием. Автоматизируйте его все равно.

Цель первой работы агента не заключается в том, чтобы вернуть ценность. Это то, что ваша организация учится, что делают эти системы хорошо, где они ломаются и что стоит на самом деле надзор за ними, на работе, где ошибки допустимы. Это знания – то, что делает вторую работу реальным решением, а не догадкой, и третья работа – это обычно то место, где деньги.

Выберите скучную работу. Заработайте видимую.