Чем более критичным является решение, тем меньше ИИ должен работать в одиночку

Агенты ИИ явно имеют проблему, которая маскируется под речь о их преимуществах. Агент говорит уверенно и пишет элегантно, обрабатывая информацию быстрее человека. Это может создать впечатление, что ИИ готов работать автономно. Однако на самом деле, как только решение涉ивает реальные деньги, ожидания клиентов и доверие, ИИ не должен быть автономной системой, поскольку он все еще нуждается в контроле взрослых.

Этот урок не был получен из теории – он был получен через тестирование, когда ИИ роскошного сервиса смог взаимодействовать с реальными клиентами.

Благонамеренный совет, который может быть опасным

На ранних этапах тестирования приложения для управления образом жизни, работающего на ИИ, система казалась впечатляющей на первый взгляд. Она могла составить список ресторанов, предложить варианты развлечений, составить маршруты для местных мероприятий и объединить все это в четкие и качественные рекомендации. Однако в примерно 15% случаев она просто придумывала детали – и делала это достаточно убедительно, чтобы быть правдоподобной.

Есть пример, который сделал эту проблему невозможной для игнорирования: ИИ порекомендовал ресторан в Дубае, который был закрыт восемь месяцев назад. Когда его спросили об этом, он не колебался и не признал ошибку. Агент настаивал на своей правоте, выдумывая отзыв и цитируя его.

В другой раз агент перепутал уличный бар с закусками с рестораном, отмеченным звездой Мишлена, потому что их названия были немного похожи. Если бы человек не проверил заказ, клиент консьерж-сервиса мог бы оказаться с ужином, который был совсем не таким, как планировалось.

Затем был инцидент с игрой в падел. Клиент спросил о спортивном клубе с кортами для падела. ИИ был готов направить его в место, где были только теннисные корты. Почему? Потому что где-то в источнике данных он нашел новостную статью, в которой говорилось, что корты для падела планируется построить, и он тонко превратил “планируется” в “уже существует”. Это именно то, что делает модели рискованным экспериментом в сфере услуг: даже если у ИИ нет полных и точных данных, он не останавливается – он импровизирует.

Галлюцинации ИИ как угроза бизнесу

Эта проблема не ограничивается только туристической индустрией – она лежит в самой реализации ИИ.

В пределах четко определенных параметров ИИ работает блестяще. Вы можете предоставить ему структурированные данные, актуальные API, и он превзойдет вас с большим отрывом. Он будет сортировать дела по семнадцати параметрам, мгновенно сканировать правила и генерировать готовые к использованию черновики за секунды. Но реальный мир далек от структурированной базы данных. Реальность полна исключительных случаев, устаревшей информации, неоднозначных предпочтений, неясной формулировки и операционных пробелов.

Именно здесь галлюцинации начинают представлять угрозу для бизнеса. Исследования неоднократно предупреждали, что галлюцинации могут мгновенно разрушить доверие, особенно когда клиент получает отполированную, но неточную информацию в момент принятия решения. Люди уже широко используют ИИ-планировщики, но доверие все еще отсутствует.

HNWI как окончательный тест для ИИ

Теперь давайте повысим ставки.

ИИ легко справляется со стандартными задачами – примером такой задачи является бронирование поездки из Лондона в Дубай: бизнес-класс, четырехзвездочный отель на три ночи. Реальный тест – это брифинг от HNWI: это наша годовщина. Она упомянула ресторан в Амальфи с синей дверью. Она любит пионы, но ненавидит розы, и она будет чувствовать себя более комфортно с водителем, говорящим на французском языке.

Такой запрос звучит элегантно, но с операционной точки зрения это минное поле. Агент ИИ, безусловно, предложит варианты, но он также может предоставить 40% неверной информации с полной уверенностью.

Клиенты в сегменте роскоши и HNWI раскрывают истинные ограничения ИИ быстрее, чем любой тест, поскольку их запросы не стандартизированы, а их ожидания эмоциональны, контекстно-зависимы и высоко специфичны. Чаще всего такие запросы трудно проверить автоматически.

Более того, неудача в обслуживании клиентов HNWI не закончится простым возвратом средств. Она повредит репутацию компании, поскольку рекомендации и доверие имеют решающее значение в этом сегменте.

Настоящие сотрудники сталкиваются с этими галлюцинациями каждый день. Они замечают ресторан, который оказывается закрытым в тот самый вторник, когда клиент приезжает, и быструю пятиминутную прогулку, которая на самом деле оказывается двадцатипятиминутной прогулкой в гору с багажом. Обученный специалист не пропустит бутик-отель, который выглядит идеально на фотографиях, но на самом деле покрыт лесами из-за ремонта.

Почему финтех требует точности, а не скорости

Мы можем применить ту же логику ко всему сектору финтех. ИИ может анализировать продукты, сравнивать варианты, выявлять аномалии и генерировать рекомендации быстро и эффективно. Но когда речь идет о деньгах, нет терпимости к случайным ошибкам.

Компании финтехuddenly платят цену за решения, принятые автоматизацией – в виде утерянного доверия клиентов. Успешные компании реализуют механизмы контроля на ранней стадии, а не вводят их ретроспективно после того, как ущерб уже нанесен; правильная модель включает в себя человеческий контроль.

Требуется дополнительный слой верификации между ИИ и клиентом – этап, на котором результат тщательно проверяется и защищается. В областях, где стоимость ошибки высока, этот слой становится основой продукта.

Более полезной концепцией является инфраструктура. ИИ должен сосредоточиться на структурированных задачах: исследовании, сортировке, сравнении и черновике. На этом этапе люди должны принимать окончательные решения. Со временем некоторые рабочие процессы станут достаточно стабильными, чтобы быть полностью автоматизированными. В этот момент, вероятно, будет возможно установить базовый уровень, но это должно быть сделано на основе доказательств, а не на вере.

Эти идеи могут показаться менее вдохновляющими, чем полностью автономное будущее, но именно так серьезные компании в конечном итоге добьются успеха.