Четыре самых дорогостоящих провалов плохо протестированного ИИ

Когда компании развертывают ИИ без тщательного человеческого надзора, они по сути просят недетерминированную автоматизированную систему проверить себя.

Проблема не в том, что ИИ плох в тестировании. ИИ отлично справляется с задачами, которые были выполнены ранее, а именно следуя правилам, которые вы явно задали. Но провалы, которые фактически наносят ущерб вашему бренду, живут в пространствах, где человеческая оценка имеет наибольшее значение. Заллюцинация о политике возврата. Ответ бренда на чувствительную жалобу. Охранная барьер, который не выдерживает давления.

С учетом того, что 70% клиентов готовы переключиться после одной плохой интеракции с ИИ, ставки высоки. Однако большинство компаний поставляют ИИ, проверенный устаревшими или только автоматизированными инструментами, разработанными для детерминированного программного обеспечения. Этот стек никогда не был разработан для обнаружения провалов, которые фактически отпугивают людей.

По данным взаимодействий Teslio с командами предприятий, четыре режима провалов составляют большинство ущерба, видимого для клиентов. Ни один из них не обнаруживается только автоматизированным тестированием.

1. Охранные барьеры безопасности и безопасности, которые не действительно защищают

Клиент задает вашему чат-боту правильный вопрос правильным образом. Бот предлагает ему товар за 1000 долларов за 10 долларов. Или он раскрывает информацию, которую он绝 не должен раскрыть. Или он нарушает фундаментальное правило бизнеса, потому что никто не протестировал граничные условия.

Риск прост. Ущерб немедленный и публичный.

Фактическая проблема не только в автоматизации, хотя это часть проблемы. Охранные барьеры не стандартизированы, они должны быть адаптированы к вашему конкретному бизнес-контексту. И даже когда следуют лучшим практикам, охранные барьеры остаются уязвимыми. Техники, такие как “поэтические взломы“, показывают нам, что хорошо намеренные охранные барьеры могут быть манипулированы способами, которые их создатели никогда не предвидели. Вопрос, который компании должны задать, не “соблюдают ли наши охранные барьеры отраслевые стандарты?”, а скорее “какие новые способы могут быть манипулированы этой моделью?”

Это требует противоречивого мышления. Креативные, проникающие люди, которые понимают как дизайн охранного барьера, так и поверхность атаки. Тестирование границ, стресс-тестирование, задавание сложных вопросов. Это разница между охранным барьером, который проходит проверку, и охранным барьером, который действительно держит.

2. Провалы точности и бизнес-логики, скрытые в заллюцинациях

Реальность такова, что ИИ заллюцинирует. То, что я узнал, это то, что когда у вас есть экспертиза в области, вы сразу замечаете заллюцинацию. Вы видите прямо через нее.

Но вот критический недостаток полагания только на вашу внутреннюю команду: у них есть слепые пятна. Когда вы знаете продукт внутри и снаружи, вы знаете точно, какие вопросы задать, чтобы получить правильный ответ. Вы не можете найти неточности, если вы не ищете их. Внутренние команды знают, как продукт должен работать, а не как он фактически работает для реальных пользователей с разными ментальными моделями, контекстами и способами нарушения ваших предположений.

Именно здесь надзор со стороны людей, которые подходят к системе свежим взглядом, имеет значение. Они не только проверяют, что ИИ делает то, что вы ему сказали; они выявляют проблемы, которые могут быть интересны разным отделам, и подчеркивают области реального провала.

Когда компании начинают строить на основе основных крупных языковых моделей, когда они добавляют свои собственные процессы и рабочие потоки, требования к тестированию становятся еще более критическими.

3. Пробелы в удобстве использования и пользовательском опыте

Чувствует ли это правильно? Выглядит ли это правильно? Занимает ли обработка платежа немного слишком много времени? Соответствует ли ответ правильному тону для разочарованного клиента или правильному темпу для первого пользователя.

Это те вопросы, которые автоматизированные инструменты не могут ответить. И это те вопросы, которые имеют огромное значение для клиентов.

Есть фундаментальная разница между прохождением тестового набора и фактическим качеством. Интеракция ИИ может проверить каждый пункт в вашем критерии приемки и все равно быть воспринят как неправильный пользователем. Он может быть технически правильным, но организационно неуклюжим. Он может предоставить точную информацию в неправильном темпе или тоне.

Именно здесь человек в цикле необходим. Вам нужны люди, обученные распознавать, как ИИ терпит неудачу, тестирующие в регионах, где живут ваши клиенты, с устройствами и методами оплаты, которые они фактически используют. Кто-то, тестирующий на лучшем айфоне в Сан-Франциско, не имеет того же опыта, что и кто-то, тестирующий на среднем андроиде с плохим интернет-соединением в Джакарте. Без разнообразия в том, кто тестирует и где, вы получаете симулированные результаты, которые потерпят неудачу, как только ваш продукт встретит реальность.

Вам нужно, чтобы кто-то фактически использовал продукт, фактически думал о том, что значит опыт, фактически отталкивался, когда что-то не чувствовалось правильно.

4. Иллюзия проверенной экспертизы

Это самое тонкое провал, и, возможно, самое опасное. Когда компании развертывают ИИ без надлежащего тестирования, они часто полагаются на то, что ИИ усвоил достаточно знаний, чтобы правильно обработать область. Они предполагают, что поскольку ИИ может звучать уверенно в чем-то, он, вероятно, знает, о чем говорит.

Но есть другой аспект этого риска. Большинство людей, использующих функции ИИ, делают то же предположение. Они не сомневаются в выводе. Если он звучит авторитетно и не явно неправильно, они доверяют ему. Плохие медицинские советы. Неправильные юридические рекомендации. Неправильные финансовые рекомендации. Последствия усугубляются, когда пользователи предполагают, что ИИ правильный и не имеют причины сомневаться в нем.

ИИ очень хорош в знании того, что было сделано. Он не хорош в знании того, что должно быть сделано в новых ситуациях. Каждый бизнес имеет новые ситуации. Каждый продукт имеет граничные случаи. Каждое путешествие клиента имеет момент, когда правильный ответ – тот, который ИИ не был обучен давать.

Переопределение готовности к выпуску

Зрелая стратегия выпуска ИИ требует перехода за пределы автоматизированного мышления. Она включает в себя построение структурированной основы экспертизы человека в цикле.

• Инженерия: Эта команда должна владеть целостностью системы, определять, что такое провал на уровне модели и инфраструктуры, и где охранные барьеры должны находиться.
• Продукт: Руководители должны владеть границами решений, судя, какие решения ИИ может принимать самостоятельно, какие требуют человеческого одобрения, и какие он не должен трогать вообще.
• Дизайн и QA: Эти специалисты должны владеть пользовательским опытом, могут ли пользователи понять, что делает ИИ, могут ли они распознать, когда он неправильный, и имеют ли они значимые возможности для обращения, когда это так.

Нам нужно признать, что хотя ИИ может создавать невероятные trải nghiệm для наших клиентов, он не может быть своим собственным судьей и присяжным. Ответственность за качество ИИ – это организационная ответственность, распределенная по командам, основанная на человеческой экспертизе и основанная на реальном тестировании.