Как объяснимый ИИ укрепляет доверие и ответственность

Компании уже с головой окунулись во внедрение искусственного интеллекта, стремясь внедрить чат-боты, генераторы контента и инструменты поддержки принятия решений в своих операциях. Согласно McKinsey, 78% компаний используют ИИ как минимум в одной бизнес-функции.

Ажиотаж вокруг внедрения понятен — все видят потенциальную ценность. Но в этой спешке многие организации упускают из виду тот факт, что все технологии на основе нейронных сетей, включая каждую систему LLM и генеративного ИИ, используемую сегодня и в обозримом будущем, имеют существенный недостаток: они непредсказуемы и в конечном итоге неконтролируемы.

Как некоторые узнали, в результате могут возникнуть реальные последствия. У одного дилера Chevrolet, который разместил чат-бот на своем веб-сайте, клиент убедил бота на базе ChatGPT продать ему Chevy Tahoe стоимостью 58,195 1 долларов всего за XNUMX доллар. Другой клиент побудил того же чат-бота написать скрипт Python для сложных уравнений динамики жидкости, что он с радостью и сделал. Автосалон быстро отключил ботов после того, как эти инциденты стали вирусными.

В прошлом году, Air Canada проиграла в суде мелких тяжб когда она утверждала, что ее чат-бот, который предоставил пассажиру неточную информацию о скидке в связи с утратой близкого человека, «является отдельным юридическим лицом, которое несет ответственность за свои действия».

Эта непредсказуемость проистекает из фундаментальной архитектуры программ магистратуры права (LLM). Они настолько обширны и сложны, что невозможно понять, как они приходят к конкретным ответам, или предсказать, что они сгенерируют, пока они не дадут результат. Большинство организаций реагируют на эту проблему надёжности, не осознавая её в полной мере.

Здравый смысл заключается в том, чтобы проверять результаты ИИ вручную, что работает, но радикально ограничивает потенциал технологии. Когда ИИ низводится до роли личного помощника — составления текста, ведения протоколов совещаний, резюмирования документов и помощи с кодированием — он обеспечивает скромный прирост производительности. Недостаточно, чтобы произвести революцию в экономике.

Настоящие преимущества ИИ появятся, когда мы перестанем использовать его для помощи существующим рабочим местам и вместо этого перенастроим целые процессы, системы и компании на использование ИИ без участия человека на каждом этапе. Рассмотрим обработку кредитов: если банк предоставит кредитным специалистам помощника ИИ для обобщения заявок, они могут работать на 20–30 % быстрее. Но развертывание ИИ для обработки всего процесса принятия решений (с соответствующими мерами безопасности) может сократить расходы более чем на 90 % и исключить почти все время обработки. В этом разница между постепенным улучшением и трансформацией.

Путь к надежной реализации ИИ

Чтобы полностью раскрыть потенциал ИИ, не поддаваясь его непредсказуемости, требуется сложное сочетание технических подходов и стратегического мышления. Хотя несколько существующих методов предлагают частичные решения, каждый из них имеет существенные ограничения.

Некоторые организации пытаются смягчить проблемы с надежностью, подталкивая систему — тонко направляя поведение ИИ в желаемом направлении, чтобы он реагировал определенным образом на определенные входные данные. Антропные исследователи продемонстрировали хрупкость Этот подход был реализован путем выявления «особенности моста Золотые Ворота» в нейронной сети Клода и, искусственно усиливая ее, вызвал у Клода кризис идентичности. Когда его спросили о его физической форме, вместо того, чтобы признать, что у него ее нет, Клод заявил, что be сам мост Золотые Ворота. Этот эксперимент показал, насколько легко можно изменить основные функции модели, и что каждое изменение представляет собой компромисс, потенциально улучшающий один аспект производительности и ухудшающий другие.

Другой подход заключается в том, чтобы ИИ следил за другим ИИ. Хотя этот многоуровневый подход может отлавливать некоторые ошибки, он вносит дополнительную сложность и все еще не обеспечивает всеобъемлющей надежности. Жестко запрограммированные защитные ограждения представляют собой более прямое вмешательство, например, блокирование ответов, содержащих определенные ключевые слова или шаблоны, такие как прекурсоры ингредиентов для оружия. Хотя эти защитные ограждения эффективны против известных проблем, они не могут предвидеть новые проблемные результаты, которые возникают из этих сложных систем.

Более эффективным подходом является создание процессов, ориентированных на ИИ, которые могут работать автономно, с человеческим контролем, стратегически размещенным для выявления проблем с надежностью до того, как они вызовут проблемы в реальном мире. Вы бы не хотели, чтобы ИИ напрямую одобрял или отклонял заявки на кредит, но ИИ мог бы проводить первоначальную оценку для проверки операторами-людьми. Это может работать, но это полагается на человеческую бдительность для выявления ошибок ИИ и подрывает потенциальный рост эффективности от использования ИИ.

Строительство будущего

Эти частичные решения указывают на более комплексный подход. Организации, которые фундаментально переосмысливают, как выполняется их работа, а не просто дополняют существующие процессы с помощью ИИ, получат наибольшее преимущество. Но ИИ никогда не должен быть последним шагом в процессе или решении с высокими ставками, так какой же наилучший путь вперед?

Во-первых, ИИ создает повторяемый процесс, который будет надежно и прозрачно обеспечивать последовательные результаты. Во-вторых, люди проверяют процесс, чтобы убедиться, что они понимают, как он работает, и что входные данные являются подходящими. Наконец, процесс выполняется автономно — без использования ИИ — с периодическим человеческим обзором результатов.

Рассмотрим страховую отрасль. Традиционный подход может добавить помощников ИИ, чтобы помочь обработчикам претензий работать более эффективно. Более революционный подход будет использовать ИИ для разработки новых инструментов — например, компьютерного зрения, которое анализирует фотографии повреждений, или усовершенствованных моделей обнаружения мошенничества, которые выявляют подозрительные закономерности, — а затем объединить эти инструменты в автоматизированные системы, управляемые четкими, понятными правилами. Люди будут проектировать и контролировать эти системы, а не обрабатывать отдельные претензии.

Такой подход сохраняет человеческий надзор на критическом этапе, где он наиболее важен: проектирование и валидация самой системы. Он позволяет достичь экспоненциального роста эффективности, одновременно устраняя риск того, что непредсказуемость ИИ приведет к пагубным последствиям в отдельных случаях.

Например, ИИ может определять потенциальные индикаторы платежеспособности по кредиту в данных транзакций. Затем эксперты-люди могут оценивать эти индикаторы на предмет справедливости и строить явные, понятные модели для подтверждения их предсказательной силы.

Такой подход к объяснимому ИИ создаст более чёткое разделение между организациями, использующими ИИ поверхностно, и теми, кто трансформирует свою деятельность вокруг него. Последние будут всё больше выходить вперёд в своих отраслях, предлагая продукты и услуги по ценам, недоступным конкурентам.

В отличие от «черного ящика» ИИ, объяснимые системы ИИ гарантируют людям возможность осуществлять значимый контроль над применением технологии, создавая будущее, в котором ИИ расширяет человеческий потенциал, а не просто заменяет человеческий труд.