Почему слепое доверие к ИИ может стать вашим худшим решением

В 1979 году руководство по обучению IBM содержало простое, но поразительное предупреждение: “Компьютер никогда не может быть привлечен к ответственности; поэтому компьютер никогда не должен принимать решения по управлению”. И более чем через 45 лет это заявление кажется проигнорированным пророчеством.

В 2025 году ИИ не только помогает, но и принимает автономные решения, и во многих случаях он не только решает, но и руководит. Фактически, около 74% руководителей больше доверяют ИИ в вопросах бизнес-советов, чем своим коллегам или друзьям, 38% доверяют ИИ принимать бизнес-решения за них, и 44% следуют рассуждениям технологии, а не своим собственным прозрениям. Сдвиг очевиден; ИИ стал новым инстинктом.

Но есть проблема. Доверие к ИИ возможно только в том случае, если алгоритм стоит доверия. И когда доверие оказывается слепым, особенно в черных ящиках, которые мы не можем понять или проверить, это риск, замаскированный под прогресс. Как и в случае с человеческим руководством, уверенность без ответственности опасна, и когда ИИ ошибается, кто несет ответственность?

Когда инструмент становится боссом

Что началось как инструмент для оптимизации операций в офисе, теперь используется в основных бизнес-процессах. Но компании не только используют ИИ для поддержки человеческих решений; они теперь доверяют ИИ, в частности, генеративному ИИ (GenAI), принимать бизнес-решения, от стратегии бизнеса до обслуживания клиентов, финансового моделирования и многое другое.

Этот сдвиг понятен. ИИ не отвлекается, не забывает инструкции и не позволяет эмоциям затуманивать его суждение. Для многих компаний это предлагает привлекательную альтернативу рискам человеческой ошибки. Однако остается ключевой вопрос: можем ли мы доверять ИИ быть боссом и принимать решения самостоятельно?

Это не простой ответ, но один из способов посмотреть на это – как мы оцениваем доверие людей: по их компетентности, надежности и ясным намерениям. Те же принципы применяются к ИИ.

Чтобы быть доверенным, система ИИ должна обеспечивать результаты, которые являются точными, своевременными и подходящими. Но уровень доверия и допустимая ошибка варьируются в зависимости от контекста. Например, когда диагностируется рак по медицинским изображениям, планка для неудачи очень низка. Напротив, когда генерируются идеи для маркетинговой кампании, есть больше места для экспериментов.

Мы видели, как ИИ используется для принятия автономных решений в таких областях, как одобрение кредитов, когда банки используют алгоритмы для определения права на получение кредита в течение секунд. Розничные продавцы используют ИИ для управления запасами и ценами без человеческого вмешательства. Но мы также видели неудачи – как самоходные автомобили неправильно оценивают условия на дороге.

Одна предостерегающая история показывает риски слишком большого доверия к ИИ без надлежащего надзора. Дерек Мобли – черный мужчина старше 40 лет – подал заявку на более чем 100 позиций через систему ИИ Workday с 2017 года и был отвергнут каждый раз. Он обвинил систему в дискриминации по возрасту и расе. В мае 2025 года суд разрешил коллективный иск. Класс включает всех заявителей старше 40 лет, которые подали заявку через Workday с сентября 2020 года и были отклонены на основе рекомендаций ИИ.

Этот пример делает важную точку: ИИ не обладает эмоциональным интеллектом, моральным рассуждением или естественным чувством справедливости. И поскольку ИИ переходит от помощника человека к независимому принятию решений, теперь есть пустота ответственности. Когда алгоритмы разрешены работать без человеческих проверок и балансов, они могут и делают плохие решения и подкрепляют существующие предубеждения.

Вопрос вокруг черных ящиков

Черные ящики – когда система и логика ИИ не полностью видны – становятся все более распространенными. Хотя они могут иметь видимые слои, разработчики и пользователи все равно не могут увидеть, что происходит на каждом слое, что делает их непрозрачными.

Например, ChatGPT – это черный ящик, поскольку даже его создатели не уверены, как он работает, поскольку он был обучен на таких больших наборах данных. Но из-за отсутствия прозрачности, когда-либо ли можно доверять модели ИИ без полного понимания того, как она работает?

Короче говоря, нет: галлюцинации ИИ становятся хуже. Это означает, что в высоких ставках сценариев, таких как финансовые решения, юридические советы и медицинские прозрения, ИИ требует тщательной проверки, сверки и человеческого надзора.

Иск Disney и Universal, поданный в июне 2025 года, подкрепляет эту точку. Студии утверждают, что инструменты GenAI были обучены на защищенных авторским правом материалах для создания нового контента без согласия. Этот случай подчеркивает новую реальность: когда компании развертывают модели ИИ, которые они не полностью понимают, они могут быть привлечены к ответственности за решения, принятые. И невежество не является защитой; это ответственность.

Однако мы часто доверяем сложным системам, которые мы не понимаем. Например, большинство пассажиров не могут объяснить физику полета, но люди садятся в самолеты с уверенностью, потому что мы построили доверие через повторное воздействие, коллективный опыт и сильную историю безопасности.

Та же логика может снова применяться к ИИ. Это неразумно ожидать, что каждый будет понимать, как работают большие языковые модели. Но доверие не строится на понимании; оно требует знакомства, прозрачности об ограничениях и доказанной модели надежной производительности. Инженеры по аэрокосмической технике знают, какие тесты необходимо провести и как выглядят ошибки, и мы должны требовать того же от поставщиков GenAI. Основополагающий принцип ИИ должен быть доверие, но проверка.

Кроме того, бизнес-лидеры часто считают, что ИИ будет серебряной пулей, которая решит все их бизнес-проблемы. Однако этот миф преследует многие компании при интеграции ИИ. Лидеры могут предпочитать сложные и совершенные модели, но более простое решение может быть лучше, если они провели анализ затрат и выгод. ИИ – это мощный инструмент, но он не подходит для каждой задачи. Компании должны признать проблему, прежде чем выбрать инструмент.

Восстановление доверия к ИИ

Хотя ясно, что слепое доверие к ИИ является проблемой, системы и алгоритмы ИИ могут быть величайшим инструментом, которым владеет бизнес – когда они используются безопасно.

Для бизнеса, стремящегося использовать инструменты ИИ, первое, что необходимо исследовать, – это тщательная проверка поставщиков. Когда бизнес определил область, которая могла бы извлечь выгоду из эффективности ИИ, бизнес-лидеры должны оценить поставщиков не только на основе заявлений о производительности, но и на основе контроля управления. Это включает в себя рассмотрение того, как разрабатываются модели, есть ли инструменты объяснения, как отслеживается предвзятость и доступны ли аудиторские следы. Выбор поставщика с прозрачными процессами имеет важное значение для смягчения рисков с самого начала.

Возможно, наиболее важная точка при построении доверия к системам ИИ – обеспечение управления данными с чистыми, представительными и хорошо документированными наборами данных. Как говорится: “мусор на входе, мусор на выходе”. Следовательно, если данные неполны, предвзяты или неточны, даже самая совершенная модель будет производить ненадежные результаты.

Чтобы обеспечить готовность данных для ИИ, бизнес должен:

• Проверить существующие наборы данных на пробелы и дублирование, и проверить на источники предвзятости

• Стандартизировать форматы данных

• Внедрить политику управления данными, которая определяет владение и контроль доступа

Другим важным шагом для бизнес-лидеров является проведение стресс-тестирования в различных условиях. Хотя модель может работать хорошо в контролируемых тестах, важно понять ограничения модели при столкновении с новыми данными или входными данными, которые она не ожидала. Это почему важно тестировать ИИ в различных ситуациях, с разными типами пользователей, различными случаями использования и данными из разных периодов времени.

Валидация ИИ также является непрерывной задачей. По мере изменения данных с течением времени даже надежные модели ИИ могут потерять точность. Поэтому регулярный мониторинг имеет значение. Бизнес должен отслеживать, как модель работает день за днем: остается ли она точной? Или ложные положительные результаты увеличиваются? И как любой системе, которая требует ухода, модели должны быть повторно обучены регулярно с свежими данными, чтобы оставаться актуальными.

ИИ не является достоверным или недостоверным; он формируется данными, которые он учит, людьми, которые его создают, и правилами, которые управляют им. По мере развития ИИ от полезного инструмента до бизнес-советника лидеры имеют возможность не только использовать его, но и делать это вдумчивым и этическим образом. Если мы сделаем это правильно, ИИ не только будет мощным в будущем, но и будет ответственным, с ответственностью, четко лежащей на его разработчике и руководителях.