Если бы ваш сотрудник вёл себя как ИИ, вы бы уже уволили его

Представьте, что вы только что наняли нового сотрудника, и большинство дней он эффективен, осведомлён, красноречив и уверен в себе. Он воплощает всё, на что вы надеялись, демонстрируя многие качества отличного работника.

Теперь представьте, что время от времени, когда ему задают вопрос, на который он не знает ответа, он просто придумывает что‑то. Это изложено бегло и убедительно, поэтому сначала вы принимаете это за чистую монету. Но когда это влияет на бизнес, вы возвращаетесь к этому сотруднику, оспариваете его ответ — и он не может объяснить свой мыслительный процесс или показать ход своих рассуждений. Вы можете даже объяснить ему, что он ошибается, а он упорно отстаивает противоположную точку зрения и придумывает новые выдумки в поддержку своих слов. После второго‑третьего такого случая вы, скорее всего, уволили бы его или, как минимум, сделали бы предупреждение? Для большинства работодателей ответ почти наверняка «да».

Меня поражает, что компании сейчас передают критические рабочие процессы и принятие решений «сотруднику», который, как известно, ведёт себя именно так. Единственная причина, по которой это остаётся без контроля, заключается в том, что этот «сотрудник» — программное обеспечение, а не человек.

Почему ИИ не ошибается так, как люди

Существует распространённое ошибочное предположение среди компаний, внедряющих ИИ, что если у технологии есть уровень ошибок, то это примерно та же проблема, что и человеческая ошибка, и с ней можно справляться тем же способом. Но проверки, обзоры и эскалация не всегда работают с большими языковыми моделями (LLM). Они созданы так, чтобы их речь напоминала человеческую, но если посмотреть, что скрывается под капотом, видно, что они вовсе не работают как мы.

Если звёздный сотрудник делает ошибку, мы считаем, что она была непреднамеренной — он делал всё возможное и просто ошибся. Такое случается. Если же он сознательно выдумывает ответ, чтобы скрыть незнание, и делает это повторно, мы рассматриваем это как проступок. Руководители знают, где сосредоточить контроль, потому что сложность задачи и допуски ошибок совпадают. Они могут попросить сотрудника объяснить своё рассуждение и задать вопросы об этом рассуждении. Сотрудник обычно понимает, когда выходит за пределы своих возможностей, и признаёт это. После одной ошибки он учится, поэтому та же ошибка не повторяется в бесконечном цикле.

Системы ИИ переворачивают каждое из этих предположений. Их стандартный ответ на сбой — бегло и уверенно изложенный вымысел. Они генерируют правдоподобный ответ, который просто неверен, что является именно тем поведением, которое бы закончило карьеру человека. LLM созданы для выдачи наиболее статистически вероятного продолжения текста, и когда они не знают ответа, они часто выдают что‑то, звучащее так, как будто может быть правильным. Исследователи OpenAI признали, что некоторый уровень фактических ошибок является статистической неизбежностью работы этих моделей, и что обучение вознаграждает уверенную догадку вместо честного признания неопределённости.

Где помогают нейросимволические подходы

Именно для исправления этого предназначены нейросимволические подходы. Они соединяют нейронные сети, которые отлично справляются с пониманием языка и данных реального мира, даже когда они плохо структурированы, с детерминированным, основанным на правилах рассуждением. Это означает, что выводы системы вытекают из явной логики, которую можно проверить, а не возникают из процесса, который невозможно увидеть изнутри.

Без этого дополнительного слоя логики, который предоставляет нейросимволическая технология, ошибки ИИ не коррелируют со сложностью работы так, как у человека — они непредсказуемы. Они могут возникать при простых задачах, в то время как сложные проходят без проблем, что затрудняет определение, где лучше сосредоточить человеческий контроль. Их объяснения, когда они предоставляются, генерируются постфактум, а не дают реального описания того, как был получен вывод. Та же ошибка может повторяться бесконечно, потому что внутри системы нет никого, кто мог бы извлечь из неё урок или нести за неё ответственность.

Доверие без понимания

Исследователи зафиксировали, что когда люди только знакомятся с системой, они склонны отказываться от неё после единственной заметной ошибки; но когда система им знакома, они переходят к другой крайней позиции — принимая её выводы просто потому, что привыкли к ним, а не потому, что эти выводы стали более надёжными. Редко наблюдается правильный уровень доверия, поскольку он зависит от того, понимают ли люди, когда система ИИ, вероятно, ошибается, и способны ли они распознать этот момент.

Это не значит, что ИИ нельзя поручать важную работу. Это значит, что мы готовы предоставить ему такой уровень доверия, который не предоставили бы человеку, отчасти потому, что нет очевидного индивида, которого можно привлечь к ответственности при сбое.

Если ИИ будет выполнять работу, требующую суждения, как ценный коллега, он должен соответствовать тем же базовым стандартам. Ответы должны быть проверяемыми, с видимым рассуждением, и ИИ должен принимать тот факт, что иногда лучшее, что он может сделать, — сказать «Я не знаю».