Если бы ваш сотрудник вёл себя как ИИ, вы бы уже уволили его

Представьте, что вы только что наняли нового сотрудника, и большинство дней он эффективен, осведомлён, красноречив и уверен в себе. Он воплощает всё, на что вы надеялись, демонстрируя многие качества отличного работника.

Теперь представьте, что время от времени, когда ему задают вопрос, на который он не знает ответа, он просто придумывает что‑то. Это звучит плавно и убедительно, поэтому сначала вы принимаете это за чистую монету. Но когда это влияет на бизнес, вы возвращаетесь к этому сотруднику, ставите его под вопрос — и он не может объяснить свой мыслительный процесс или показать свои расчёты. Вы можете даже объяснить ему, что он ошибается, а он упорно отстаивает противоположную точку зрения и придумывает новые оправдания. После второго‑третьего такого случая вы, скорее всего, уволите его или, как минимум, сделаете предупреждение. Для большинства работодателей ответ почти наверняка «да».

Меня поражает, что компании сейчас передают критические рабочие процессы и принятие решений «сотруднику», который известен своим таким поведением. Единственная причина, по которой это остаётся без контроля, заключается в том, что этот «сотрудник» — программное обеспечение, а не человек.

Почему ИИ не ошибается так, как люди

Существует распространённое ошибочное предположение среди компаний, внедряющих ИИ, что если у технологии есть уровень ошибок, то это примерно та же проблема, что и человеческая ошибка, и её можно управлять тем же способом. Но проверки, обзоры и эскалация не всегда работают с большими языковыми моделями (LLM). Их делают звучать как люди, но если посмотреть, что скрывается под капотом, видно, что они вовсе не работают как мы.

Если звёздный сотрудник делает ошибку, мы считаем, что она произошла искренне — он делал всё возможное и просто ошибся. Такое случается. Если же он сознательно выдумывает ответ, чтобы скрыть незнание, и делает это повторно, мы рассматриваем это как проступок. Руководители знают, где сосредоточить контроль, потому что сложность задачи и допуски ошибок совпадают. Они могут попросить сотрудника объяснить своё рассуждение и поставить его под вопрос. Сотрудник обычно понимает, когда выходит за пределы своих возможностей, и признаёт это. После одной ошибки он учится, поэтому та же ошибка не повторяется в бесконечном цикле.

Системы ИИ переворачивают каждое из этих предположений. Их стандартный ответ на сбой — плавное, уверенное вымышленное решение. Они генерируют правдоподобный ответ, который просто неверен, что является именно тем поведением, которое бы закончило карьеру человека. LLM созданы для выдачи наиболее статистически вероятного продолжения текста, и когда они не знают ответа, они часто выдают что‑то, звучащее так, как будто может быть правильным. Исследователи OpenAI признали, что некоторый уровень фактических ошибок является статистической неизбежностью работы этих моделей, и что обучение вознаграждает уверенную догадку вместо честного признания неопределённости.

Где приходят нейросимволические подходы

Именно это и предназначены исправлять нейросимволические подходы. Они соединяют нейронные сети, которые отлично справляются с пониманием неструктурированного реального языка и данных, с детерминированным, основанным на правилах рассуждением. Это означает, что выводы системы вытекают из явной логики, которую можно проверить, а не возникают из процесса, который невозможно увидеть изнутри.

Без этого дополнительного слоя логики, который предоставляет нейросимволическая технология, ошибки ИИ не коррелируют со сложностью работы так, как у человека — они непредсказуемы. Они могут возникать при простых задачах, в то время как сложные проходят без проблем, что затрудняет определение, где лучше сосредоточить человеческий контроль. Их объяснения, когда они предоставляются, генерируются постфактум, а не дают реального описания того, как был получен вывод. Та же ошибка может повторяться бесконечно, потому что внутри системы нет никого, кто мог бы из неё учиться или нести за неё ответственность.

Доверие без понимания

Исследователи зафиксировали, что когда люди только знакомятся с системой, они склонны отказываться от неё после единственной заметной ошибки; но когда система им знакома, они переходят к другой крайней позиции — принимая её выводы просто потому, что привыкли к ним, а не потому, что эти выводы стали более надёжными. Редко наблюдается правильный уровень доверия, поскольку он зависит от того, понимают ли люди, когда система ИИ, вероятно, ошибается, и способны ли они распознать этот момент.

Это не значит, что ИИ нельзя доверять важной работе. Это значит, что мы готовы предоставить ему такой уровень доверия, который не предоставили бы человеку, отчасти потому, что нет очевидного индивида, которого можно привлечь к ответственности при сбое.

Если ИИ будет выполнять работу, требующую суждения, как ценный коллега, он должен соответствовать тем же базовым стандартам. Ответы должны быть проверяемыми, с видимым рассуждением, и принимать факт, что иногда лучшее, что он может сделать, — сказать «Я не знаю».