Когда модель не является проблемой, а процесс ошибочен

Представьте себе обычный сценарий в финансовых услугах. Команда развертывает ИИ для проверки контрактов: сотни страниц, повторяющиеся пункты и рутинная работа, которая обычно занимает у сотрудников несколько дней. Модель определяет риски и ссылки на правильные пункты. Однако результат не складывается.

Оказывается, проблема заключается в папке с контрактами, где файлы сидят рядом с именами contract_v1.docx, contract_v2.docx, contract_final.docx, contract_final2.docx и contract_finalfinal_THIS_ONE.docx.

ИИ выбрал самый недавно сохраненный файл. Но этот файл был более старой версией, которую кто-то случайно открыл и автоматически сохранил на прошлой неделе.

Модель сделала именно то, для чего она была разработана. Однако процесс подвел ее.

Когда модель не является проблемой

В моей предыдущей статье, я утверждал, что неудачи ИИ часто начинаются вне модели – в управлении, собственности и структурах принятия решений, окружающих ее. Однако управление составляет только часть проблемы. Даже хорошо управляемая система ИИ будет бороться, если процесс под ней зависит от устаревших документов, неформальных исключений или путей утверждения, разработанных для гораздо более медленного темпа работы.

Когда система ИИ производит плохой результат, модель обычно является первым подозреваемым. Может быть, она вообразила, неправильно поняла задачу или получила слабый сигнал. Но иногда модель сделала именно то, что она должна была сделать. Неудача произошла в процессе, который снабжал ее информацией, или в организации, которая не могла действовать на основе ее вывода.

Развертывание ИИ выявляет проблемы процесса, которые всегда существовали, но были невидимы – как инструмент диагностики. Он раскрывает слабости, которые люди ранее компенсировали без размышлений: отсутствие контекста, неясная собственность и неформальные обходные пути, которые никогда не были задокументированы.

Скорость без емкости

ИИ не только ускоряет вывод. Он также ускоряет эскалации, запросы на принятие решений и обнаружение проблем. Модель флагирует аномалию в реальном времени, а не в пятницу вечером, когда кто-то наконец находит время, чтобы просмотреть журналы.

Организации не подготовлены к такому темпу. Процессы утверждения, пути эскалации, полномочия по принятию решений – все это было откалибровано для человеческой скорости. Когда ИИ производит выводы быстрее, чем организация может их усвоить, могут произойти три вещи:

• ИИ ждет решения, стирая прирост эффективности.
• Сотрудники игнорируют его вывод и возвращаются к тому, что, по их мнению, работает – старому процессу.
• Сотрудники принимают решения, не проверив их должным образом, потому что они чувствуют давление, чтобы поддерживать скорость.

Некоторые сотрудники возвращаются к ручным проверкам, потому что они кажутся более безопасными. Другие утверждают результаты, которые они не имели времени проверить, потому что они чувствуют давление, чтобы поддерживать скорость, обещанную технологией. В обоих случаях организация платит за более быстрый вывод, не ставя более быстрой при принятии ответственных решений.

Собственность также может стать неясной. Кто отвечает за проверку флагированной аномалии, принятие решения о том, что модель ошибается, и эскалацию проблемы, когда участвуют несколько команд? Без четкого ответа ИИ продолжает работать на фоне, производя выводы, которые никто真正 не владеет.

Это отражает более широкую организационную проблему. Как отмечает анализ Forbes от конца 2025 года, когда технологии меняют рабочие процессы быстрее, чем организация может их усвоить, результатом не является эффективность, а переработка. ИИ может ускорить одну стадию процесса, но его ценность все равно зависит от того, может ли окружающая организация усвоить и действовать на основе того, что он производит.

Невидимые знания, которые никто не написал

Представьте, что Мартин знает, что контракт компании с поставщиком включает исключение для платежей ниже 2000 евро. Это было согласовано устно три года назад, но никогда не было задокументировано. Когда компания развертывает ИИ для автоматизации утверждения платежей, система блокирует платеж – правильно, согласно письменному контракту.

Это неявные знания: организационные знания, которые живут в головах людей, а не в системах. В каждой компании есть такие знания. И большинство компаний не знают, сколько у них их.

ИИ может использовать только те знания, которые были сделаны доступными для него. Исключение Мартина не существует с точки зрения системы. Без этого контекста ее решение может быть технически правильным, но операционно неправильным.

McKinsey определил ту же проблему в развертывании агентских ИИ. Создание эффективных агентов ИИ требует от компаний кодифицировать экспертные практики, которые могут существовать в стандартных процедурах – или только как неявные знания в головах сотрудников. Другими словами: развертывание ИИ может быть первым случаем, когда организация видит, сколько процесс зависит от того, что знает Мартин.

Ложный источник истины

Самый опасный вывод ИИ не всегда является явно неправильным. Это может быть достоверный, профессионально представленный ответ, полученный из устаревшей информации.

На протяжении многих лет многие отделы работали с несколькими версиями одного и того же документа, потому что Джейн из юридического отдела всегда знала, какая из них является авторитетной. К сожалению, ИИ не знает.

Если ему не были даны правила для различения версий, система не имеет причины сомневаться в документе, который она получает. Итак, проверка ИИ проходит правильно – на неправильном документе. Это может быть хуже, чем отсутствие проверки вообще, потому что вывод выглядит достоверным.

Опытный сотрудник может знать, где находится истина, и может ориентироваться в хаосе. Однако система нуждается в надежном способе определить, какая информация является актуальной, утвержденной и релевантной.

Неявные знания, ненадежные документы и процессы утверждения, разработанные для человеческой скорости, кажутся отдельными проблемами. Но они имеют один и тот же корень. Ни одна из них не была создана ИИ, но ИИ делает их труднее игнорировать.

Вопросы, которые необходимо ответить перед созданием агента

Прежде чем развернуть агент ИИ, организация должна быть в состоянии ответить на три вопроса.

На какие решения зависит знание, которое никогда не было задокументировано?

Это означает определение исключений, обходных путей и суждений, которые опытные сотрудники применяют без сознательного описания их. Интервью alone могут не раскрыть все эти знания. Организациям может потребоваться наблюдать, как выполняется работа на самом деле, и сравнить ее с официальным процессом.

Как система определит информацию, которая является актуальной, утвержденной и релевантной?

Предоставление агенту доступа к большему количеству документов не решает проблему, если он не может различать утвержденный контракт и черновик или активную политику и устаревшую. Версионность, собственность, статус утверждения и правила хранения должны быть достаточно четкими, чтобы система могла определить, какой источник должен управлять ее решением.

Могут ли существующие процессы утверждения и эскалации поглотить объем и скорость его вывода?

Команды должны оценить не только то, сколько работы может выполнить агент, но и сколько проверок, исключений и эскалаций эта работа может создать. Фреймворк управления рисками ИИ NIST рекомендует четко определять роли и обязанности по человеческому надзору за системами ИИ. Эти роли и обязанности должны быть разработаны для ожидаемого объема до развертывания системы – а не после того, как сотрудники будут перегружены ею.

Эти вопросы не являются вопросами, которые необходимо ответить один раз и забыть. Процессы меняются, документы стареют, и не задокументированные исключения накапливаются снова. Поэтому готовность должна поддерживаться, а не устанавливаться только перед запуском.

Готовность к ИИ начинается с процесса

Готовность к ИИ не является только проверкой технологии. Это проверка того, сделала ли организация свои собственные процессы достаточно явными, чтобы технология могла работать внутри них.

Подготовка организации к ИИ включает в себя больше, чем выбор модели или создание агента. Это означает уточнение собственности, определение авторитетной информации, документирование исключений и переработку того, как выводы проверяются, эскалируются и выполняются.

Это трудная работа, но неудачное развертывание в конечном итоге заставит организацию сделать это в любом случае. Единственная переменная – время.