Человек в цикле не является управлением

Очевидный ответ на риски ИИ – “поместить человека в цикл“. Но эта фраза скрывает сложную часть.

Человек в цикле работает только в том случае, если цикл спроектирован. В противном случае, человек становится одним из трех провалов:

• Бутылочным горлышком, потому что проверка вывода ИИ занимает столько же времени, сколько ручная работа.
• Резиновой печатью, потому что проверяющий перегружен, не может увидеть доказательства, не понимает деловой контекст и нажимает кнопку одобрения, чтобы поддерживать очередь.
• Или третья неудача: зона смятия. Добавляя человека в цикл, учреждение назначает ответственного человека, но не дает ему реального контроля, времени, полномочий, возможности остановить систему и пути к изменению следующего запуска. Последствие падает на человека, а решение остается неизменным.

Именно здесь разговор вокруг корпоративного ИИ идет не так. Мы говорим о том, должен ли человек проверять работу, но не о том, как эта проверка спроектирована. Мы предполагаем, что добавление человека создает управление. Это не так. Управление зависит от того, имеет ли проверяющий значимый контроль, значимую видимость и возможность улучшить систему после принятия решения.

Проверка человека ценна, но только тогда, когда она позиционируется там, где суждение имеет значение, и поддерживается достаточным контекстом, чтобы сделать это суждение осмысленным.

Валидационные ворота – это больше, чем шаг проверки

Ворота – это не кнопка паузы. Это интерфейс проверки.

Когда агент или автоматизация производит предложение – проект ответа, рекомендуемое действие, классификацию, авторизацию платежа, маршрутизацию дела, пакет возврата или письмо об отказе – проверяющий должен сразу понять, что происходит и почему.

Настоящие валидационные ворота должны показывать, что важно: предложенное действие, источники, стоящие за ним, проверенные правила, деловой переход, который произойдет, полномочия, используемые для этого, запись аудита, которая будет написана, неопределенность или исключение, которое вызвало проверку, и доступные варианты: одобрение, редактирование, отклонение или эскалация.

Каждый из этих элементов существует по какой-то причине. Предложенное действие объясняет, что система намерена сделать. Поддерживающие доказательства объясняют, почему. Правила и полномочия показывают, соответствует ли рекомендация корпоративной политике. Неопределенность говорит проверяющему, почему работа достигла человека в первую очередь. Вместе они превращают проверку из угадывания в проверку.

Если проверяющему приходится восстанавливать все это вручную, ворота не построены.

Цель ворот не только в том, чтобы остановить ошибки до того, как они произойдут. Его вторая цель более важна. Она захватывает суждение учреждения.

Это то место, где корпоративное развертывание начинает нарастать. Каждое реальное одобрение, редактирование, отклонение или эскалация захватывает суждение учреждения – но только если ворота захватывают почему.

Одобрения не являются данными, но проверки являются.

Резиновая печать захватывает ничего полезного. Проверенный, отредактированный, отклоненный или эскалированный решение с кодом причины захватывает сигнал, который следующая версия системы может выучить. Если проверяющий нажимает кнопку одобрения, не глядя, система ничего не учит.

Со временем эти суждения становятся одним из наиболее ценных активов организации. Они раскрывают, где политики неясны, где рабочие процессы постоянно ломаются, где исключения возникают чаще всего, и где автоматизация должна стать более уверенной – или более ограниченной. Цель не только в том, чтобы автоматизировать больше работы. Это улучшение качества будущих решений путем захвата того, как опытные люди осуществляют суждение сегодня.

Ответственность требует больше, чем просто назначенного владельца

Это различие меняет то, как учреждения должны думать об ответственности.

Ворота недостаточно. Назначенный владелец недостаточно. Журнал аудита недостаточно.

Ответственность требует получения последствий: ошибка должна приземлиться где-то, где можно изменить будущее поведение.

До развертывания ИИ в значимой работе учреждения должны задать пять вопросов:

1. Кто получит последствия, если это действие неправильно?
2. Имел ли этот человек или система значимый контроль до действия?
3. Мог ли ответственный владелец проверить, ограничить, переопределить или остановить агента или автоматизацию?
4. Пропорционально ли ответственность контролю, который владелец фактически имел?
5. Что изменится до следующего запуска: навык, правило, разрешение, рабочий процесс, автоматизация, валидационные ворота, код причины, обучение или класс доверия?

Человеческие ворота без значимого контроля не являются управлением. Это зона смятия.

Цикл не закрывается, пока захваченное суждение не изменит что-то: навык, правило, разрешение, порог эскалации, автоматизацию, тест, интерфейс проверки, план обучения, выборку аудита или класс доверия. Последствие, которое не изменит следующий запуск, является только инцидентом, а не обучением. Учреждения улучшаются, когда каждая значимая проверка изменит следующую версию системы, будь то уточнение политики, укрепление разрешений, улучшение автоматизации или укрепление опыта проверки.

Ограничители предотвращают неудачи. Оценки строят доверие.

Учреждения также должны различать ограничители и оценки. Они решают разные проблемы, которые требуют решений.

1. Ограничители обеспечивают поведение во время выполнения. Проверки схем, блокировщики небезопасных параметров, проверки разрешений, редактирование ПII, защита от инъекций запросов и ограничения использования инструментов существуют, чтобы предотвратить небезопасное поведение до того, как оно произойдет.
2. Оценки измеряют производительность во времени. Они исследуют качество, дрейф, выбор инструмента, качество эскалации, стоимость, задержку и соблюдение политики. Они говорят учреждению, заслуживает ли система доверия.

Одно защищает текущее решение. Другое улучшает будущие решения.

Ограничители и оценки служат разным целям, и так же делают люди, ответственные за них. Платформа обеспечивает соблюдение политики. Операторы оценивают результаты. Вместе они создают петлю обратной связи, которая позволяет системе улучшаться без жертвования управлением.

Система извлекает политику, запись претензии, поддерживающие документы, предыдущие дела и организационную книгу рецептов. Она готовит пакет триажа, предлагает степень тяжести, определяет отсутствующие доказательства и открывает подслучай мошенничества, если правила требуют этого. Регулировщик видит предложенное движение, поддерживающие доказательства, код причины, запись аудита и последствие одобрения. Вместо того, чтобы восстанавливать дело из нескольких систем, проверяющий может сосредоточиться на проверке рекомендации самой по себе. Только после проверки автоматизация обновляет дело, выдает платеж, запрашивает дополнительную документацию или закрывает работу.

Поток претензий демонстрирует, как это работает на практике. Агент не запомнил процесс. Он действовал внутри опубликованной карты.

Архитектура должна следовать работе

То же принцип применяется независимо от того, как работа организована. Не каждая корпоративная проблема имеет одинаковый вид, и управление должно отражать это. Некоторая работа начинается с цели. Некоторая начинается с дела; некоторые начинаются с стабильного рабочего процесса. Архитектура должна следовать работе, а не наоборот.

Развертывание, возглавляемое целью, начинается с результата, а не с предписанного пути. Решите эту эскалацию клиента. Снизьте риск отказа от этой учетной записи. Расследуйте этот сигнал мошенничества. Подготовьте этот план продления. Пункт назначения ясен, но маршрут может измениться, когда появляется новая информация. Главный агент разбивает работу, использует утвержденных агентов и инструменты, вызывает утвержденную автоматизацию и назначает человеческую работу в рамках управляемых границ. Его сила заключается в адаптивности. Его риск заключается в том, что адаптивность без четких ограничений становится непредсказуемостью.

Вот почему гибкие системы требуют более сильного управления, а не меньше. Четкие границы рабочего процесса, разрешения автоматизации, права принятия решений, записи аудита и правила эскалации становятся более важными, когда ИИ становится более способным. Чем больше свободы имеет агент, чтобы определить свой собственный путь, тем более тщательно учреждение должно определить границы, в которых он может действовать.

Корпоративный ИИ не будет успешным, потому что каждое решение имеет человека где-то в цикле.

Он будет успешным, потому что учреждения учатся строить цикл сам по себе.