Управление ИИ: проблема для большинства, преимущество для немногих

Корпоративный ИИ накапливает риски быстрее, чем кто-либо может за них ответить. Агенты ИИ начинают затрагивать данные клиентов, код производства и решения, имеющие последствия для бизнеса, и в большинстве организаций они управляются контролями, разработанными для совсем другой эпохи технологий. В то же время внешняя поддержка, на которую могли бы опираться предприятия, истончается. Ведущие лаборатории ИИ сократили добровольные обязательства по безопасности, и регулирование остается фрагментированным по юрисдикциям. Бремя доверия ложится на компании, разрабатывающие ИИ, потому что в конечном итоге они будут страдать от негативных последствий, когда и если они возникнут.

Я занимаюсь стратегической работой по ИИ с компаниями почти во всех отраслях, и я разговариваю с генеральными директорами и советами директоров ежедневно. Постоянная закономерность, которую я вижу, заключается в следующем: развертывание ускоряется, в то время как инфраструктура контроля просто не поспевает за ним. Закономерность настолько последовательна, что я считаю ее структурной, а не провалом какой-либо одной фирмы, и я сделаю прогноз: мы не далеко от того, чтобы генеральный директор должен был объяснить, что большая ошибка стоила бизнесу миллионов, и он будет обвинять ИИ. Я бы вежливо предложил, что это не оправдание.

Хорошая новость заключается в том, что я счастлив видеть первым, как горстка компаний относится к управлению по-другому, и я считаю, что эти фирмы строят долгосрочное преимущество, которое увеличивается с течением времени, в то время как другие, ожидая на стороне, рискуют стать устаревшими. Понимание того, что видят немногие, начинается с понимания, куда ведет текущая траектория.

Мы движемся к проблеме

Сегодняшние развертывания достаточно малы, чтобы человеческий надзор мог поглотить риски. Последние исследования Deloitte о состоянии ИИ в корпорации показали, что только одна четверть опрошенных организаций перевела как минимум 40% своих экспериментов с ИИ в производство. Большинство предприятий все еще находятся на ранней стадии кривой, запуская горстку агентов в узких случаях с людьми, отслеживающими каждый кусок вывода.

Траектория имеет значение. По мере того, как развертывания увеличиваются от двух агентов до 20, до 200, до 2000 и далее, сложность увеличивается. Каждый новый агент приносит свое собственное поведение, плюс его взаимодействия с каждой системой, которую он затрагивает, и каждым другим агентом, с которым он работает. На двух агентах доверие легко: вы знаете команду, и вы проверяете выводы сами. На 20 доверие должно стать процессом, с определением владельцев, тестированием и путями эскалации. Оно все еще может работать, но становится все труднее поддерживать. На 200 неформальный обзор становится театром, потому что никакая команда руководства не может просмотреть такую активность. А на 2000 человеческий фактор в цикле практически бесполезен, поскольку взаимодействия между агентами, данными и бизнес-процессами образуют сеть, выходящую за пределы того, что может покрыть ручной надзор. На этом масштабе доверие должно существовать и встраиваться в техническую архитектуру фирмы.

Стоимость ожидания

Отсутствующая инфраструктура доверия также является одной из причин разочаровывающих результатов. В последнем глобальном опросе генеральных директоров PwC 56% генеральных директоров заявили, что ИИ не принес ни увеличения доходов, ни снижения затрат за последний год. По моему опыту, даже доходы, которые сообщаются, выглядят менее убедительными, когда вы рассматриваете основную экономику. Большинство фирм считают сэкономленные часы и называют это возвратом на инвестиции. Сэкономленные часы становятся финансовым возвратом только тогда, когда организация конвертирует эту емкость в нечто более ценное: большую продукцию, лучшее качество, избежание затрат, более быстрый рост и т. д.

Эта конверсия требует доверия. Организация может передать человеческую оценку на более ценные работы только тогда, когда руководство доверяет системам, которые берут на себя более низкоценные работы. Без этого доверия компании накапливают технический долг, который не масштабируется, и со временем он существенно влияет на производительность. Это худшее из обоих миров: увеличение расходов с небольшим результатом. Доверие является основой, на которой эти результаты накапливаются.

Проблема с лифтом

Связь между доверием и принятием не является новой, и мы можем вернуться к середине 20-го века для разумной точки отсчета. Бесчеловечные лифты существовали десятилетиями до того, как кто-либо бы ездил на них. Технология работала, но пассажиры входили в машину, видели нет оператора и выходили из нее. То, что изменилось, не было лифтом, а контролями безопасности вокруг него. После того, как в 1945 году забастовка операторов лифтов остановила офисные здания по всему Нью-Йорку, отрасль разработала доверие к машине: кнопку аварийной остановки, телефонную линию, двери, которые открываются при сопротивлении, и записанный голос, объясняющий, что делать. В течение поколения езда на лифте без человека у контролей стала настолько обычной, что вход в лифт с человеком у кнопок казался устаревшим. Барьер для удаления человека из цикла никогда не был способностью. Это было доверие, и отрасль решила его, построив видимые, проверяемые контроли в систему и поместив их туда, где каждый пассажир мог их увидеть.

Корпоративный ИИ находится на стадии входа, выхода. Команды руководства видят агентов, работающих без человека у контролей, и колеблются, и колебания рациональны: большинство организаций еще не построили эквивалент кнопки остановки, телефонной линии и двери, которая не закроется на вас. Компании, которые разработают эти контроли в своих системах, будут теми, чьи люди, клиенты и регулирующие органы войдут и останутся.

Поставщики могут нести только часть этого

Многие лидеры надеются, что их поставщики ИИ будут нести бремя доверия. Поставщики могут предоставить меры безопасности и контроля на уровне модели, и хорошие из них делают это. Решение о том, является ли конкретное развертывание подходящим для ваших данных, ваших регуляторных обязательств, ваших клиентов и вашей толерантности к риску, остается вашей работой, потому что ваш поставщик не имеет контекста, чтобы сделать это. У них никогда не было ваших обязательств, и у них нет способа оценить, сколько стоит плохой результат для вас.

Обязательство поставщика по безопасности покрывает его модель, а не ваше использование ее. Оно также не является постоянным: как показал прошлый год, эти обязательства могут быть пересмотрены или отменены. Регулируемые отрасли давно решили этот вопрос для третьих моделей, и стандарт, на котором они остановились, является правильным: учреждение, которое развертывает модель, владеет риском.

Что делают немногие

Компании, которые вырываются вперед, делают три шага:

1. Они строят инфраструктуру контроля сейчас, размером для масштаба, которого они намерены достичь, а не для масштаба, которым они являются, потому что контроли должны существовать до агентов, которые им нужны.
2. Они встраивают классификацию риска и смягчение на начальном этапе процесса развертывания, а не как ворота обзора в конце, так что каждый случай использования классифицируется и контроли пропорциональны риску с первого дня.
3. И они создают независимое управление с реальной властью проверять эти системы, чтобы они работали так, как предполагалось, сохраняя гибкость, чтобы развиваться вместе с технологией. Независимость делает проверку достоверной. Гибкость сохраняет ее актуальной.

Стоит отметить, что немногие регулирующие органы явно установили правила вокруг использования и надзора за генеративным ИИ, но это не означает, что у нас нет ничего, к чему можно обратиться за руководством. Регулирующие органы имеют хорошо установленные правила для управления традиционными моделями, и мы можем использовать их как ориентир. В апреле Федеральный резерв, OCC и FDIC выпустили пересмотренное руководство по риску модели, отражающее десятилетия практики, принципно-ориентированный подход, который включает инвентаризацию моделей, контроли риска, пропорциональные воздействию, независимую проверку, постоянный мониторинг и корпоративную ответственность за продукты поставщиков, и они направили учреждения применить эти же практики к ИИ на своем. Сообщение ясно: принципы, которые работают, известны, и формальные правила ИИ не приходят скоро. Предприятия, которые ждут регуляторной ясности, будут ждать, пока немногие действуют. Это почему сильно регулируемые отрасли, часто описываемые как медленные, входят в эту эпоху с головой. Они потратили десятилетия на построение именно той машины доверия, которая теперь нужна всем остальным, и они не ждут разрешения на ее использование.

Вопрос, который имеет значение

Разделение уже формируется. Большинство компаний рассматривают управление как стоимость: что-то, что поглощается, терпится и минимизируется. Немногие рассматривают его как инфраструктуру, которая позволяет им передать людей на более ценные работы и масштабироваться с уверенностью. Каждая команда руководства находится на одной стороне или другой, будь то намеренно или нет, и разрыв накапливается тихо впереди масштаба, который его раскроет. Никто не думает дважды о входе в лифт сегодня, потому что доверие было построено в него. Компании, которые сделают то же самое для ИИ, будут масштабироваться за всеми, кто все еще решает, стоит ли войти.