Взаимодействие человека и машины: проблема “последней мили”, сдерживающая развитие корпоративного ИИ

До недавнего времени разговоры в совете директоров о ИИ вращались вокруг самих моделей. Точен ли их вывод? Насколько чисты были данные, использованные для обучения? Как мы можем уменьшить предвзятость? Под контролем ли у нас галлюцинации? Эти вопросы все еще имеют значение, конечно, но вывод больше не является единственной вещью, на которую обращают внимание советы директоров и акционеры. Вместо этого они начинают интересоваться чем-то, что намного труднее измерить – действительно ли системы ИИ работают с людьми так эффективно, как они могли бы в повседневных взаимодействиях.

Это частично объясняет, почему IBM недавно столкнулась с предложением акционеров, требующим большей прозрачности в отношении того, как она управляет предвзятостью ИИ и управлением. Предложение было сосредоточено конкретно на смягчении предвзятости, но более широкий вывод был в том, что по мере того, как ИИ становится более глубоко внедрен в процессы принятия решений, он оценивается по его операционной подотчетности и измеримым бизнес-результатам, а не по его базовому уровню возможностей.

То, что я вижу в разговорах с корпорациями, заключается в том, что очень немногие люди все еще спорят о том, способны ли сами модели. Большинство организаций уже знают, что эти системы могут генерировать вывод, автоматизировать рабочие процессы и предоставлять информацию с необычайной скоростью. Трудный вопрос заключается в том, последовательно ли эти системы улучшают результаты внутри бизнеса. Фактически ли сотрудники используют эти системы осмысленным образом? Доверяют ли они рекомендациям, которые они получают? Становятся ли решения более ясными, быстрыми или последовательными? Или организации просто генерируют больше контента, больше анализа и больше шума, не меняя того, как люди работают? Этот разрыв между возможностями ИИ и принятием человеком является тем, что я называю “последней милей” корпоративного ИИ. Это место, где ROI, доверие, подотчетность и операционная последовательность сходятся, и это место, где многие развертывания начинают застревать.

Возможности не являются узким местом – контекст человека является

Само предложение акционеров IBM было сосредоточено на предвзятости, знакомой и растущей проблеме в отрасли. Резолюция призывала IBM представить дополнительную отчетность о методах, которые она использует для выявления и смягчения предвзятости в своих моделях ИИ, включая потенциальные риски, связанные с этими усилиями по смягчению. IBM возразила, утверждая, что большая часть этой информации уже была публично доступна через карточки моделей, документацию по управлению, отчетность о прозрачности и материалы, представленные в Фонд индекса прозрачности моделей Стэнфордского университета. Большинство наблюдателей признали, что IBM сделала больше, чем многие поставщики, для операционализации ответственных практик ИИ, а также признали, что управление и предвзятость остаются нерешенными проблемами отрасли.

Меня интересует не то, было ли правым или неправильным ответом IBM. Меня интересует, что вся эта ситуация говорит о том, куда движутся разговоры о корпоративном ИИ. Советы директоров в значительной степени перешли в новую фазу оценки ИИ, сосредоточенную на качестве принятия решений, операционном воздействии, доверии сотрудников и долгосрочном принятии внутри бизнеса.

Это место, где перспектива нейробиологии приводит меня к другому выводу, чем большая часть текущего разговора о корпоративном ИИ. Люди не являются рациональными машинами ввода-вывода. Мы подходим к решениям с конечным вниманием, колеблющейся уверенностью, когнитивной перегрузкой и постоянно меняющимся намерением. Когда взаимодействия кажутся медленными, когда предустановленные ответы не соответствуют тому, что мы фактически имели в виду, или когда людям приходится бороться с системой, чтобы получить что-то полезное, вовлеченность рушится задолго до того, как показатели принятия догонят. Риск галлюцинаций, несоответствие и предвзятость просто усугубляют проблему, создавая трение внутри рабочих процессов, которые изначально были предназначены для улучшения производительности и принятия решений. Эта “последняя миля” – это то, что большинство организаций все еще недооценивают: ценность ИИ создается не тогда, когда модель генерирует ответ, а когда она предоставляет правильный ответ в правильное время, и люди могут доверять ему достаточно, чтобы действовать на основе того, что он производит.

Почему мы игнорируем реального “человека в цикле” – пользователя?

Мы слышали много недавно о “человеке в цикле” и важности наличия человека, который подписывает вывод, сгенерированный ИИ. Но что, если наиболее важный человек – пользователь – не понимается должным образом? Взаимодействие человека с человеком является сложным и многогранным, но причина, по которой прямая коммуникация работает так хорошо, заключается в том, что никакие нюансы не теряются. Если кто-то колеблется, теряет уверенность, становится разочарованным или сбитым с толку, или его намерение меняется, это проходит через взаимодействие, и разговор меняется соответственно. Большинство систем ИИ все еще борются с признанием этих сигналов, потому что они более или менее “на рельсах” в том смысле, что они реагируют только на последний запрос пользователя.

На мой взгляд, это становится одной из определяющих ограничений текущих корпоративных развертываний ИИ. Мы построили системы, которые исключительно хороши в генерации информации, оставаясь ограниченными в их способности распознавать, помогает ли эта информация кому-то принимать лучшие решения.

Организация может развернуть инструменты корпоративного ИИ для тысяч сотрудников и все равно не добиться значимой согласованности в том, как эти системы фактически используются. Фреймворки, такие как Фреймворк управления рисками ИИ NIST, ISO/IEC 42001 и Закон об ИИ ЕС, толкают организации к большей зрелости управления и операционной подотчетности. Но управление на бумаге идет только так далеко, если вовлеченность сотрудников в ИИ остается фрагментированной. Если разные команды доверяют и используют ИИ совершенно разными способами, измерение ROI последовательно становится почти невозможным, и это проблема, которую нельзя исправить никаким количеством запросов.

Стоимость перегрузки ИИ

Мы сейчас вступаем в фазу, когда ИИ становится совершенно повсеместным внутри рабочих процессов ИИ. Есть копилоты, встроенные в наборы производительности, резюме встреч, сгенерированные ИИ, прибывающие после каждого звонка, панели, предоставляющие прогностические идеи в реальном времени, двигатели рекомендаций, которые кормят сотрудников постоянными предложениями, и автоматизированный анализ, появляющийся быстрее, чем большинство команд могут реалистично обработать. На бумаге это выглядит как прогресс – бизнес производит больше информации, чем когда-либо прежде. Но когнитивная наука была ясна в этом десятилетиями: больше информации не автоматически производит лучшие решения.

Люди могут усвоить только столько информации, прежде чем начнет устанавливаться перегрузка. Слишком много рекомендаций создают колебания. Слишком много оповещений становятся фоновым шумом. Слишком много вариантов, сгенерированных ИИ, могут оставить сотрудников, сомневающихся, а не действующих с уверенностью. То, что интересно, заключается в том, что системы ИИ становятся исключительно хорошими в производстве информации, оставаясь относительно плохими в понимании того, как люди получают, интерпретируют и реагируют на эту информацию в контексте. Советы директоров в конечном итоге не заботятся о том, сколько резюме, рекомендаций или сгенерированных выводов может произвести система. Они заботятся о том, становятся ли решения более ясными и надежными во всей компании.

ИИ вошел в фазу подотчетности

Предложение акционеров IBM может было вызвано проблемами с предвзятостью, но я думаю, что оно отражает что-то гораздо более широкое, что происходит во всей корпоративной сфере ИИ. Новизна ИИ прошла, и корпорации, ищущие солидную отдачу от инвестиций в ИИ, больше не могут полагаться только на возможности модели. Технология доказала себя, но теперь ей нужна мера подотчетности. Как последовательно сотрудники используют эти системы? Улучшаются ли решения? Увеличиваются ли доверие и вовлеченность во времени, или постепенно разрушаются? По мере того, как ИИ становится более внедренным в повседневные рабочие процессы, следующее поколение систем может потребовать стать намного более осведомленным о поведении человека, внимании, уверенности и намерении, если бизнес хочет получить устойчивое принятие и измеримую ROI. До тех пор “последняя миля” будет, вероятно, одной из самых больших проблем в принятии корпоративного ИИ.