Лидеры мнений
Как я передал свои знания в системы ИИ, которые могут принимать решения как человеческие эксперты
Когда я ушел из Microsoft и продолжил работать с предприятиями над их развертыванием ИИ, я постоянно видел, что большинство систем ИИ, которые люди считали перспективными, не могли фактически принимать решения с истинным человеческим суждением. Конечно, они могли писать, суммировать и производить замечательно гладкий текст, который звучал как решение, но когда вы помещаете эти системы в реальную операционную среду, где есть компромиссы, неопределенность, неполные инструкции и реальные последствия, они быстро испытывают трудности. Это соответствует данным проекта MIT NANDA, показывающим, что хотя 60% организаций оценили инструменты ИИ, только 20% достигли стадии пилотного проекта, и только 5% достигли стадии производства. Другими словами, отрасль борется с созданием систем, которые могут фактически выдержать реальные рабочие процессы.
В корпоративных условиях, особенно в таких областях, как цепочка поставок, производство и операции, получить ответ несложно; сложно знать, какому ответу можно доверять, какие переменные имеют наибольшее значение, и что, скорее всего, сломается внизу, если вы ошибетесь. В моем понимании это одновременно проблема экспертизы и суждения.
Чтобы быть ясным, ИИ сделал необыкновенные шаги в производстве лучших результатов. Но лучший результат не является тем же, что и лучшие решения. Это два различных этапа, и я думаю, что отрасль потратила много времени на то, чтобы считать их взаимозаменяемыми.
Отсутствие экспертизы и суждения является причиной, по которой я заинтересовался в создании ИИ, которому человеческие эксперты могут научить принимать сложные решения так, как они это делают. ИИ не должен быть только об автоматизации задач, но и об эффективной и безопасной передаче человеческого суждения в ИИ, который может выдержать.
Большие языковые модели (БЯМ) говорят как принимающие решения, но они не являются
Не существует сомнения в том, что БЯМ полезны, но они не являются, по умолчанию, системами принятия решений. Они являются прогностическими системами, завернутыми в язык. И язык является убедительным, что является частью проблемы. Если система может объяснить себя гладко, мы легко переоцениваем то, что она понимает. Вы задаете ей бизнес-вопрос, она дает вам структурированный ответ с компромиссами, оговорками и аккуратнымlittle резюме в конце, что делает ее звучание умнее, чем она есть. Звучание когерентности и операционная компетентность не являются одним и тем же, и это то место, где много корпоративного ИИ ломается. Модели могут рассказать вам, как звучит хороший ответ, не имея понимания того, что делает решение хорошим под давлением, со временем или в контексте. Это одна из причин, по которой многие организации борются с переходом за пределы экспериментов. Gartner обнаружил, что хотя бы 50% проектов по генеративному ИИ брошены после доказательств концепции, задолго до того, как они принесут реальное операционное воздействие, часто из-за неясной ценности и контроля рисков.
Информация не является тем же, что и экспертиза
Одна из самых легких ловушек, в которые можно попасть с ИИ, заключается в том, что если система имеет достаточно информации, она должна быть в состоянии работать как эксперт. Звучит разумно, но когда вы думаете об этом в нашей повседневной жизни, увеличение информации о чем-то не автоматически делает нас экспертами. Вы можете прочитать каждый авиационный справочник и все равно не быть готовым приземлить самолет. Вы можете запомнить каждую лучшую практику в цепочке поставок и все равно замерзнуть, когда три вещи пойдут не так одновременно.
Я мог бы продолжать, но смысл в том, что информация не эквивалентна способности. Способность исходит из опыта, в частности, повторного воздействия сложных ситуаций, где ответ не очевиден.
Каждый день я вижу, что большинство современных систем ИИ обучаются на статических примерах. Это все полезно для прогнозирования, но это только небольшая часть принятия решений. Предприятия не испытывают нехватку в данных как таковых, но им нужны структурированные среды для практики, что означает предоставление системам среды, где они могут повторно:
- Встречать реалистичные сценарии
- Принимать решения
- Смотреть, что происходит
- Получать обратную связь
- Улучшать со временем
ИИ можно обучать с помощью прогностических алгоритмов, но этот подход имеет ограничения. Что необходимо дальше, так это ИИ, который может быть обучен в симулированной среде с человеческим надзором. Я называю это машинным обучением, методологией, которая разбивает сложные решения на сценарии и навыки, предоставляя руководство для человеческих экспертов, чтобы обучать ИИ через симуляцию. Результатом является обратная связь и метод проб и ошибок, которые в конечном итоге позволяют агентам учиться и действовать с реальной автономией直接 от людей, которые построили эти процессы.
Перестаньте считать ИИ монолитом
Другая ошибка, которую я часто вижу, заключается в предположении, что одна большая модель должна каким-то образом делать все. Никакая баскетбольная команда не состоит только из одного человека. Никакой завод не управляется одним человеком. Сложные системы работают потому, что разные компоненты выполняют разные задачи, и существует структура, которая держит их вместе.
ИИ должен быть построен таким же образом. Я не думаю, что долгосрочное будущее корпоративного принятия решений заключается в одном гигантском модели, сидящем в центре компании, притворяющемся универсально компетентным. Это гораздо более вероятно, что оно будет выглядеть как команды специализированных агентов.
Один агент может быть экспертом по извлечению данных. Другой лучше оценивает сценарии. Другой занимается планированием. Один проверяет соответствие или обнаруживает противоречия. Другой действует более как руководитель, решая, когда эскалировать или когда уверенность слишком низка, чтобы продолжить. Архитектура команды имеет гораздо больше смысла для меня, поскольку она соответствует тому, как реальные организации фактически работают и соответствует более широким рыночным тенденциям. Найденные McKinsey подкрепляют, что организации получают наибольшую ценность от ИИ, перерабатывая рабочие процессы и операционные структуры вокруг него.
Не все решения принимаются одинаково, и слишком часто мы предполагаем, что одна и та же модель, одни и те же данные и один и тот же тип рассуждений могут справиться со всеми.
Четыре способа, которыми фактически принимаются решения
В моем опыте большинство решений склонны падать в несколько категорий:
- Системы контроля (правила и формулы): Решения принимаются путем применения предопределенных уравнений или правил к известным входным данным. Если X происходит, делайте Y.
- Поиск и оптимизация: Решения принимаются путем оценки многих возможных вариантов и выбора лучшего на основе определенной цели.
- Усиление обучения (проб и ошибок): Решения учатся со временем, принимая действия, наблюдая результаты и корректируя на основе награды или штрафа.
- Практика и опыт (человеческий стиль обучения): Решения формируются через повторное воздействие, руководимую обратную связь и накопленное суждение в реальных сценариях.
Большинство корпоративного ИИ работает хорошо в первых двух категориях. Третья и четвертая категории более сложны для ИИ, потому что там живет человеческое суждение.
Автономность без структуры является риском
Когда люди говорят об автономном ИИ, разговор часто разделяется на два крайних взгляда. Одна сторона считает, что системы практически магические и готовы управлять всем. Другая сторона действует так, как если бы они никогда не должны были доверять чему-либо значимому.
Я не думаю, что какой-либо из этих взглядов полезен. Мы должны сосредоточиться на автономности в структуре, потому что автономность без надзора, логики эскалации, границ или ответственности является основным источником риска. Заботы о рисках становятся более заметными сейчас, включая в разговоры, сформированные такими усилиями, как Национальный институт стандартов и технологий Рамка управления рисками ИИ, которая отражает, насколько серьезно организации относятся к вопросам надзора, ответственности и операционного доверия.
Будущее корпоративного ИИ лежит в командах агентов. Организации, которые получают наибольшую ценность от ИИ, не будут теми, которые автоматизируют большинство слов. Они будут теми, кто выяснит, как передать реальную экспертизу в системы, которые могут выдержать. Это, на мой взгляд, является разницей между ИИ, который выглядит впечатляющим, и ИИ, который становится действительно полезным, производящим реальную ROI.
