Как я передал свои знания в системы ИИ, которые могут принимать решения как человеческие эксперты

Когда я ушел из Microsoft и продолжил работать с предприятиями над их развертыванием ИИ, я постоянно видел, что большинство систем ИИ, которые люди считали перспективными, не могли принимать решения с真正шим человеческим суждением. Конечно, они могли писать, суммировать и производить замечательно звучащий текст, похожий на решение, но когда вы помещаете эти системы в реальную операционную среду, где есть компромиссы, неопределенность, неполные инструкции и реальные последствия, они быстро терпят неудачу. Это соответствует данным проекта MIT NANDA, показывающим, что хотя 60% организаций оценивали инструменты ИИ, только 20% достигли стадии пилотного проекта, и только 5% достигли производства. Другими словами, отрасль борется с созданием систем, которые могут действительно выдержать реальные рабочие процессы.

В корпоративной среде, особенно в таких областях, как цепочка поставок, производство и операции, получение ответа не является сложной задачей; сложнее понять, какому ответу можно доверять, какие переменные имеют наибольшее значение, и что, скорее всего, сломается внизу, если вы ошибетесь. На мой взгляд, это и проблема экспертизы, и проблема суждения.

Чтобы быть ясным, ИИ сделал невероятные шаги в производстве лучших результатов. Но лучший результат не является тем же, что и лучшее решение. Это два различных этапа, и я думаю, что отрасль потратила много времени на то, чтобы рассматривать их как взаимозаменяемые.

Отсутствие экспертизы и суждения является причиной, по которой я заинтересовался созданием ИИ, которому человеческие эксперты могут научить принимать сложные решения так, как они делают. ИИ не должен быть только о автоматизации задач, но и об эффективной и безопасной передаче человеческого суждения в ИИ, который может выдержать.

Большие языковые модели (LLM) говорят как принимающие решения, но они не являются таковыми

Нет сомнений в том, что LLM полезны, но они не являются, по умолчанию, системами принятия решений. Они являются прогностическими системами, завернутыми в язык. И язык является убедительным, что является частью проблемы. Если система может объяснить себя красноречиво, мы легко переоцениваем то, что она понимает. Вы задаете ей бизнес-вопрос, она дает вам структурированный ответ с компромиссами, оговорками и кратким изложением в конце, делая ее более умной, чем она есть. Звучание связно и быть операционно компетентным не является одним и тем же, и это то место, где много корпоративного ИИ ломается. Модели могут рассказать вам, как звучит хорошее решение, не имея понимания того, что делает решение хорошим под давлением, со временем или в контексте. Это одна из причин, по которой многие организации борются с переходом за пределы экспериментов. Gartner обнаружил, что как минимум 50% проектов генеративного ИИ брошены после доказательств концепции, задолго до того, как они доставляют реальное операционное воздействие, часто из-за неясной ценности и контроля риска.

Информация не является тем же, что и экспертиза

Одной из самых простых ловушек, в которые можно попасть с ИИ, является предположение, что если система имеет достаточно информации, она должна быть в состоянии работать как эксперт. Звучит разумно, но когда вы подумаете об этом в нашей повседневной жизни, увеличение нашей информации о чем-то не автоматически делает нас экспертами. Вы можете прочитать каждую авиационную инструкцию и все равно не быть готовым приземлить самолет. Вы можете запомнить каждую лучшую практику в цепочке поставок и все равно замерзнуть, когда три вещи пойдут не так одновременно.

Я мог бы продолжать, но смысл в том, что информация не равна способности. Способность исходит из опыта, в частности, повторного воздействия на запутанные ситуации, где ответ не очевиден.

Каждый день я вижу, что большинство сегодняшних систем ИИ обучаются на статических примерах. Это все полезно для прогнозов, но это только небольшая часть принятия решений. Предприятиям не хватает данных как таковых, но им нужны структурированные среды для практики, что означает предоставление системам сред, где они могут:

• Встретить реалистичные сценарии
• Принять решения
• Увидеть, что происходит
• Получить обратную связь
• Улучшиться со временем

ИИ можно обучать с помощью прогностических алгоритмов, но этот подход имеет ограничения. Что нужно дальше, это ИИ, который можно обучать в симулированной среде с человеческим надзором. Я называю это машинным обучением, методологией, которая разбивает сложные решения на сценарии и навыки, предоставляя руководство для человеческих экспертов, чтобы обучать ИИ через симуляцию. Результатом в конечном итоге становятся агенты, которые могут учиться и действовать с реальной автономией直接 от людей, которые построили эти процессы.

Перестаньте рассматривать ИИ как монолит

Другой ошибкой, которую я часто вижу, является предположение, что одна большая модель должна каким-то образом делать все. Никакая баскетбольная команда не состоит только из одного человека. Никакой завод не управляется одним человеком. Сложные системы работают, потому что разные компоненты выполняют разные задачи, и есть структура, которая держит их вместе.

ИИ должен быть построен таким же образом. Я не думаю, что долгосрочное будущее корпоративного принятия решений будет заключаться в одном гигантском модели, сидящем в центре компании, притворяющемся универсально компетентным. Это намного более вероятно, что оно будет выглядеть как команды специализированных агентов.

Один агент может быть экспертом по извлечению данных. Другой лучше оценивает сценарии. Другой занимается планированием. Один проверяет соблюдение или обнаруживает противоречия. Другой действует более как руководитель, решая, когда эскалировать или когда уверенность слишком низка, чтобы продолжить. Архитектура команды имеет гораздо больше смысла для меня, потому что она соответствует тому, как реальные организации действительно работают и соответствует более широким рыночным тенденциям. Найденные McKinsey подкрепляют, что организации получают наибольшую ценность от ИИ, перерабатывая рабочие процессы и операционные структуры вокруг него.

Не все решения принимаются одинаково, и слишком часто мы предполагаем, что одна и та же модель, одни и те же данные и один и тот же тип рассуждений могут справиться со всеми.

Четыре способа, которыми решения действительно происходят

В моем опыте большинство решений склонны падать в несколько категорий:

1. Системы управления (правила и формулы): Решения принимаются путем применения предопределенных уравнений или правил к известным входным данным. Если X происходит, делайте Y.
2. Поиск и оптимизация: Решения принимаются путем оценки многих возможных вариантов и выбора лучшего на основе определенной цели.
3. Усиление обучения (попытка и ошибка): Решения учатся со временем, принимая действия, наблюдая за результатами и корректируя на основе вознаграждения или штрафа.
4. Практика и опыт (человеческое обучение): Решения формируются через повторное воздействие, руководимую обратную связь и накопленное суждение в реальных сценариях.

Большинство корпоративного ИИ работает хорошо в первых двух категориях. Третья и четвертая категории более сложны для ИИ, потому что это то место, где живет человеческое суждение.

Автономность без структуры является риском

Когда люди говорят об автономном ИИ, разговор склонен разделяться на два крайних взгляда. Одна сторона думает, что системы по сути являются магическими и готовы управлять всем. Другая сторона действует так, как если бы они никогда не должны были доверять чему-либо значимому.

Я не думаю, что какой-либо из этих взглядов полезен. Мы должны сосредоточиться на автономности в структуре, потому что автономность без надзора, логики эскалации, границ или ответственности является основным источником риска. Заботы о риске проявляются сейчас, включая в разговорах, сформированных такими усилиями, как Национальный институт стандартов и технологий ИИ-рамки управления риском, отражающие, насколько серьезно организации принимают вопросы надзора, ответственности и операционного доверия.

Будущее корпоративного ИИ лежит в командах агентов. Организации, которые получают наибольшую ценность от ИИ, не будут теми, кто автоматизирует наибольшее количество слов. Они являются теми, кто выяснит, как передать реальную экспертизу в системы, которые могут выдержать, когда среда становится запутанной. Это, на мой взгляд, разница между ИИ, который выглядит впечатляющим, и ИИ, который становится действительно полезным, производящим реальную ROI.