ИИ становится умнее, а согласованности добиться всё сложнее

Всю свою карьеру я пытаюсь понять, что такое интеллект. Я изучал нейронауки, потому что интересовался ИИ и считал, что для начала стоит разобраться в работе мозга. Сначала интеллект — и только потом «искусственный» интеллект. Это обучение привило мне одну привычку. Когда появляется новая возможность или технология, я прежде всего задаю практический вопрос: что она действительно может делать и для решения каких реальных задач?

Как специалист по ИИ, я редко восторгаюсь заголовками об искусственном интеллекте. Я стараюсь смотреть сквозь информационный шум, чтобы понять не только суть прорывов, но и ограничения новых возможностей.

От скучных инструментов к надежности в условиях высоких ставок

Ещё в 2020 году, когда дискуссии о безопасности ИИ захлестнула шумиха, я давал простой совет. Относитесь к ИИ как к инструменту — мощному, но всё же инструменту. Ограничьтесь скучными сценариями применения. Работайте на уровне отдельных задач, где технология уже достаточно надежна, чтобы приносить пользу. В моём оптимистичном сценарии ИИ представлял собой набор скучных, но полезных инструментов.

Когда пару лет спустя начала набирать силу волна агентных систем, я применил тот же подход и остался не убеждён. Агентная система настолько хороша, насколько хороши лежащие в её основе задачи, а надежности на уровне отдельных задач, необходимой для эффективной работы таких систем, я тогда ещё не видел.

Однако шумиха нарастала. Когда в начале прошлого года я приехал на RSA, разрыв между громкими заявлениями и реальным содержанием всё ещё бросался в глаза. Даже общего понимания того, что значит «агентный», не было: у каждого имелись собственное определение и свой взгляд на это понятие. Меня беспокоило и нечто более фундаментальное. Возьмём десять агентов, каждый из которых работает с точностью около 95%. Соединим их в цепочку так, чтобы результат работы одного становился входными данными для следующего. К концу цепочки точность упадёт примерно до 60%. Если выстраивать системы из последовательных звеньев, надежность не сохраняется. К тому времени я уже начал задумываться о системах из агентов, хотя меня всё ещё волновало, можно ли доверять им работу и способны ли они принести ощутимую пользу.

Затем стремительное развитие агентов для программирования изменило моё мнение.

За несколько месяцев после публикации моей статьи на эту тему стремительный прогресс прояснил для меня одно: надежность в ряде реальных задач — лишь вопрос времени. Более совершенные модели и более совершенные инженерные инструменты, созданные вокруг них, должны были устранить беспокоивший меня разрыв. Ограничение, которого я опасался, должно было исчезнуть.

Именно тогда стала видна настоящая проблема — и это была не та проблема, за которой я следил. Когда отдельным агентам уже можно доверять, развертыванием первого дело не ограничивается. Развертываются многие. Целые их группы работают во всех подразделениях: каждый агент способен выполнять свою задачу и выполняет её. Тут возник новый вопрос, никак не связанный с надежностью. Если каждый агент в такой группе делает то, для чего его создали, соответствует ли итоговая работа всей группы замыслу организации?

Зачем организации нужна проприоцепция

Даже тело с сильными и подвижными конечностями не сможет хорошо двигаться без проприоцепции — постоянного внутреннего ощущения того, где находятся все его части и что они делают. Мозжечок не просто реагирует на эту обратную связь — он предсказывает. Когда мозг подаёт команду на движение, он формирует ожидание того, какие ощущения должно вызвать это движение, а затем сверяет ожидание с тем, что происходит в действительности. Разница между ними становится сигналом, который помогает скорректировать следующее движение. Умелое движение — это цикл предсказания результата и корректировки с учётом расхождения.

Организации, использующей целые группы агентов, необходимо такое же ощущение самой себя. Она должна постоянно знать, где находятся её системы и насколько далеко они отклонились от заданного состояния. Без такого внутреннего понимания даже способные компоненты не смогут объединиться для согласованных действий. Это не механизм восприятия, который можно позднее добавить к организму, чтобы сделать его безопаснее. Без него организм вообще не сможет двигаться.

Хорошо изучен случай мужчины по имени Ian Waterman, утратившего это чувство в большей части тела. Он заново научился двигаться, но только наблюдая за собой и направляя взглядом каждый шаг и каждое движение руки. Это работает, но отнимает силы и даёт сбой при малейших изменениях. Стоит выключить свет — и он уже не может координировать движения. Организация, которая контролирует своих агентов с помощью ручных проверок и периодических обзоров, находится в таком же положении. Она постоянно прилагает усилия, пытаясь компенсировать отсутствие изначально заложенного внутреннего чувства, и эта компенсация обходится дороже, чем то, что она заменяет. Вся система рушится, как только меняются условия.

Стоит упомянуть и другой, ещё более необычный сбой, описанный в увлекательной книге нейробиолога V S Ramachandran. После ампутации конечности мозг не замолкает. Он продолжает посылать сигналы отсутствующей конечности, и человек ярко ощущает их. С надзором может произойти то же самое. Если из функции надзора из-за реорганизации или пренебрежения убрать реальную способность к суждению, она не замолчит. Проверки по-прежнему будут проводиться, а показатели — формироваться. Организация продолжит ощущать надзор, хотя лежащая в его основе способность к суждению будет выхолощена. Здесь вновь вспоминается мой совет 2020 года — о прозрачности. Без прозрачности надзора не бывает, а в системе, которая лишь создаёт видимость контроля, нет и прозрачности.

Согласованность как дефицитный ресурс

Интеллект становится дешевле. Скоро он будет встроен в каждый рабочий процесс и каждый инструмент. В таком мире дефицитным ресурсом становится согласованность — живая связь между тем, что каждая система делает сама по себе, и тем, чего стремится достичь компания. Согласованность — это соединительная ткань, которая помогает распределённому интеллекту двигаться к единой цели.

Я годами изучал, как мозгу удаётся заставлять множество его частей работать как единое целое. Эпоха ИИ-агентов ставит перед компанией тот же вопрос. Цель не изменилась с 2020 года. По-прежнему скучная, но полезная. Теперь скучная, но полезная задача — создавать саму согласованность.