Проблема надежности ИИ, о которой никто не хочет говорить

Доминирующий нарратив о надежности ИИ прост: модели галлюцинируют. Следовательно, для того, чтобы компании могли получить от них максимальную пользу, модели должны улучшаться. Больше параметров. Лучшие данные для обучения. Больше обучения с подкреплением. Больше согласованности.

И все же, даже когда модели на переднем крае становятся более способными, дебаты о надежности отказываются исчезать. Руководители предприятий все еще колеблются, разрешая агентам совершать значимые действия внутри основных систем. Совет директоров все еще спрашивает: “Можем ли мы ему доверять?”

Но галлюцинации не являются в первую очередь проблемой модели. Они являются проблемой контекста. Мы просим системы ИИ работать на предприятии без предоставления им структурной видимости, необходимой для безопасного рассуждения. Затем мы обвиняем модель, когда она угадывает.

Настоящий пробел в надежности не в весах, а в информационном слое.

Хирург без визуализации

Представьте себе хирурга, работающего без визуализации. Никакой МРТ. Никакой КТ. Никакой реальной визуализации окружающих тканей. Только общее понимание анатомии и скальпель. Даже самый опытный хирург был бы вынужден делать выводы. Приблизить. Полагаться на вероятностное рассуждение.

Это то, что сейчас делают агенты ИИ на предприятии.

Когда систему ИИ просят изменить рабочий процесс, обновить правило ERP или запустить автоматизацию инструментов, она редко имеет полный граф зависимостей среды. Она не знает, какое “неиспользуемое” поле питает нижестоящий داشборд. Она не видит, какая автоматизация ссылается на это правило проверки. Она не может надежно смоделировать вторичное воздействие.

Итак, она делает то, для чего крупные языковые модели обучены: она предсказывает. Предсказание не является пониманием. И предсказание без структурного контекста кажется галлюцинацией.

Мы продолжаем формулировать неправильные дебаты

Сообщество ИИ было заперто в модели-центричном разговоре о надежности. Статьи о законах масштабирования. Исследования по цепочке мыслей подсказки. Техники увеличения извлечения. Оценочные эталоны.

Все это необходимо. Все это ценно. Но обратите внимание, чего не хватает: обсуждения топологии предприятия.

Надежность в контексте предприятия не означает просто “модель генерирует правильный текст”. Она означает “система совершает изменения, которые являются безопасными, отслеживаемыми и предсказуемыми”.

Это фундаментально другое требование.

Когда OpenAI и Anthropic публикуют оценки производительности модели, они измеряют точность на задачах рассуждения, тестах на кодирование или воспоминании знаний. Это полезные сигналы. Однако они не измеряют способность агента ИИ безопасно изменить живую систему выручки с 15-летним накоплением долга по автоматизации.

Проблема не в том, может ли модель написать синтаксически правильный код; она в том, понимает ли ИИ среду, в которую этот код развертывается.

Живые системы накапливают энтропию

Предприятия не являются статическими базами данных. Они являются живыми системами. Каждая новая интеграция оставляет след. Каждая кампания вводит поле. Каждый “быстрый исправление” вводит дополнительный слой автоматизации. Со временем эти слои взаимодействуют способами, которые никто полностью не понимает.

Это функция роста. Сложные адаптивные системы естественным образом накапливают энтропию. Исследования MIT Sloan давно подчеркивают, как информационная асимметрия внутри организаций усугубляет операционный риск. Тем временем Gartner оценивает, что плохое качество данных стоит организациям в среднем $12,9 миллиона в год.

Теперь представьте себе внедрение автономных агентов в эту среду без предварительного решения ее структурной непрозрачности.

Мы не должны удивляться, когда результаты кажутся непредсказуемыми. Агент не злонамерен или глуп. Он слеп. Он строит в темноте.

Извлечение недостаточно

Некоторые могут утверждать, что увеличение генерации с помощью извлечения (RAG) решает эту проблему. Дайте модели доступ к документации. Покормите ее описаниями схем. Подключите ее к API.

Это помогает.

Но документация не является топологией.

PDF, объясняющий, как рабочий процесс “должен” работать, не является тем же, что и реальный граф того, как он фактически взаимодействует с 17 другими автоматизациями.

Реальность предприятия редко соответствует документации предприятия.

Исследование 2023 года, опубликованное в Communications of the ACM, показало, что устаревшая документация является основным вкладом в неудачи технического обслуживания программного обеспечения. Системы эволюционируют быстрее, чем их повествования.

Итак, даже когда мы предоставляем агентам ИИ документацию, мы часто предоставляем им частичную или идеализированную карту.

Частичные карты все равно производят уверенные ошибки.

Агентный слой является настоящим слоем безопасности

Мы склонны думать о безопасности как об обучении согласованности, ограждениях, красных командах и фильтрах политики. Все это важно. Но в контексте предприятия безопасность является контекстной. Она заключается в знании:

• Что зависит от этого поля?
• Какая автоматизация ссылается на этот объект?
• Какие нижестоящие отчеты будут сломаны?
• Кто владеет этим процессом?
• Когда это было изменено в последний раз?
• Какие исторические изменения предшествовали текущей конфигурации?

Без этого слоя агент ИИ фактически импровизирует внутри черного ящика. С этим слоем он может смоделировать воздействие до совершения действия. Разница между галлюцинацией и надежностью часто заключается в видимости.

Почему модель обвиняется

Почему, тогда, дебаты фокусируются так сильно на моделях? Потому что модели являются читаемыми. Мы можем измерить перплексию. Мы можем сравнить баллы бенчмарка. Мы можем опубликовать кривые масштабирования. Мы можем обсуждать качество обучающих данных.

Информационная топология внутри предприятий намного сложнее. Она требует межфункциональной координации. Она требует дисциплины управления. Она заставляет организации столкнуться с накопленной сложностью своих собственных систем.

Легче сказать “модель не готова”, чем признать “наша инфраструктура непрозрачна”.

Но когда агенты ИИ переходят от генерации контента к операционному выполнению, эта формулировка становится опасной.

Если мы рассматриваем надежность исключительно как проблему модели, мы продолжим развертывать агентов в средах, которые они не могут осмысленно воспринимать.

Автономность требует контекста

Недавние эксперименты Anthropic с многоагентными командами разработки программного обеспечения показывают, что системы ИИ могут координироваться на сложных задачах, когда им предоставляется структурированный контекст и постоянная память. Граница возможностей развивается быстро. Но эта марка автономности без осведомленности о среде является хрупкой.

Самоходный автомобиль не полагается исключительно на мощную нейронную сеть. Он зависит от лидара, камер, систем картографирования и реального времени окружающей среды. Модель является одним слоем в более широком стеке восприятия.

ИИ на предприятии нуждается в эквиваленте лидара. Не только доступ к API. Не только документация. Но структурированное, динамическое понимание зависимостей системы.

Пока это не существует, дебаты о галлюцинации будут продолжать неправильно диагностировать коренную причину.

Скрытый риск: чрезмерная уверенность

Существует еще один тонкий риск в текущей формулировке.

По мере улучшения моделей их выходы становятся более плавными, более убедительными, более авторитетными.

Плавность усиливает чрезмерную уверенность.

Когда агент уверенно изменяет систему без полного контекста, неудача не сразу очевидна. Она может проявиться через несколько недель как расхождение в отчетах, пробел в соблюдении или ошибка в прогнозировании выручки. Поскольку модель кажется компетентной, организации могут переоценить ее операционную безопасность. Реальный режим неудачи является правдоподобной ошибкой.

И правдоподобная ошибка процветает в темноте.

Переформулирование вопроса о надежности

Вместо того, чтобы спрашивать: “Достаточно ли хороша модель?” Мы должны спрашивать: “Имеет ли агент достаточный структурный контекст, чтобы действовать безопасно?” Вместо измерения точности бенчмарка мы должны измерять видимость среды. Вместо обсуждения количества параметров мы должны проверять непрозрачность системы.

Следующая граница надежности ИИ не просто более крупные модели. Это более богатые слои контекста.

Это включает в себя:

• Графы зависимостей систем предприятия
• Отслеживание изменений в реальном времени
• Сопоставление владения
• Осведомленность о исторической конфигурации
• Симуляция воздействия до выполнения

Ничего из этого не является гламурным. Ничего из этого не является модным в социальных сетях. Но именно здесь будет выиграна надежность.

Строительство с включенным светом

Руководители предприятий правы, требуя надежности, прежде чем предоставлять агентам операционную власть. Но путь вперед не в ожидании мифической модели без галлюцинаций.

Это инвестиции в инфраструктуру видимости, которая делает возможным интеллектуальное действие.

Мы не позволили бы младшему администратору изменять производственные системы без понимания зависимостей. Мы не должны разрешать агентам ИИ делать это тоже.

Цель? Снизить слепые пятна.

Когда агенты работают со структурным пониманием, показатели галлюцинаций снижаются не потому, что изменилась модель, а потому, что поверхность для угадывания уменьшается.

Предсказание становится рассуждением. Рассуждение становится симуляцией. Симуляция становится безопасным выполнением.

Неизбежный сдвиг

В течение следующих пяти лет стек ИИ разделится. Один слой будет сосредоточен на возможностях модели: глубине рассуждения, многомодальной плавности и эффективности затрат. Другой будет сосредоточен на информационной/контекстной топологии: графах систем, интеллекте метаданных и рамках управления.

Организации, которые рассматривают надежность исключительно как упражнение по выбору модели, будут бороться.

Организации, которые рассматривают надежность как архитектурное свойство, будут двигаться быстрее с меньшим риском.

Дебаты о галлюцинации будут выглядеть наивными в ретроспективе. Реальная история будет о видимости.

ИИ не является по своей природе безрассудным.

Он работает в темной комнате.

Пока мы не решим эту проблему, мы не строим интеллектуальные системы. Мы строим мощные прогностические модели внутри непрозрачных сред.

И это означает, что, несмотря на весь прогресс, ИИ все еще строит в темноте.