Почему 95% инициатив по ИИ не дают никакой отдачи от инвестиций

Недавнее исследование MIT показало, что 95% организаций не получают никакой отдачи от инвестиций в инициативы по генеративному ИИ; нет измеримого влияния на прибыль и убытки, несмотря на значительные инвестиции. Заголовки были сосредоточены на уровне неудач, но реальный вопрос заключается не в том, работает ли технология. Большие языковые модели мощные, доступные и быстро улучшаются. Проблема заключается в том, как бизнес пытается их использовать.

Большинство организаций подходят к агентам ИИ так же, как они подходили к каждому другому технологическому внедрению. Они берут существующие процессы, добавляют немного ИИ и ожидают магии. Когда это не работает, они обвиняют модели. Но неудача происходит задолго до того, как ИИ будет задействован.

Я видел эту закономерность повторяющуюся во всех предприятиях, строящих потоки работы ИИ. Команды возбуждаются возможностями, спешат в разработку, затем сталкиваются с одними и теми же предсказуемыми препятствиями. Разница между 5% успешных и 95% без отдачи не заключается в удаче или бюджете; это избежание шести критических ошибок, которые убивают ценность агентов ИИ, прежде чем они начнут работать.

Ваши данные хаотичнее, чем вы думаете

Большинство команд думают, что наличие данных означает, что они готовы к ИИ. Они указывают на свой 데이터-лейк, свою CRM, свои тщательно поддерживаемые базы данных и предполагают, что успех гарантирован. Затем они сбрасывают все в LLM и удивляются, почему их агент производит мусорные выходы или сжигает их бюджет за несколько дней.

Хаотичные данные создают хаотичных агентов. Если вы отправляете сырые дампы базы данных, экспорты, заполненные HTML, или неструктурированные текстовые блобы агенту ИИ, вы его подготавливаете к провалу. Модели путаются из-за нерелевантных полей, отвлекаются на артефакты форматирования и перегружаются объемом.

Команды обычно отправляют записи клиентов с 47 полями, когда только 3 являются критическими для принятия решений. Они включают UUID, которые не добавляют никакой семантической ценности, но потребляют драгоценные токены. Они кормят агентов HTML, скрапированным из внутренних инструментов, вместо чистой, структурированной информации.

Вы столкнетесь с ограничениями быстрее, чем ожидаете

Каждая команда верит, что они никогда не столкнутся с ограничениями контекста. “Мы обрабатываем только несколько записей клиентов”, – говорят они. “Как это может быть сложно?” Затем их агент должен проанализировать 500 тикетов поддержки, каждый с полной историей разговора, и вдруг они сталкиваются с потолками в миллион токенов.

Большие контексты накапливаются быстрее, чем кто-либо ожидает. Агент поддержки клиентов, обрабатывающий эскалации, может потребовать доступа к истории тикетов, статьям базы знаний, предыдущим взаимодействиям и документации продукта. Это легко сотни тысяч токенов на запрос. Умножьте это на одновременных пользователей, и ваши затраты на инфраструктуру выйдут из-под контроля.

Наивный подход заключается в том, чтобы просто отправить все модели и надеяться на лучшее. Умные команды разбивают запросы на части, суммируют каждую часть, затем работают на сумме сумм. Этот иерархический подход сохраняет запросы управляемыми, сохраняя при этом критическую информацию, необходимую агентам для принятия хороших решений.

Безопасность становится сложной быстро

Команды возбуждаются личностью и возможностями своего агента ИИ, пишут некоторые базовые руководства и думают, что они защищены. На самом деле агенты ИИ требуют фундаментально другого подхода к безопасности, чем традиционные приложения.

Агенты ИИ могут быть обмануты, манипулированы и принуждены к действиям, которые нарушают традиционные модели безопасности. Входные данные пользователей могут содержать скрытые инструкции, которые переопределяют ваши тщательно созданные подсказки. Агенты могут быть убеждены игнорировать свои руководства, получить доступ к данным, которые они не должны видеть, или совершить действия вне их предполагаемого объема.

Умные реализации требуют строгих границ того, что агенты могут и не могут делать. Для всего, что изменяет состояние; записывает данные, отправляет электронные письма, делает вызовы API; вам нужен рабочий процесс предложения-обоснования-одобрения. Агент объясняет, что он хочет сделать и почему, затем ждет человеческого одобрения, прежде чем действовать. Это предотвращает бегущую автоматизацию, сохраняя при этом преимущества помощи ИИ.

Что действительно работает

Из наблюдения за сотнями реализаций агентов ИИ шесть практик отличают успешные развертывания от дорогих неудач.

Первое – гигиена данных. Отправляйте компактный, типизированный JSON с фиксированными схемами. Удалите UUID, HTML, дублирующие поля и любую конфиденциальную информацию, если только она не абсолютно критична для принятия решений. Замените конфиденциальные данные метаданными, когда это возможно. Это сохраняет модели сосредоточенными, снижая размер полезной нагрузки, стоимость и задержку.

Второе – управление контекстом. Вы столкнетесь с ограничениями токенов быстрее, чем ожидаете. Разбейте запросы на более мелкие части, суммируйте каждую, затем работайте на сумме сумм. Этот иерархический подход сохраняет запросы под контролем, сохраняя при этом необходимый контекст.

Третье – безопасность подсказок. Определите строгие границы того, что может и не может делать ваш агент. Реализуйте рабочие процессы предложения-обоснования-одобрения для всего, что изменяет состояние. Относитесь ко всем данным пользователей как к ненадежным; удалите код и ссылки, и напомните моделям никогда не следовать инструкциям, скрытым в тексте пользователя. Постоянно отслеживайте подсказки и выходы на предмет аномального или нарушающего политику поведения, чтобы обеспечить эффективность границ с течением времени.

Четвертое – контроль затрат. Установите бюджеты токенов и затрат на каждый запрос и рабочий процесс. Журналируйте использование токенов по инструментам и подсказкам, чтобы обнаружить регрессии на ранней стадии. Без дисциплины вы столкнетесь с неуправляемыми счетами или всплесками задержки, как только принятие вырастет.

Пятое – обеспечение качества. Сохраните частный набор оценки реальных инцидентов и пограничных случаев. Отслеживайте точность, полноту и регрессии. Новые модели удивят вас, обычно плохим образом. Для критических рабочих процессов используйте температуру gầnко нулю и засеянные бэкенды для последовательных выходов.

Шестое – управление. Заблокируйте соглашения о共享 данных, прежде чем какая-либо информация будет передана. Уточните, что общается, как оно защищено и кто отвечает. Это не только юридический прикрытие; это сигнал доверия, что вы относитесь к данным серьезно.

Почему большинство команд ошибаются

Проекты агентов ИИ не дают никакой отдачи от инвестиций, потому что команды фокусируются на неправильных вещах. Они одержимы тем, какую модель использовать, игнорируя качество данных. Они строят сложные рабочие процессы, пропуская базовые контроли безопасности. Они развертывают агентов без контроля затрат, затем паникуют, когда счета взлетают.

Успешные 5% понимают, что агенты ИИ не являются просто программным обеспечением; они представляют собой новую категорию цифровых работников, требующих разных практик управления. Им нужны чистые данные, ясные границы и постоянный надзор. Если вы получите эти основы правильно, агенты ИИ становятся мощными умножителями производительности. Если вы их испортите, вы присоединитесь к 95%, задаваясь вопросом, почему их дорогое вложение в ИИ не дало никакой измеримой отдачи.