Почему 95% инициатив по ИИ не дают никакой отдачи от инвестиций

Недавнее исследование MIT показало, что 95% организаций не получают никакой отдачи от инвестиций в инициативы по генеративному ИИ; нет измеримого влияния на прибыль и убытки, несмотря на значительные инвестиции. Заголовки были сосредоточены на уровне неудач, но реальный вопрос не в том, работает ли технология. Большие языковые модели мощные, доступные и быстро совершенствуются. Проблема заключается в том, как бизнес пытается их использовать.

Большинство организаций подходят к агентам ИИ так же, как они подходили к каждому другому технологическому внедрению. Они берут существующие процессы, добавляют немного ИИ и ожидают магии. Когда это не работает, они обвиняют модели. Но неудача происходит задолго до того, как ИИ будет вовлечен.

Я видел эту закономерность повторяющейся в различных предприятиях, строящих потоки работы ИИ. Команды возбуждаются возможностями, спешат в разработку, а затем сталкиваются с одними и теми же предсказуемыми препятствиями. Разница между 5% успешных и 95% без отдачи не в удаче или бюджете; это избежание шести критических ошибок, которые убивают ценность агентов ИИ, прежде чем она начнется.

Ваши данные хаотичнее, чем вы думаете

Большинство команд думают, что наличие данных означает, что они готовы к ИИ. Они указывают на свой хранилище данных, свою CRM, свои тщательно поддерживаемые базы данных и предполагают, что успех гарантирован. Затем они сбрасывают все в большую языковую модель и удивляются, почему их агент производит мусорные выходные данные или сжигает свой бюджет за несколько дней.

Грязные данные создают грязных агентов. Если вы отправляете сырые дампы базы данных, экспорты, заполненные HTML, или неструктурированные текстовые блоки в агент ИИ, вы его подготавливаете к неудаче. Модели путаются в нерелевантных полях, отвлекаются на артефакты форматирования и перегружаются чистым объемом.

Команды регулярно отправляют записи клиентов с 47 полями, когда только 3 являются решающими. Они включают UUID, которые добавляют нулевую семантическую ценность, но потребляют драгоценные токены. Они кормят агентов HTML, скрапированным из внутренних инструментов, вместо чистой, структурированной информации.

Вы столкнетесь с ограничениями быстрее, чем ожидаете

Каждая команда считает, что никогда не столкнется с ограничениями контекста. “Мы обрабатываем только несколько записей клиентов”, – говорят они. “Как это может быть трудно?” Затем их агент должен проанализировать 500 тикетов поддержки, каждый с полной историей разговора, и вдруг они сталкиваются с потолками в миллион токенов.

Большие контексты накапливаются быстрее, чем кто-либо ожидает. Агент поддержки клиентов, обрабатывающий эскалации, может потребовать доступа к истории тикетов, статьям базы знаний, предыдущим взаимодействиям и документации продукта. Это легко сотни тысяч токенов на запрос. Умножьте это на конкурирующих пользователей, и ваши затраты на инфраструктуру выйдут из-под контроля.

Наивный подход – просто отправить все модели и надеяться на лучшее. Умные команды разбивают запросы на части, суммируют каждую часть, а затем работают на суммировании суммирований. Этот иерархический подход сохраняет запросы управляемыми, сохраняя при этом важную информацию, необходимую агентам для принятия хороших решений.

Безопасность становится сложной быстро

Команды возбуждаются личностью и возможностями своего агента ИИ, пишут некоторые базовые рекомендации и думают, что они защищены. На самом деле агенты ИИ требуют фундаментально другого подхода к безопасности, чем традиционные приложения.

Агенты ИИ могут быть обмануты, манипулированы и принуждены способами, которые нарушают традиционные модели безопасности. Входные данные пользователей могут содержать скрытые инструкции, которые переопределяют ваши тщательно созданные подсказки. Агенты могут быть убеждены игнорировать свои рекомендации, получить доступ к данным, которые они не должны видеть, или совершать действия вне их предполагаемого объема.

Умные реализации требуют строгих границ того, что агенты могут и не могут делать. Для всего, что меняет состояние; записывает данные, отправляет электронные письма, совершает API-вызовы; вам нужен рабочий процесс предложения-обоснования-одобрения. Агент объясняет, что он хочет сделать и почему, а затем ждет человеческого одобрения, прежде чем действовать. Это предотвращает неуправляемую автоматизацию, сохраняя при этом преимущества помощи ИИ.

Что действительно работает

Из наблюдения за сотнями реализаций агентов ИИ шесть практик отличают успешные развертывания от дорогих неудач.

Первое – это гигиена данных. Отправляйте компактный, типизированный JSON с фиксированными схемами. Удалите UUID, HTML, дублирующие поля и любую конфиденциальную информацию, если только она не абсолютно решающая. Замените конфиденциальные данные метаданными, когда это возможно. Это сохраняет модели сосредоточенными, одновременно сокращая размер полезной нагрузки, стоимость и задержку.

Второе – это управление контекстом. Вы столкнетесь с ограничениями токенов быстрее, чем ожидаете. Разбейте запросы на более мелкие части, суммируйте каждую часть, а затем работайте на суммировании суммирований. Этот иерархический подход сохраняет запросы под контролем, сохраняя при этом необходимый контекст.

Третье – это безопасность подсказок. Определите строгие границы того, что ваш агент может и не может делать. Реализуйте рабочие процессы предложения-обоснования-одобрения для всего, что меняет состояние. Относитесь ко всем данным пользователей как к ненадежным; удалите код и ссылки, и напомните моделям никогда не следовать инструкциям, скрытым в тексте пользователя. Постоянно отслеживайте подсказки и выходные данные на предмет аномального или нарушающего политику поведения, чтобы обеспечить эффективность границ с течением времени.

Четвертое – это контроль затрат. Установите токены и бюджет затрат на каждый запрос и каждый рабочий процесс. Журналируйте использование токенов по инструментам и подсказкам, чтобы обнаружить регрессии на ранней стадии. Без дисциплины вы столкнетесь с неуправляемыми счетами или всплесками задержки, как только принятие увеличится.

Пятое – это обеспечение качества. Сохраните частный набор оценки реальных инцидентов и пограничных случаев. Отслеживайте точность, полноту и регрессии. Новые модели удивят вас, обычно плохим образом. Для критических рабочих процессов используйте температуру возле нуля и засеянные бэкенды для последовательных выходных данных.

Шестое – это управление. Зафиксируйте соглашения об обмене данными, прежде чем какая-либо информация будет передана. Уточните, что общается, как оно защищено и кто несет ответственность. Это не только юридическое прикрытие; это сигнал доверия, что вы серьезно относитесь к данным.

Почему большинство команд ошибаются

Проекты агентов ИИ не дают никакой отдачи от инвестиций, потому что команды фокусируются на неправильных вещах. Они одержимы выбором модели, игнорируя при этом качество данных. Они строят сложные рабочие процессы, пропуская при этом базовые меры безопасности. Они развертывают агентов без контроля затрат, а затем паникуют, когда счета взлетают.

Успешные 5% понимают, что агенты ИИ не являются просто программным обеспечением; они представляют собой новый класс цифровых работников, требующих разных методов управления. Им нужны чистые данные, четкие границы и постоянный надзор. Если вы получите эти основы правильно, агенты ИИ становятся мощными умножителями производительности. Если вы ошибетесь, вы присоединитесь к 95%, задаваясь вопросом, почему их дорогое вложение в ИИ не дало никакой измеримой отдачи.