Тактические шаги для успешного PoC GenAI

Проекты Proof of Concept (PoC) являются полигоном для испытания новой технологии, и Генеративный ИИ (GenAI) не является исключением. Что на самом деле означает успех для PoC GenAI? Просто говоря, успешный PoC – это тот, который без проблем переходит в производство. Проблема заключается в том, что из-за новизны технологии и ее быстрого развития большинство PoC GenAI в первую очередь сосредоточены на технической осуществимости и метриках, таких как точность и полнота. Такой узкий фокус является одной из основных причин, почему PoC терпят неудачу. Опрос McKinsey нашел, что хотя одна четверть респондентов беспокоилась об точности, многие столкнулись с такими же проблемами, как безопасность, объяснимость, управление интеллектуальной собственностью (ИС) и соблюдение нормативных требований. Добавьте к этому распространенные проблемы, такие как плохое качество данных, ограничения масштабируемости и проблемы интеграции, и становится легко понять, почему так много PoC GenAI не могут перейти к производству.

За пределами шума: реальность PoC GenAI

Принятие GenAI явно на подъеме, но реальная скорость успеха PoC остается неясной. Отчеты предлагают разные статистические данные:

• Gartner прогнозирует, что к концу 2025 года не менее 30% проектов GenAI будут брошены после стадии PoC, что подразумевает, что 70% могут перейти в производство.
• Исследование Avanade (цитированное в RTInsights) показало, что 41% проектов GenAI остаются застрявшими на стадии PoC.
• Отчет Deloitte за январь 2025 года The State of GenAI in the Enterprise оценивает, что только 10-30% PoC будут масштабироваться до производства.
• Исследование IDC (цитированное в CIO.com) показало, что в среднем только 5 из 37 PoC (13%) доходят до производства.

С учетом оценок от 10% до 70%, реальная скорость успеха, вероятно, ближе к нижнему пределу. Это подчеркивает, что многие организации испытывают трудности в проектировании PoC с четким путем к масштабированию. Низкая скорость успеха может истощить ресурсы, охладить энтузиазм и остановить инновации, что приводит к так называемой “усталости PoC”, когда команды чувствуют себя застрявшими в пилотных проектах, которые никогда не доходят до производства.

Переход за пределы бесполезных усилий

GenAI все еще находится на ранних этапах своего цикла принятия, как и облачные вычисления и традиционный ИИ до него. Облачные вычисления потребовали 15-18 лет, чтобы достичь широкого распространения, в то время как традиционный ИИ нуждался в 8-10 годах и все еще растет. Исторически принятие ИИ следовало циклу бума и спада, когда первоначальный энтузиазм приводит к завышенным ожиданиям, за которыми следует замедление, когда возникают проблемы, прежде чем в конечном итоге стабилизироваться в повсеместном использовании. Если история является руководством, принятие GenAI будет иметь свои собственные взлеты и падения.

Чтобы эффективно ориентироваться в этом цикле, организации должны обеспечить, чтобы каждый PoC был спроектирован с учетом масштабируемости, избегая распространенных ловушек, которые приводят к бесполезным усилиям. Признавая эти проблемы, ведущие технологические и консалтинговые фирмы разработали структурированные рамки, чтобы помочь организациям перейти за пределы экспериментов и успешно масштабировать свои инициативы GenAI.

Цель этой статьи – дополнить эти рамки и стратегические усилия, изложив практические, тактические шаги, которые могут существенно увеличить вероятность того, что PoC GenAI перейдет от тестирования к реальному влиянию.

Ключевые тактические шаги для успешного PoC GenAI

1. Выберите случай использования с учетом производства

Прежде всего, выберите случай использования с четким путем к производству. Это не означает проведение всесторонней оценки готовности GenAI на уровне всего предприятия. Вместо этого оцените каждый случай использования индивидуально на основе факторов, таких как качество данных, масштабируемость и требования к интеграции, и отдавайте приоритет тем, у которых есть наибольшая вероятность достижения производства.

Некоторые ключевые вопросы, которые следует учитывать при выборе правильного случая использования:

• Соответствует ли мой PoC долгосрочным бизнес-целям?
• Могу ли я получить доступ к необходимым данным и использовать их законно?
• Есть ли четкие риски, которые могут помешать масштабированию?

2. Определите и согласуйте метрики успеха до начала

Одна из основных причин, почему PoC застревают, – это отсутствие хорошо определенных метрик для измерения успеха. Без сильной согласованности в целях и ожиданиях ROI даже технически звучные PoC могут бороться за получение согласия на производство. Оценка ROI не является простой задачей, но вот некоторые рекомендации:

• Разработайте или примите рамку, такую как эта.
• Используйте калькуляторы затрат, такие как этот инструмент расчета цены API OpenAI, и калькуляторы облачных провайдеров, чтобы оценить расходы.
• Вместо единственной цели разработайте оценку ROI на основе диапазона с вероятностями, чтобы учесть неопределенность.

Вот пример того, как команда QueryGPT Uber оценила потенциальное влияние своего инструмента GenAI текст-в-SQL.

3. Включите быстрое экспериментирование

Создание приложений GenAI – это все об экспериментировании, требующем постоянной итерации. При выборе технологического стека, архитектуры, команды и процессов убедитесь, что они поддерживают этот итеративный подход. Выборы должны обеспечить бесшовное экспериментирование, от генерации гипотез и запуска тестов до сбора данных, анализа результатов, обучения и совершенствования.

• Рассмотрите возможность найма небольших и средних поставщиков услуг, чтобы ускорить экспериментирование.
• Выберите бенчмарки, оценки и рамки оценки на начальном этапе, обеспечивая, что они соответствуют вашему случаю использования и целям.
• Используйте техники, такие как LLM-as-a-judge или LLM-as-Juries, чтобы автоматизировать (полуавтоматизировать) оценку.

4. Стремитесь к решениям с низким трением

Решение с низким трением требует меньше одобрений и, следовательно, сталкивается с меньшим количеством возражений против принятия и масштабирования. Быстрый рост GenAI привел к взрыву инструментов, рамок и платформ, предназначенных для ускорения PoC и развертывания в производстве. Однако многие из этих решений работают как черные ящики, требующие тщательного изучения со стороны команд ИТ, юридических, безопасности и управления рисками. Чтобы решить эти проблемы и оптимизировать процесс, рассмотрите следующие рекомендации для построения решения с низким трением:

• Создайте выделенную дорожную карту для одобрений: Рассмотрите возможность создания выделенной дорожной карты для решения проблем партнерских команд и получения одобрений.
• Используйте предварительно одобренные технологические стека: Когда это возможно, используйте технологические стека, которые уже одобрены и используются, чтобы избежать задержек в одобрении и интеграции.
• Сосредоточьтесь на необходимых инструментах: Ранние PoC обычно не требуют тонкой настройки модели, автоматических петель обратной связи или обширной наблюдаемости/SRE. Вместо этого отдавайте приоритет инструментам для основных задач, таких как векторизация, вложения, извлечение знаний, ограждения и разработка пользовательского интерфейса.
• Используйте инструменты с низким кодом/без кода с осторожностью: Хотя эти инструменты могут ускорить сроки, их характер черного ящика ограничивает возможности настройки и интеграции. Используйте их с осторожностью и учитывайте их долгосрочные последствия.
• Решите проблемы безопасности на ранней стадии: Реализуйте техники, такие как генерация синтетических данных, маскирование данных PII и шифрование, чтобы решить проблемы безопасности проактивно.

5. Соберите команду с низкими затратами и предпринимательским духом

Как и в любом проекте, наличие правильной команды с необходимыми навыками имеет решающее значение для успеха. Помимо технической экспертизы, ваша команда также должна быть гибкой и предпринимательской.

• Рассмотрите возможность включения менеджеров по продукту и экспертов по предмету (SME), чтобы обеспечить, что вы решаете правильную проблему.
• Обеспечьте, что у вас есть как полноценные разработчики, так и инженеры по машинному обучению в команде.
• Избегайте найма специально для PoC или заимствования внутренних ресурсов из проектов с более высоким приоритетом и долгосрочными целями. Вместо этого рассмотрите возможность найма небольших и средних поставщиков услуг, которые могут привлечь необходимый талант быстро.
• Встроите партнеров из юридической и безопасности с первого дня.

6. Отдавайте приоритет нефункциональным требованиям

Для успешного PoC важно установить четкие границы проблемы и фиксированный набор функциональных требований. Однако нефункциональные требования не должны быть упущены из виду. Хотя PoC должен оставаться сосредоточенным в пределах границ проблемы, его архитектура должна быть спроектирована для высокой производительности. Более конкретно, достижение задержки в миллисекундах может не быть немедленной необходимостью, однако PoC должен быть способен без проблем масштабироваться по мере расширения бета-пользователей. Выберите модульную архитектуру, которая остается гибкой и независимой от инструментов.

7. Разработайте план для решения проблем с галлюцинациями

Галлюцинации неизбежны с языковыми моделями. Поэтому ограждения являются важными для масштабирования решений GenAI ответственно. Однако оцените, нужны ли автоматические ограждения на стадии PoC и в какой степени. Вместо того, чтобы игнорировать или чрезмерно проектировать ограждения, обнаружите, когда ваши модели галлюцинируют, и пометьте их для пользователей PoC.

8. Примите лучшие практики управления продуктом и проектом

Эта иллюстрация XKCD применяется к PoC так же, как и к производству. Нет универсального плана. Однако принятие лучших практик управления проектом и продуктом может помочь оптимизировать и добиться прогресса.

• Используйте методы канбан или гибкие методы для тактического планирования и выполнения.
• Документируйте все.
• Проводите скрам-скрамы для эффективного сотрудничества с партнерскими командами.
• Держите ваших заинтересованных сторон и руководство в курсе прогресса.

Заключение

Запуск успешного PoC GenAI – это не только доказательство технической осуществимости, но и оценка фундаментальных выборов на долгосрочную перспективу. Тщательно выбирая правильный случай использования, согласовывая метрики успеха, включая быстрое экспериментирование, минимизируя трение, собирая правильную команду, решая как функциональные, так и нефункциональные требования, и планируя проблемы, такие как галлюцинации, организации могут существенно улучшить свои шансы на переход от PoC к производству.

Тем не менее, шаги, изложенные выше, не являются исчерпывающими, и не каждая рекомендация будет применяться к каждому случаю использования. Каждый PoC уникален, и ключ к успеху заключается в адаптации этих лучших практик к конкретным бизнес-целям, техническим ограничениям и нормативной среде.

Сильная видение и стратегия являются важными для принятия GenAI, но без правильных тактических шагов даже лучшие планы могут застрять на стадии PoC. Исполнение – это где великие идеи либо преуспевают, либо терпят неудачу, и наличие четкого, структурированного подхода обеспечивает, что инновации переводятся в реальное влияние.