Тактичні кроки для успішного PoC GenAI

Проект доказу концепції (PoC) – це полігон для випробування нової технології, і Генеративний ІІ (GenAI) не є винятком. Що насправді означає успіх для проекту GenAI PoC? Просто кажучи, успішний PoC – це той, який безперешкодно переходить у виробництво. Проблема полягає в тому, що через новизну технології та її швидку еволюцію більшість проектів GenAI PoC в першу чергу зосереджені на технічній здійсненності та метриках, таких як точність і виклик. Ця вузька спрямованість є однією з основних причин, чому PoC провалюються. Опитування McKinsey виявило, що хоча одна четверта респондентів були стурбовані точністю, багато з них боролися не менше з проблемами безпеки, пояснюваністю, управлінням інтелектуальною власністю (ІП) та дотриманням нормативних вимог. Додайте до цього загальні проблеми, такі як погана якість даних, обмеження масштабованості та інтеграційні проблеми, і стає зрозуміло, чому так багато проектів GenAI PoC не можуть вийти за межі стадії PoC.

Поза гіпером: Реальність проектів GenAI PoC

Успіх проекту GenAI явно зростає, але справжня швидкість успіху PoC залишається неясною. Звіти пропонують різні статистичні дані:

• Gartner прогнозує, що до кінця 2025 року щонайменше 30% проектів GenAI будуть припинені після стадії PoC, що означає, що 70% можуть перейти у виробництво.
• Дослідження Avanade (цитоване в RTInsights) виявило, що 41% проектів GenAI залишаються на стадії PoC.
• Звіт Deloitte за січень 2025 року The State of GenAI in the Enterprise оцінює, що тільки 10-30% PoC перейдуть у виробництво.
• Дослідження IDC (цитоване в CIO.com) виявило, що в середньому тільки 5 з 37 PoC (13%) переходять у виробництво.

З оцінками, що варіюються від 10% до 70%, реальна швидкість успіху, ймовірно, ближче до нижньої межі. Це підкреслює, що багато організацій борються з розробкою PoC з чітким шляхом до масштабування. Низька швидкість успіху може виснажити ресурси, загасити ентузіазм і зупинити інновації, що призводить до того, що команди відчувають себе в пастці, керуючи пілотними проектами, які ніколи не переходять у виробництво.

Перехід за межі марних зусиль

GenAI ще перебуває на ранній стадії свого циклу прийняття, як і хмарні обчислення та традиційний ІІ раніше. Хмарні обчислення зайняли 15-18 років, щоб досягти широкого прийняття, тоді як традиційний ІІ потребував 8-10 років і все ще росте. Історично прийняття ІІ слідувало циклу буму та краху, у якому початковий ентузіазм призводить до надутих очікувань, після чого відбувається сповільнення, коли виникають проблеми, а потім стабілізація в основному використанні. Якщо історія є орієнтиром, прийняття GenAI матиме свої власні висхідні та низхідні етапи.

Щоб ефективно орієнтуватися в цьому циклі, організації повинні забезпечити, щоб кожен PoC був розроблений з урахуванням масштабованості, уникając загальних підводних каменів, які призводять до марних зусиль. Визнаючи ці виклики, провідні технологічні та консалтингові компанії розробили структуровані框ки, щоб допомогти організаціям перейти за межі експериментів і успішно масштабувати свої ініціативи GenAI.

Мета цієї статті – доповнити ці рамках і стратегічні зусилля, викладаючи практичні, тактичні кроки, які можуть суттєво збільшити ймовірність переходу проекту GenAI PoC від тестування до реального впливу.

Ключові тактичні кроки для успішного проекту GenAI PoC

1. Виберіть випадок використання з урахуванням виробництва

Перш за все, виберіть випадок використання з чітким шляхом до виробництва. Це не означає проведення комплексної оцінки готовності GenAI на рівні підприємства. Замість цього оцінюйте кожен випадок використання окремо на основі факторів, таких як якість даних, масштабованість та вимоги до інтеграції, і пріоритезуйте ті, які мають найвищу ймовірність переходу у виробництво.

Деякі інші ключові питання, які потрібно розглянути під час вибору правильного випадку використання:

• Чи відповідає мій PoC довгостроковим бізнес-цілям?
• Чи можна отримати та використовувати необхідні дані законно?
• Чи є чіткі ризики, які завадять масштабуванню?

2. Визначіть і узгодьте метрики успіху до початку

Одна з найбільших причин, чому PoC застряють, – це відсутність чітко визначених метрик для вимірювання успіху. Без сильної узгодженості щодо цілей і очікувань ROI навіть технічно звучні PoC можуть боротися за отримання згоди на виробництво. Оцінка ROI не є легкою, але ось деякі рекомендації:

• Розробіть або прийміть рамкову структуру, таку як цю.
• Використовуйте калькулятори витрат, такі як цей інструмент розрахунку ціни OpenAI API, та калькулятори постачальників хмарних послуг для оцінки витрат.
• Замість однієї цілі розробіть оцінку ROI на основі діапазону з ймовірностями, щоб врахувати невизначеність.

Ось приклад того, як команда QueryGPT з Uber оцінила потенційний вплив свого інструменту GenAI текст-у-SQL.

3. Надайте можливість швидкої експериментації

Розробка застосунків GenAI – це все про експериментування, яке вимагає постійної ітерації. Коли ви вибираєте свій технологічний стек, архітектуру, команду та процеси, забезпечте, щоб вони підтримували цей ітеративний підхід. Вибори повинні дозволяти безперешкодну експериментацію, від генерації гіпотез і проведення тестів до збору даних, аналізу результатів, навчання та вдосконалення.

• Розгляньте можливість найму малих та середніх сервісних постачальників для прискорення експериментів.
• Виберіть бенчмарки, оцінки та рамкові структури оцінки на початку, забезпечуючи, щоб вони відповідали вашому випадку використання та цілям.
• Використовуйте техніки, такі як LLM-as-a-judge або LLM-as-Juries, для автоматизації (напівавтоматизації) оцінки.

4. Стреміться до рішень з низьким тертям

Рішення з низьким тертям вимагає менше погоджень і, отже, зустрічає менше заперечень проти прийняття та масштабування. Швидкий розвиток GenAI призвів до вибуху інструментів, рамкових структур та платформ, розроблених для прискорення PoC та розгортання у виробництво. Однак багато з цих рішень працюють як чорні скриньки, що вимагають суворого контролю з боку команд ІТ, юридичних, безпеки та управління ризиками. Щоб подолати ці виклики та оптимізувати процес, розгляньте наступні рекомендації для побудови рішення з низьким тертям:

• Створіть спеціальну дорожню карту для погоджень: Розгляньте можливість створення спеціальної дорожньої карти для вирішення проблем партнерських команд та отримання погоджень.
• Використовуйте попередньо затверджені технологічні стеки: Коли це можливо, використовуйте технологічні стеки, які вже затверджені та використовуються, щоб уникнути затримок у затвердженні та інтеграції.
• Зосередьтеся на основних інструментах: Ранні PoC зазвичай не потребують настройки моделей, автоматичних циклів зворотного зв’язку чи широкого спостереження/SRE. Замість цього пріоритезуйте інструменти для основних завдань, таких як векторизація, вкладення, пошук знань, обмежувачі та розробка інтерфейсу користувача.
• Використовуйте інструменти з низьким кодом/без коду з обережністю: Хоча ці інструменти можуть прискорити графік, їх чорна скринька обмежує можливості настройки та інтеграції. Використовуйте їх з обережністю та розгляньте їх довгострокові наслідки.
• Вирішуйте проблеми безпеки на ранній стадії: Реалізуйте техніки, такі як генерація синтетичних даних, маскування даних PII та шифрування, щоб вирішувати проблеми безпеки на початку.

5. Зіберіть команду з низьким рівнем бюрократії та підприємницьким духом

Як і в будь-якому проекті, наявність правильної команди з необхідними навичками є критично важливою для успіху. Окрім технічної експертизи, ваша команда також повинна бути гнучкою та підприємницькою.

• Розгляньте можливість включення до складу команди менеджерів продукту та експертів у певній галузі (SME), щоб забезпечити, що ви розв’язуєте правильну проблему.
• Забезпечте, щоб у вас були як повні розробники стеку, так і інженери з машинного навчання в складі команди.
• Уникайте найму спеціально для PoC або позичання внутрішніх ресурсів з проектів вищого пріоритету та тривалості. Замість цього розгляньте можливість найму малих та середніх сервісних постачальників, які можуть швидко привести необхідний талант.
• Вбудуйте партнерів з юридичної та безпеки команди з першого дня.

6. Пріоритезуйте нефункціональні вимоги також

Для успішного PoC необхідно встановити чіткі кордони проблеми та фіксований набір функціональних вимог. Однак нефункціональні вимоги не повинні бути проігноровані. Хоча PoC повинен залишатися сфокусованим у межах кордонів проблеми, його архітектура повинна бути розроблена з урахуванням високої продуктивності. Конкретно, досягнення затримки на рівні мілісекунд може не бути негайною необхідністю, однак PoC повинен бути здатним безперешкодно масштабуватися по мірі розширення бета-користувачів. Вибирайте модульну архітектуру, яка залишається гнучкою та незалежною від інструментів.

7. Розробіть план для вирішення галюцинацій

Галюцинації є неминучими для мовних моделей. Тому обмежувачі є критично важливими для відповідальného масштабування рішень GenAI. Однак оцінюйте, чи необхідні автоматичні обмежувачі на стадії PoC та в якій мірі. Замість ігнорування або надмірної інженерії обмежувачів виявляйте, коли ваші моделі галюцинують, та позначайте їх для користувачів PoC.

8. Прийміть найкращі практики управління продуктом та проектом

Цей ілюстрація XKCD застосовується до PoC так само, як і до виробництва. Не існує універсальної інструкції. Однак прийняття найкращих практик з управління проектами та продуктом може допомогти оптимізувати та досягти прогресу.

• Використовуйте методи канбан або агайл для тактичного планування та виконання.
• Документуйте все.
• Проводьте скрам-оф-скрам, щоб ефективно співпрацювати з партнерськими командами.
• Тримайте своїх зацікавлених сторін та керівництво в курсі прогресу.

Висновок

Виконання успішного проекту GenAI PoC – це не тільки питання технічної здійсненості, а й оцінка фундаментальних виборів на довгий термін. Обираючи правильний випадок використання, узгоджуючи метрики успіху, забезпечуючи швидку експериментацію, мінімізуючи тертя, збираючи правильну команду, вирішуючи як функціональні, так і нефункціональні вимоги, та плануючи виклики, такі як галюцинації, організації можуть суттєво покращити свої шанси на перехід від PoC до виробництва.

Тим не менш, кроки, викладені вище, не є вичерпними, і не кожна рекомендація буде застосовуватися до кожного випадку використання. Кожен PoC є унікальним, і ключ до успіху полягає в адаптації цих найкращих практик до конкретних бізнес-цілей, технічних обмежень та нормативного ландшафту.

Сильна візія та стратегія є суттєво важливими для прийняття GenAI, але без правильних тактичних кроків навіть найкращі плани можуть зупинитися на стадії PoC. Виконання – це місце, де великі ідеї або успішно реалізуються, або провалюються, і наявність чіткого, структурованого підходу забезпечує, що інновації переходять у реальний вплив.