Тактичні кроки для успішного PoC GenAI

Проекти доказу концепції (PoC) є полігоном для нових технологій, і Генеративний ІІ (GenAI) не є винятком. Що насправді означає успіх для PoC GenAI? Просто кажучи, успішний PoC – це той, який безперешкодно переходить до виробництва. Проблема полягає в тому, що через новизну технології та її швидку еволюцію більшість PoC GenAI в першу чергу зосереджені на технічній здійсненності та метриках, таких як точність та виклик. Це вузьке зосередження є однією з основних причин, чому PoC не вдавалися. Опитування McKinsey виявило, що хоча одна четверта респондентів були стурбовані точністю, багато з них боролися не менше з проблемами безпеки, пояснюваності, управління інтелектуальною власністю (ІП) та дотриманням нормативних вимог. Додавання загальних проблем, таких як погана якість даних, обмеження масштабованості та проблеми інтеграції, і легко зрозуміти, чому так багато PoC GenAI не можуть рухатися вперед.

Поза гіпером: Реальність PoC GenAI

Прийняття GenAI явно зростає, але справжній рівень успіху PoC залишається неясним. Звіти пропонують різні статистичні дані:

• Gartner прогнозує, що до кінця 2025 року щонайменше 30% проектів GenAI будуть припинені після стадії PoC, що означає, що 70% можуть перейти до виробництва.
• Дослідження Avanade (цитоване в RTInsights) показало, що 41% проектів GenAI залишаються застряглими на стадії PoC.
• Звіт Deloitte за січень 2025 року Стан GenAI в корпорації оцінює, що лише 10-30% PoC будуть масштабовані до виробництва.
• Дослідження IDC (цитоване в CIO.com) показало, що в середньому лише 5 з 37 PoC (13%) переходять до виробництва.

З оцінками від 10% до 70%, справжній рівень успіху, ймовірно, ближче до нижньої межі. Це підкреслює, що багато організацій борються з розробкою PoC з чітким шляхом до масштабування. Низький рівень успіху може виснажити ресурси, загасити ентузіазм і зупинити інновації, що призводить до того, що команди відчувають себе застряглими в пілотних проєктах, які ніколи не переходять до виробництва.

Перехід за межі марних зусиль

GenAI ще знаходиться на ранніх етапах свого циклу прийняття, як і хмарні обчислення та традиційний ІІ раніше. Хмарні обчислення зайняли 15-18 років, щоб досягти широкого прийняття, тоді як традиційний ІІ потребував 8-10 років і все ще росте. Історично прийняття ІІ слідувало циклу буму та краху, у якому початковий ентузіазм призводить до надутих очікувань, за яким слідує сповільнення, коли виникають проблеми, перш ніж врешті-решт стабілізуватися в основному використанні. Якщо історія є будь-яким орієнтиром, прийняття GenAI матиме свої власні підйоми та падіння.

Щоб ефективно орієнтуватися в цьому циклі, організації повинні забезпечити, щоб кожен PoC був розроблений з урахуванням масштабованості, уникання загальних підводних каменів, які призводять до марних зусиль. Розпізнавши ці виклики, провідні технологічні та консалтингові компанії розробили структуровані рамки, щоб допомогти організаціям перейти за межі експериментів та успішно масштабувати свої ініціативи GenAI.

Мета цієї статті – доповнити ці рамки та стратегічні зусилля, викладаючи практичні, тактичні кроки, які можуть суттєво збільшити ймовірність переходу PoC GenAI від тестування до реального впливу.

Ключові тактичні кроки для успішного PoC GenAI

1. Виберіть випадок використання з урахуванням виробництва

По-перше, виберіть випадок використання з чітким шляхом до виробництва. Це не означає проведення повного, корпоративного оцінювання готовності GenAI. Замість цього оцінюйте кожен випадок використання окремо на основі факторів, таких як якість даних, масштабованість та вимоги до інтеграції, і пріоритезуйте ті, які мають найвищу ймовірність переходу до виробництва.

Деякі інші ключові питання, які потрібно розглянути при виборі правильного випадку використання:

• Чи відповідає мій PoC довгостроковим бізнес-цілям?
• Чи можна отримати та використовувати необхідні дані законно?
• Чи є чіткі ризики, які запобігатимуть масштабуванню?

2. Визначте та узгодьте метрики успіху до початку

Одна з найбільших причин, чому PoC застряють, полягає в відсутності чітко визначених метрик для вимірювання успіху. Без сильної узгодженості щодо цілей та очікувань ROI навіть технічні PoC можуть боротися за отримання схвалення для виробництва. Оцінка ROI не є легкою, але ось деякі рекомендації:

• Придумайте або прийміть рамку, таку як ця.
• Використовуйте калькулятори витрат, як цей інструмент ціноутворення API OpenAI, та калькулятори постачальників хмарних послуг для оцінки витрат.
• Замість однієї цілі розробіть оцінку ROI на основі діапазону з ймовірностями для врахування невизначеності.

Ось приклад того, як команда QueryGPT від Uber оцінила потенційний вплив свого інструменту GenAI текст-до-SQL.

3. Забезпечте швидке експериментування

Створення додатків GenAI полягає в експериментуванні, яке вимагає постійної ітерації. При виборі свого технологічного стеку, архітектури, команди та процесів забезпечте, щоб вони підтримували цей ітеративний підхід. Вибори повинні забезпечувати безперешкодне експериментування, від генерації гіпотез та виконання тестів до збору даних, аналізу результатів, навчання та вдосконалення.

• Розгляньте можливість найму малих та середніх послугових постачальників для прискорення експериментування.
• Виберіть бенчмарки, оцінки та рамки оцінки на початку, забезпечуючи, щоб вони відповідали вашому випадку використання та цілям.
• Використовуйте техніки, такі як LLM-as-a-judge або LLM-as-Juries, для автоматизації (напівавтоматизації) оцінки.

4. Прицільтеся на рішення з низьким тертям

Рішення з низьким тертям вимагає менше схвалень і, отже, зустрічає менше чи жодних заперечень проти прийняття та масштабування. Швидкий ріст GenAI призвів до вибуху інструментів, рамок та платформ, розроблених для прискорення PoC та розгортання у виробництві. Однак багато з цих рішень діють як чорні скриньки, що вимагає суворого розгляду з боку команд ІТ, юридичних, безпекових та команд управління ризиками. Щоб подолати ці виклики та оптимізувати процес, розгляньте наступні рекомендації для побудови рішення з низьким тертям:

• Створіть спеціальну дорожню карту для схвалень: Розгляньте створення спеціальної дорожньої карти для вирішення проблем команд-партнерів та отримання схвалень.
• Використовуйте попередньо схвалені технологічні стеки: Куди можливо, використовуйте технологічні стеки, які вже схвалені та використовуються для уникнення затримок у схваленні та інтеграції.
• Зосередьтеся на необхідних інструментах: Ранні PoC зазвичай не потребують доопрацювання моделей, автоматизованих циклів зворотного зв’язку чи широкої спостережуваності/SRE. Замість цього пріоритезуйте інструменти для основних завдань, таких як векторизація, вкладення, отримання знань, захист та розробка інтерфейсу користувача.
• Використовуйте інструменти з низьким кодом/без коду з обережністю: Хоча ці інструменти можуть прискорити графіки, їх чорна скринька обмежує можливості налаштування та інтеграції. Використовуйте їх з обережністю та розгляньте їх довгострокові наслідки.
• Вирішуйте проблеми безпеки на ранній стадії: Реалізуйте техніки, такі як генерація синтетичних даних, маскування даних PII та шифрування, для вирішення проблем безпеки активно.

5. Зіберіть лекую, підприємницьку команду

Як і в будь-якому проєкті, наявність правильної команди з необхідними навичками є критично важливою для успіху. Окрім технічної експертизи, ваша команда також повинна бути гнучкою та підприємницькою.

• Розгляньте можливість включення менеджерів продукту та експертів у галузі (SME), щоб забезпечити, що ви розв’язуєте правильну проблему.
• Забезпечте, щоб у вас були як повні розробники стеку, так і інженери машинного навчання в команді.
• Уникайте найму спеціально для PoC або позичання внутрішніх ресурсів з проєктів вищої пріоритетності, довгострокових проєктів. Замість цього розгляньте можливість найму малих та середніх послугових постачальників, які можуть швидко привести потрібних фахівців.
• Вбудуйте партнерів з юридичної та безпекової сфери з першого дня.

6. Пріоритезуйте нефункціональні вимоги також

Для успішного PoC важливо встановити чіткі межі проблеми та фіксований набір функціональних вимог. Однак нефункціональні вимоги не повинні бути проігноровані. Хоча PoC повинен залишатися зосередженим у межах проблеми, його архітектуру слід розробляти з високою продуктивністю. Конкретніше, досягнення затримки на рівні мілісекунд може не бути негайною необхідністю, однак PoC повинен бути здатним безперешкодно масштабуватися, коли розширюється кількість бета-користувачів. Вибирайте модульну архітектуру, яка залишається гнучкою та агностичною до інструментів.

7. Розробіть план для вирішення галюцинацій

Галюцинації є неминучими для мовних моделей. Тому захист є критично важливим для масштабування рішень GenAI відповідально. Однак оцініть, чи необхідні автоматичні захисти під час стадії PoC та в якій мірі. Замість ігнорування або надмірної інженерії захисту замість цього визначте, коли ваші моделі галюцинують та позначте їх для користувачів PoC.

8. Прийміть найкращі практики управління продуктом та проєктом

Ця ілюстрація XKCD застосовується до PoC так само, як і до виробництва. Не існує універсального підходу. Однак прийняття найкращих практик з управління проєктами та продуктами може допомогти оптимізувати та досягти прогресу.

• Використовуйте канбан або агайл-методи для тактичного планування та виконання.
• Документуйте все.
• Проведіть скрам-оф-скрамів для ефективної співпраці з командами-партнерами.
• Тримайте своїх зацікавлених сторін та керівництво в курсі прогресу.

Висновок

Виконання успішного PoC GenAI полягає не лише у доведенні технічної здійсненності, а й у оцінці фундаментальних виборів на довгий термін. Дбайливо вибираючи правильний випадок використання, узгоджуючи метрики успіху, забезпечуючи швидке експериментування, мінімізуючи тертя, збираючи правильну команду, вирішуючи як функціональні, так і нефункціональні вимоги, та плануючи виклики, такі як галюцинації, організації можуть суттєво покращити свої шанси на перехід від PoC до виробництва.

Тим сказано, кроки, викладені вище, не є вичерпними, і не кожна рекомендація буде застосовуватися до кожного випадку використання. Кожен PoC є унікальним, і ключ до успіху полягає в адаптації цих найкращих практик до ваших конкретних бізнес-цілей, технічних обмежень та нормативного ландшафту.

Сильна візія та стратегія є суттєво важливими для прийняття GenAI, але без правильних тактичних кроків навіть найкращі плани можуть застрягти на стадії PoC. Виконання – це місце, де великі ідеї або вдавалися, або провалилися, і наявність чіткого, структурованого підходу забезпечує, що інновації перекладаються у реальний вплив.