Тактичні кроки для успішного GenAI PoC

Проекти Proof of Concept (PoC) є полігоном для випробування нових технологій, і Generative AI (GenAI) не є винятком. Що насправді означає успіх для GenAI PoC? Простіше кажучи, успішний PoC — це той, який плавно переходить у виробництво. Проблема полягає в тому, що через новизну технології та її швидкий розвиток більшість GenAI PoC зосереджені насамперед на технічній здійсненності та показниках, таких як точність і запам’ятовування. Ця вузька спрямованість є однією з головних причин невдачі PoC. А Опитування McKinsey було виявлено, що хоча чверть респондентів хвилювалася щодо точності, багато хто так само боровся з безпекою, пояснюваністю, управлінням інтелектуальною власністю (IP) і дотриманням нормативних вимог. Додайте до таких поширених проблем, як низька якість даних, обмеження масштабованості та головний біль інтеграції, і легко зрозуміти, чому так багато GenAI PoC не просуваються вперед.

Поза межами галасу: реальність GenAI PoC

Прийняття GenAI явно зростає, але справжній рівень успіху PoC залишається незрозумілим. Звіти пропонують різну статистику:

• Gartner прогнозує, що до кінця 2025 року принаймні 30% проектів GenAI будуть залишені після етапу PoC, тобто 70% можуть перейти до виробництва.
• Дослідження Avanade (цит RTInsights) виявили, що 41% проектів GenAI застрягли в PoC.
• Deloitte, січень 2025 р Стан GenAI на підприємстві за оцінками звіту, лише 10-30% PoCs будуть масштабовані до виробництва.
• Дослідження IDC (цит CIO.com) виявили, що в середньому лише 5 із 37 PoC (13%) досягають виробництва.

З оцінками в діапазоні від 10% до 70%, фактичний рівень успіху, ймовірно, ближче до нижнього рівня. Це підкреслює, що багатьом організаціям важко розробити PoC з чітким шляхом до масштабування. Низький рівень успіху може виснажити ресурси, послабити ентузіазм і призупинити інновації, що призведе до того, що часто називають «втомою від PoC», коли команди почуваються застряглими, запускаючи пілотні проекти, які ніколи не доходять до виробництва.

Подолання марних зусиль

GenAI все ще перебуває на ранніх стадіях свого циклу впровадження, подібно до того, як хмарні обчислення та традиційний штучний інтелект. Хмарним обчисленням знадобилося 15-18 років, щоб отримати широке впровадження, тоді як традиційному ШІ потрібно 8-10 років, і він продовжує розвиватися. Історично впровадження штучного інтелекту відбувалося за циклом бум-спад, у якому початкове хвилювання призводило до завищених очікувань, а потім уповільнювалося, коли з’являлися проблеми, перш ніж, зрештою, стабілізувалося до масового використання. Якщо історія є довідником, впровадження GenAI матиме свої злети та падіння.

Щоб ефективно керувати цим циклом, організації повинні переконатися, що кожен PoC розроблено з урахуванням масштабованості, уникаючи типових пасток, які призводять до марних зусиль. Усвідомлюючи ці виклики, провідні технологічні та консалтингові фірми розробили структуровані рамки, щоб допомогти організаціям вийти за рамки експериментів і успішно масштабувати свої ініціативи GenAI.

Мета цієї статті — доповнити ці рамки та стратегічні зусилля, окресливши практичні тактичні кроки, які можуть значно підвищити ймовірність переходу GenAI PoC від тестування до впливу в реальному світі.

Ключові тактичні кроки для успішного GenAI PoC

1. Виберіть варіант використання з урахуванням виробництва

Перш за все, виберіть варіант використання з чітким шляхом до виробництва. Це не означає проведення комплексної оцінки готовності GenAI для всього підприємства. Натомість оцініть кожен варіант використання окремо на основі таких факторів, як якість даних, масштабованість і вимоги до інтеграції, і віддайте пріоритет тим, у яких найвища ймовірність досягнення продуктивності.

Ще кілька ключових питань, які слід враховувати під час вибору правильного варіанту використання:

• Чи відповідає мій PoC довгостроковим бізнес-цілям?
• Чи можна отримати доступ до необхідних даних і використовувати їх законно?
• Чи існують явні ризики, які перешкоджатимуть масштабуванню?

2. Визначте та узгодьте показники успіху перед стартовим ударом

Однією з головних причин зупинки PoC є відсутність чітко визначених показників для вимірювання успіху. Без чіткого узгодження цілей і очікуваної рентабельності інвестицій навіть технічно надійні PoC можуть мати проблеми з отриманням прибутку для виробництва. Оцінити рентабельність інвестицій непросто, але ось кілька рекомендацій: 

• Розробіть або прийміть таку структуру один. 
• Використовуйте калькулятори витрат, наприклад цей інструмент ціноутворення OpenAI API і калькулятори хмарних провайдерів для оцінки витрат.
• Замість єдиної цілі розробіть оцінку ROI на основі діапазону з ймовірностями для врахування невизначеності.

Ось приклад того, як це зробити QueryGPT від Uber команда оцінила потенційний вплив свого інструменту Text-to-SQL GenAI.

3. Увімкніть швидке експериментування

Створення додатків GenAI — це експерименти, які вимагають постійного повторення. Вибираючи технічний стек, архітектуру, команду та процеси, переконайтеся, що вони підтримують цей ітеративний підхід. Вибір має забезпечувати безперебійне експериментування, від створення гіпотез і виконання тестів до збору даних, аналізу результатів, навчання та вдосконалення. 

• Подумайте про наймання малих і середніх постачальників послуг, щоб прискорити експерименти.
• Вибрати тести, системи оцінювання й оцінювання на початку, гарантуючи, що вони відповідають вашому варіанту використання та цілям.
• Використовуйте такі методи, як LLM-як-суддя or LLM-as-Juries автоматизувати (напівавтоматизувати) оцінювання.

4. Прагніть до рішень із низьким коефіцієнтом тертя

Рішення з низьким коефіцієнтом тертя потребує менше схвалень і, отже, стикається з меншою кількістю заперечень або взагалі не викликає жодних заперечень щодо прийняття та масштабування. Швидке зростання GenAI призвело до вибуху інструментів, фреймворків і платформ, призначених для прискорення PoC і розгортання виробництва. Однак багато з цих рішень працюють як чорні скриньки, що вимагає ретельного контролю з боку ІТ, юридичних відділів, відділів безпеки та управління ризиками. Щоб вирішити ці проблеми та спростити процес, розгляньте наступні рекомендації щодо створення рішення з низьким коефіцієнтом тертя:

• Створіть спеціальну дорожню карту для схвалень: подумайте про створення спеціальної дорожньої карти для вирішення проблем партнерської команди та отримання схвалень.
• Використовуйте попередньо схвалені технічні стеки. За можливості використовуйте технічні стеки, які вже схвалені та використовуються, щоб уникнути затримок у схваленні та інтеграції.
• Зосередьтеся на основних інструментах. Ранні PoC зазвичай не вимагають точного налаштування моделі, автоматизованих циклів зворотного зв’язку або широкої можливості спостереження/SRE. Натомість віддайте пріоритет інструментам для таких основних завдань, як векторизація, вбудовування, пошук знань, огорожі та розробка інтерфейсу користувача.
• Використовуйте інструменти з низьким кодом/без коду з обережністю: хоча ці інструменти можуть пришвидшити терміни, їх природа чорної скриньки обмежує можливості налаштування та інтеграції. Використовуйте їх з обережністю та враховуйте їх довгострокові наслідки.
• Заздалегідь вирішуйте проблеми безпеки: застосовуйте такі методи, як генерація синтетичних даних, маскування даних ідентифікаційної інформації та шифрування, щоб завчасно вирішувати проблеми безпеки.

5. Зберіть струнку, підприємницьку команду

Як і в будь-якому іншому проекті, наявність правильної команди з основними навичками має вирішальне значення для успіху. Окрім технічної експертизи, ваша команда також має бути спритною та підприємницькою. 

• Щоб переконатися, що ви вирішуєте правильну проблему, подумайте про залучення менеджерів із продукції та експертів із предметних питань (SME). 
• Переконайтеся, що у вашій команді є як повноцінні розробники, так і інженери машинного навчання. 
• Уникайте наймання спеціально для PoC або запозичення внутрішніх ресурсів із пріоритетних довгострокових проектів. Натомість подумайте про наймання малих і середніх постачальників послуг, які можуть швидко залучити потрібних спеціалістів. 
• Вбудовуйте партнерів з правових питань і безпеки з першого дня.

6. Також визначте пріоритет нефункціональних вимог

Для успішного PoC (Poc) вкрай важливо встановити чіткі межі проблеми та фіксований набір функціональних вимог. Однак не слід ігнорувати нефункціональні вимоги. Хоча PoC має залишатися зосередженим у межах проблеми, його архітектура має бути розроблена для високої продуктивності. Більш конкретно, досягнення мілісекундної затримки може бути ненагальною необхідністю, проте PoC має бути здатним до безперешкодного масштабування в міру розширення бета-користувачів. Оберіть модульну архітектуру, яка залишається гнучкою та незалежною від інструментів.

7. Розробіть план боротьби з галюцинаціями

З мовними моделями галюцинації неминучі. Тому огорожі є критично важливими для відповідального масштабування рішень GenAI. Однак оцініть, чи потрібні автоматизовані огорожі на етапі PoC і в якій мірі. Замість того, щоб ігнорувати або надміру проектувати огорожі, виявляйте коли ваші моделі галюцинують і позначати їх користувачам PoC.

8. Використовуйте найкращі практики управління продуктами та проектами

Цей довідник - XKCD ілюстрація стосується PoC так само, як і виробництва. Універсального підручника для всіх не існує. Однак застосування найкращих практик із управління проектами та продуктами може допомогти оптимізувати й досягти прогресу. 

• Використовуйте канбан або гнучкі методи для тактичного планування та виконання.
• Документуйте все.
• Проводьте scrum-of-scrums для ефективної співпраці з партнерськими командами.
• Інформуйте зацікавлених сторін і керівництво про прогрес.

Висновок

Запуск успішного GenAI PoC — це не лише підтвердження технічної здійсненності, а й оцінка базових рішень на довгострокову перспективу. Ретельно вибираючи правильний варіант використання, вирівнюючи показники успіху, дозволяючи швидке експериментування, мінімізуючи тертя, збираючи правильну команду, вирішуючи як функціональні, так і нефункціональні вимоги, а також плануючи такі виклики, як галюцинації, організації можуть значно підвищити свої шанси переходу від PoC до виробництва.

Тим не менш, описані вище кроки не є вичерпними, і не кожна рекомендація буде застосовуватися до кожного випадку використання. Кожен PoC є унікальним, і ключем до успіху є адаптація цих передових практик відповідно до конкретних бізнес-цілей, технічних обмежень і нормативного середовища.

Чітке бачення та стратегія є важливими для впровадження GenAI, але без правильних тактичних кроків навіть найкращі плани можуть зупинитися на етапі PoC. Виконання — це те, де чудові ідеї або досягають успіху, або провалюються, а наявність чіткого, структурованого підходу гарантує, що інновації перетворюються на реальний вплив.