Taktické kroky pro úspěšný PoC GenAI

Proof of Concept (PoC) projekty jsou testovacím prostorem pro novou technologii a Generative AI (GenAI) není výjimkou. Co vlastně znamená úspěch pro GenAI PoC? Jednoduše řečeno, úspěšný PoC je ten, který bezproblémově přechází do produkční fáze. Problém je, že kvůli novosti technologie a její rychlé evoluci se většina GenAI PoC zaměřuje primárně na technickou proveditelnost a metriky, jako je přesnost a recall. Tento úzký focus je jedním z hlavních důvodů, proč PoC selhávají. McKinsey survey nalezl, že zatímco jedna čtvrtina respondentů se obávala přesnosti, mnoho z nich mělo stejné problémy se zabezpečením, vysvětlitelností, řízením duševního vlastnictví (IP) a souladem s předpisy. Přidání běžných problémů, jako je špatná kvalita dat, omezení škálovatelnosti a potíže s integrací, a je snadné vidět, proč tolik GenAI PoC selhává v přechodu do další fáze.

Mimo hype: Realita GenAI PoC

GenAI adopce je jasně na vzestupu, ale skutečná míra úspěchu PoC zůstává nejasná. Zprávy nabízejí různé statistiky:

• Gartner předpovídá, že do konce roku 2025 bude alespoň 30 % GenAI projektů opuštěno po fázi PoC, což znamená, že 70 % by mohlo přejít do produkční fáze.
• Studie společnosti Avanade (cituje RTInsights) nalezla, že 41 % GenAI projektů zůstává uvíznuto ve fázi PoC.
• Zpráva Deloitte’s z ledna 2025 The State of GenAI in the Enterprise odhaduje, že pouze 10-30 % PoC bude škálovat do produkční fáze.
• Výzkum IDC (cituje CIO.com) nalezl, že v průměru pouze 5 z 37 PoC (13 %) dosáhne produkční fáze.

S odhady se pohybujícími od 10 % do 70 %, je skutečná míra úspěchu pravděpodobně bližší spodní hranici. To zdůrazňuje, že mnoho organizací má potíže s navržením PoC s jasnou cestou ke škálování. Nízká míra úspěchu může vyčerpat zdroje, otupit nadšení a zastavit inovace, což vede k tomu, co se často nazývá “PoC únava”, kdy týmy cítí, že jsou uvíznuté v běhu pilotních projektů, které nikdy nedosáhnou produkční fáze.

Přesunutí se za zbytečné úsilí

GenAI je stále v raných fázích svého adopčního cyklu, podobně jako cloud computing a tradiční AI před ním. Cloud computing potřeboval 15-18 let, aby dosáhl široké adopce, zatímco tradiční AI potřebovala 8-10 let a stále roste. Historicky, adopce AI následovala boom-bust cyklus, ve kterém počáteční nadšení vede k nadměrným očekáváním, následovaným zpomalením, když se objeví výzvy, předtím, než se nakonec stabilizuje do mainstreamového použití. Pokud je historie jakýmsi průvodcem, adopce GenAI bude mít své vlastní výkyvy.

Abyste tuto cestu efektivně zvládli, musíte zajistit, aby každý PoC byl navržen s ohledem na škálovatelnost, a vyvarovali se běžných pastí, které vedou ke zbytečným úsilím. Rozpoznání těchto výzev, vedoucí technologické a poradenské firmy vyvinuly strukturované rámce, aby pomohly organizacím úspěšně škálovat své GenAI iniciativy.

Cílem tohoto článku je doplnit tyto rámce a strategické úsilí o praktické, taktické kroky, které mohou výrazně zvýšit pravděpodobnost úspěchu GenAI PoC při přechodu z testování do reálného dopadu.

Klíčové taktické kroky pro úspěšný GenAI PoC

1. Vyberte případ použití s ohledem na produkční fázi

Nejdříve a především, zvolte případ použití s jasnou cestou do produkční fáze. To neznamená provedení komplexního, celopodnikového hodnocení připravenosti GenAI. Místo toho posuzujte každý případ použití jednotlivě na základě faktorů, jako je kvalita dat, škálovatelnost a požadavky na integraci, a priorizujte ty, které mají nejvyšší pravděpodobnost dosažení produkční fáze.

Několik dalších klíčových otázek, které je třeba zvážit při výběru správného případu použití:

• Je můj PoC v souladu s dlouhodobými obchodními cíli?
• Můžu získat a legálně použít požadovaná data?
• Jsou zde zřejmé rizika, která zabrání škálování?

2. Definujte a sjednoťte se na metrikách úspěchu před spuštěním

Jedním z největších důvodů, proč PoC stagnují, je absence jasně definovaných metrik pro měření úspěchu. Bez silného sjednocení cílů a očekávání ROI, i technicky správné PoC mohou mít potíže s získáním souhlasu pro produkční fázi. Odhad ROI není jednoduchý, ale zde jsou einige doporučení:

• Vytvořte nebo přijměte rámec, jako je tento.
• Použijte kalkulačky nákladů, jako je tento OpenAI API pricing tool a cloud provider kalkulačky k odhadu výdajů.
• Místo jediného cíle vyviněte odhad založený na rozmezí s pravděpodobnostmi, aby se zohlednila nejistota.

Zde je příklad, jak tým Uber’s QueryGPT odhadl potenciální dopad svého text-to-SQL GenAI nástroje.

3. Povolte rychlé experimentování

Vývoj GenAI aplikací je vše o experimentování, vyžadujícím neustálou iteraci. Při výběru technického stacku, architektury, týmu a procesů zajistěte, aby podporovaly tento iterativní přístup. Výběry by měly umožnit bezproblémové experimentování, od generování hypotéz a běhu testů po sběr dat, analýzu výsledků, učení a zdokonalování.

• Zvažte najmutí malých a středních služebních dodavatelů, aby urychlili experimentování.
• Vyberte benchmarks, evals a evaluační rámce na začátku, aby zajistili, že se shodují s vaším případem použití a cíli.
• Použijte techniky, jako je LLM-as-a-judge nebo LLM-as-Juries, aby automatizovali (semi-automatizovali) hodnocení.

4. Snažte se o nízko-frakční řešení

Nízko-frakční řešení vyžaduje méně schválení a proto čelí méně nebo žádným námitkám proti adopci a škálování. Rychlý růst GenAI vedl k explozi nástrojů, rámců a platforem navržených pro urychlení PoC a produkčních nasazení. Nicméně mnoho z těchto řešení funguje jako černé skříňky, vyžadující přísnou kontrolu ze strany IT, právní, bezpečnostní a rizikových managementů. Abyste tyto výzvy řešili a proces urychlili, zvažte následující doporučení pro stavbu nízko-frakčního řešení:

• Vytvořte dedikovanou mapu pro schválení: Zvažte vytvoření dedikované mapy pro řešení partner-týmových obav a získání schválení.
• Použijte předem schválené technické stacky: Kdykoli je to možné, použijte technické stacky, které jsou již schváleny a používány, aby se zabránilo zpožděním ve schválení a integraci.
• Soustřeďte se na základní nástroje: Rané PoC obvykle nevyžadují jemné ladění modelů, automatizované smyčky zpětné vazby nebo rozsáhlou pozorovatelnost/SRE. Místo toho priorizujte nástroje pro základní úkoly, jako je vektorizace, embeddings, získání znalostí, zábrany a vývoj UI.
• Použijte nástroje s nízkým kódem/bez kódu s opatrností: Zatímco tyto nástroje mohou urychlit časové osy, jejich černá-skříňková povaha omezuje přizpůsobení a integrační schopnosti. Použijte je s opatrností a zvažte jejich dlouhodobé důsledky.
• Řešte bezpečnostní obavy brzy: Implementujte techniky, jako je generování syntetických dat, maskování PII dat a šifrování, aby se řešily bezpečnostní obavy proaktivně.

5. Sestavte štíhlý, podnikatelský tým

Jako u každého projektu je mít správný tým s nezbytnými dovednostmi kritický pro úspěch. Kromě technických odborností musí váš tým být také pružný a podnikatelský.

• Zvažte zařazení produktových manažerů a odborníků (SME) do týmu, aby bylo zajištěno, že řešíte správný problém.
• Zajistěte, aby váš tým měl plné vývojáře a inženýry strojového učení.
• Vyvarujte se najímání speciálně pro PoC nebo půjčování interních zdrojů z vyšších prioritních, dlouhodobých projektů. Místo toho zvažte najímání malých a středních služebních dodavatelů, kteří mohou přinést správný talent rychle.
• Vložte partnery z právní a bezpečnostní strany od prvního dne.

6. Priorizujte nefunkční požadavky také

Pro úspěšný PoC je důležité stanovit jasná hranice problému a pevnou sadu funkčních požadavků. Nicméně nefunkční požadavky by neměly být přehlíženy. Zatímco PoC by se měl soustředit uvnitř hranic problému, jeho architektura by měla být navržena pro vysoký výkon. Konkrétněji, dosažení milisekundové latence nemusí být okamžitou nutností, nicméně PoC by měl být schopen bezproblémově škálovat, jakmile se rozšíří beta uživatelé. Vyberte modulární architekturu, která zůstává flexibilní a agnostická k nástrojům.

7. Vytvořte plán pro řešení halucinací

Halucinace jsou nevyhnutelné u jazykových modelů. Proto jsou zábrany kritické pro škálování GenAI řešení zodpovědně. Nicméně, vyhodnoťte, zda jsou automatizované zábrany nezbytné ve fázi PoC a do jaké míry. Místo ignorování nebo přebudování zábran, detekujte, když vaše modely halucinují a označíte je uživatelům PoC.

8. Přijměte nejlepší praxe pro produktový a projektový management

Tento XKCD ilustrace se vztahuje na PoC stejně jako na produkční fázi. Neexistuje žádný univerzální playbook. Nicméně, přijetí nejlepších praxí z projektového a produktového managementu může pomoci zjednodušit a dosáhnout pokroku.

• Použijte kanban nebo agilní metody pro taktické plánování a provedení.
• Dokumentujte vše.
• Pořádejte scrum-of-scrums, aby se efektivně spolupracovalo s partnery.
• Udržujte své stakeholdery a vedení informované o pokroku.

Závěr

Běh úspěšného GenAI PoC není jen o prokázání technické proveditelnosti, ale o hodnocení základních voleb pro dlouhodobou perspektivu. Péčlivě vybráním správného případu použití, sjednocením se na metrikách úspěchu, povolením rychlého experimentování, minimalizací tření, sestavením správného týmu, řešením funkčních i nefunkčních požadavků a plánováním pro výzvy, jako jsou halucinace, organizace mohou dramaticky zlepšit své šance na přechod z PoC do produkční fáze.

Řekl bych, že kroky uvedené výše nejsou vyčerpávající, a ne každé doporučení se bude vztahovat na každý případ použití. Každý PoC je jedinečný, a klíč k úspěchu spočívá v adaptaci těchto nejlepších praxí na konkrétní obchodní cíle, technické omezení a regulační prostředí.

Silná vize a strategie jsou nezbytné pro adopci GenAI, ale bez správných taktických kroků, i ty nejlepší plány mohou uvíznout ve fázi PoC. Provedení je tam, kde skvělé nápady buď uspějí, nebo selžou, a mít jasný, strukturovaný přístup zajišťuje, že inovace se překlápějí do reálného dopadu.