Taktyczne kroki dla udanego PoC GenAI

Projekty Proof of Concept (PoC) są przestrzenią testową dla nowych technologii, a Generative AI (GenAI) nie jest wyjątkiem. Co tak naprawdę oznacza sukces dla PoC GenAI? Po prostu, udany PoC to taki, który bezproblemowo przechodzi do produkcji. Problem polega na tym, że ze względu na nowość technologii i jej szybką ewolucję, większość PoC GenAI koncentruje się głównie na technicznej wykonalności i wskaźnikach takich jak dokładność i odwołanie. To wąskie podejście jest jedną z głównych przyczyn, dla których PoC nie udaje się. Badanie przeprowadzone przez McKinsey wykazało, że podczas gdy jedna czwarta respondentów była zaniepokojona dokładnością, wielu z nich miało równie duże problemy z bezpieczeństwem, wyjaśnialnością, zarządzaniem własnością intelektualną (IP) i zgodnością z przepisami. Dodając do tego powszechne problemy, takie jak słoka jakość danych, ograniczenia skalowalności i problemy z integracją, łatwo zrozumieć, dlaczego tak wiele PoC GenAI nie przechodzi do następnego etapu.

Poza hiperem: Rzeczywistość PoC GenAI

Adopcja GenAI jest wyraźnie na wzrost, ale rzeczywisty wskaźnik sukcesu PoC pozostaje niejasny. Raporty oferują różne statystyki:

• Gartner przewiduje, że do końca 2025 roku co najmniej 30% projektów GenAI zostanie porzuconych po etapie PoC, co oznacza, że 70% może przejść do produkcji.
• Badanie przeprowadzone przez Avanade (cytowane w RTInsights) wykazało, że 41% projektów GenAI pozostaje zakleszczonych w PoC.
• Raport Deloitte z stycznia 2025 The State of GenAI in the Enterprise szacuje, że tylko 10-30% PoC zostanie skalibrowanych do produkcji.
• Badanie przeprowadzone przez IDC (cytowane w CIO.com) wykazało, że średnio tylko 5 z 37 PoC (13%) przechodzi do produkcji.

Z szacunkami wahającymi się od 10% do 70%, rzeczywisty wskaźnik sukcesu jest prawdopodobnie bliższy dolnej granicy. To podkreśla, że wiele organizacji ma trudności z projektowaniem PoC z wyraźną ścieżką do skalowania. Niski wskaźnik sukcesu może pochłonąć zasoby, osłabić entuzjazm i zahamować innowacje, prowadząc do tego, co często nazywa się “znużeniem PoC”, gdzie zespoły czują się zakleszczone, prowadząc pilotaże, które nigdy nie przechodzą do produkcji.

Przechodząc poza zmarnowane wysiłki

GenAI jest nadal w początkowych etapach swojego cyklu adopcji, podobnie jak chmura obliczeniowa i tradycyjny AI przed nim. Chmura obliczeniowa zajęła 15-18 lat, aby osiągnąć powszechne zastosowanie, podczas gdy tradycyjny AI potrzebował 8-10 lat i nadal rośnie. Historycznie, adopcja AI następuje w cyklu boom-bust, w którym początkowe podekscytowanie prowadzi do nadmiernych oczekiwań, po których następuje spowolnienie, gdy pojawiają się wyzwania, zanim ostatecznie ustabilizuje się w użyciu głównego nurtu. Jeśli historia jest jakimś przewodnikiem, adopcja GenAI będzie miała swoje wzloty i upadki.

Aby skutecznie nawigować ten cykl, organizacje muszą zapewnić, że każdy PoC jest zaprojektowany z myślą o skalowalności, unikając powszechnych pułapek, które prowadzą do zmarnowanych wysiłków. Rozpoznając te wyzwania, wiodące firmy technologiczne i konsultingowe opracowały ustrukturyzowane ramy, aby pomóc organizacjom przechodzić poza eksperymenty i skalować swoje inicjatywy GenAI z powodzeniem.

Celem tego artykułu jest uzupełnienie tych ram i strategicznych wysiłków, przedstawiając praktyczne, taktyczne kroki, które mogą znacznie zwiększyć prawdopodobieństwo przejścia PoC GenAI z testowania do realnego wpływu.

Kluczowe taktyczne kroki dla udanego PoC GenAI

1. Wybierz przypadku użycia z myślą o produkcji

Przede wszystkim, wybierz przypadku użycia z wyraźną ścieżką do produkcji. Nie oznacza to prowadzenia kompleksowej, przedsięwziętej oceny gotowości GenAI. Zamiast tego, oceniaj każdy przypadek indywidualnie na podstawie czynników takich jak jakość danych, skalowalność i wymagania integracyjne, i priorytetowo traktuj te, które mają największe szanse na osiągnięcie produkcji.

Kilka więcej kluczowych pytań do rozważenia podczas wyboru odpowiedniego przypadku użycia:

• Czy mój PoC jest zgodny z długoterminowymi celami biznesowymi?
• Czy wymagane dane mogą być uzyskane i używane legalnie?
• Czy istnieją wyraźne ryzyka, które uniemożliwią skalowanie?

2. Zdefiniuj i uzgodnij wskaźniki sukcesu przed rozpoczęciem

Jednym z głównych powodów, dla których PoC zatrzymują się, jest brak dobrze zdefiniowanych wskaźników do mierzenia sukcesu. Bez silnej zgody na cele i oczekiwania ROI, nawet technicznie poprawne PoC mogą mieć trudności z uzyskaniem zgody na produkcję. Szacowanie ROI nie jest łatwe, ale oto kilka rekomendacji:

• Stwórz lub przyjmij ramy, takie jak to.
• Użyj kalkulatorów kosztów, takich jak ten OpenAI API pricing tool i kalkulatorów dostawców chmury, aby oszacować wydatki.
• Zamiast jednego celu, opracuj szacunek ROI oparty na zakresie z prawdopodobieństwem, aby uwzględnić niepewność.

Oto przykład, jak zespół QueryGPT Uber oszacował potencjalny wpływ swojego narzędzia GenAI text-to-SQL.

3. Włącz szybką eksperymentację

Budowanie aplikacji GenAI jest wszystko o eksperymentowaniu, wymagającym ciągłej iteracji. Podczas wyboru swojego stosu technologicznego, architektury, zespołu i procesów, upewnij się, że wspierają one ten iteracyjny podejście. Wybory powinny umożliwić bezproblemową eksperymentację, od generowania hipotez i uruchamiania testów po zbieranie danych, analizowanie wyników, uczenie się i doskonalenie.

• Rozważ zatrudnienie małych i średnich usługodawców, aby przyspieszyć eksperymentację.
• Wybierz benchmarki, oceny i ramy oceny na początku, upewniając się, że są one zgodne z Twoim przypadkiem użycia i celami.
• Użyj technik, takich jak LLM-as-a-judge lub LLM-as-Juries, aby zautomatyzować (półautomatyzować) ocenę.

4. Dąż do rozwiązań o niskim tarciu

Rozwiązanie o niskim tarciu wymaga mniejszej liczby zatwierdzeń i tym samym napotyka mniejszy lub żaden sprzeciw wobec adopcji i skalowania. Szybki wzrost GenAI doprowadził do eksplozji narzędzi, ram i platform zaprojektowanych do przyspieszania PoC i wdrożeń produkcyjnych. Jednak wiele z tych rozwiązań działa jako czarne skrzynki, wymagające surowej kontroli ze strony zespołów IT, prawnych, bezpieczeństwa i zarządzania ryzykiem. Aby rozwiązać te wyzwania i przyspieszyć proces, rozważ następujące rekomendacje dotyczące budowy rozwiązania o niskim tarciu:

• Stwórz dedykowaną mapę drogową dla zatwierdzeń: Rozważ stworzenie dedykowanej mapy drogowej dla rozwiązania problemów partnerów i uzyskania zatwierdzeń.
• Użyj zatwierdzonych stosów technologicznych: Gdziekolwiek jest to możliwe, użyj stosów technologicznych, które są już zatwierdzone i w użyciu, aby uniknąć opóźnień w zatwierdzeniu i integracji.
• Skoncentruj się na niezbędnych narzędziach: Wczesne PoC zwykle nie wymagają dostrajania modelu, automatycznych pętli sprzężenia zwrotnego lub obszernych możliwości obserwacyjnych/SRE. Zamiast tego, priorytetowo traktuj narzędzia do podstawowych zadań, takich jak wektorowanie, osadzanie, pobieranie wiedzy, barierki ochronne i rozwój interfejsu użytkownika.
• Użyj narzędzi niskiego kodu/braku kodu z ostrożnością: Chociaż narzędzia te mogą przyspieszyć terminy, ich natura czarnej skrzynki ogranicza możliwości dostosowania i integracji. Używaj ich z ostrożnością i rozważaj ich długoterminowe implikacje.
• Rozwiąż problemy z bezpieczeństwem na wczesnym etapie: Wdrożenie technik, takich jak generowanie danych syntetycznych, maskowanie danych PII i szyfrowanie, aby rozwiązać problemy z bezpieczeństwem w sposób proaktywny.

5. Zmontuj zwinny, przedsiębiorczy zespół

Jak w przypadku każdego projektu, posiadanie odpowiedniego zespołu z niezbędnymi umiejętnościami jest kluczowe dla sukcesu. Poza ekspertyzą techniczną, Twój zespół musi również być zwinny i przedsiębiorczy.

• Rozważ włączenie menedżerów produktów i ekspertów branżowych (SME), aby upewnić się, że rozwiązujesz odpowiedni problem.
• Upewnij się, że masz zarówno pełnoetatowych deweloperów, jak i inżynierów machine learningu w zespole.
• Unikaj zatrudniania specjalnie dla PoC lub pożyczania wewnętrznych zasobów z projektów o wyższej priorytetowości i długoterminowych. Zamiast tego, rozważ zatrudnienie małych i średnich usługodawców, którzy mogą szybko wprowadzić odpowiednie talenty.
• Wbuduj partnerów z działów prawnego i bezpieczeństwa od pierwszego dnia.

6. Priorytetowo traktuj wymagania niefunkcjonalne

Dla udanego PoC jest kluczowe ustalenie wyraźnych granic problemu i ustalonego zestawu wymagań funkcyjnych. Jednak wymagania niefunkcjonalne nie powinny być pomijane. Podczas gdy PoC powinien pozostać skupiony w granicach problemu, jego architektura musi być zaprojektowana z myślą o wysokiej wydajności. Konkretnie, osiąganie opóźnień na poziomie milisekund może nie być natychmiastową koniecznością, jednak PoC powinien być w stanie bezproblemowo skalować, gdy użytkownicy beta się rozwiną. Optymalizuj modułową architekturę, która pozostaje elastyczna i niezależna od narzędzi.

7. Opracuj plan do obsługi halucynacji

Halucynacje są nieuniknione w przypadku modeli językowych. Dlatego barierki ochronne są kluczowe dla skalowania rozwiązań GenAI w sposób odpowiedzialny. Jednak ocenij, czy automatyczne barierki ochronne są konieczne na etapie PoC i w jakim zakresie. Zamiast ignorowania lub nadmiernego inżynierii barierek ochronnych, wykrywaj kiedy Twoje modele halucynują i oznaczaj je użytkownikom PoC.

8. Przyjmij najlepsze praktyki zarządzania produktem i projektem

To ilustracja XKCD odnosi się do PoC tak samo, jak do produkcji. Nie ma jednej uniwersalnej książki. Jednak przyjęcie najlepszych praktyk z zarządzania projektem i produktem może pomóc w przyspieszeniu postępu i osiągnięciu go.

• Użyj kanban lub metodyki agile do planowania taktycznego i wykonania.
• Dokumentuj wszystko.
• Przeprowadź scrum-of-scrums, aby skutecznie współpracować z zespołami partnerskimi.
• Utrzymuj swoich interesariuszy i kierownictwo informowane o postępie.

Podsumowanie

Prowadzenie udanego PoC GenAI nie jest tylko kwestią udowodnienia technicznej wykonalności, ale także oceny podstawowych wyborów na dłuższą metę. Przez staranne wybranie odpowiedniego przypadku użycia, uzgodnienie wskaźników sukcesu, umożliwienie szybkiej eksperymentacji, minimalizowanie tarcia, zmontowanie odpowiedniego zespołu, rozwiązanie wymagań funkcyjnych i niefunkcjonalnych oraz planowanie wyzwań, takich jak halucynacje, organizacje mogą znacznie poprawić swoje szanse na przejście z PoC do produkcji.

Jednakże, kroki przedstawione powyżej nie są wyczerpujące, a nie wszystkie rekomendacje będą miały zastosowanie do każdego przypadku użycia. Każdy PoC jest unikalny, a kluczem do sukcesu jest adaptacja tych najlepszych praktyk do konkretnych celów biznesowych, ograniczeń technicznych i regulacyjnego krajobrazu.

Silna wizja i strategia są niezbędne dla adopcji GenAI, ale bez odpowiednich kroków taktycznych, nawet najlepiej opracowane plany mogą zawiesić się na etapie PoC. Wykonanie jest tam, gdzie wielkie pomysły albo udają się, albo zawodzą, a posiadanie jasnego, ustrukturyzowanego podejścia gwarantuje, że innowacja przekłada się na realny wpływ.