Taktiske trin til en vellykket GenAI PoC

Proof of Concept-projekter (PoC) er testpladsen for ny teknologi, og Generative AI (GenAI) er ingen undtagelse. Hvad betyder succes egentlig for en GenAI PoC? Kort sagt er en vellykket PoC en, der problemfrit går over i produktion. Problemet er, på grund af det nye i teknologien og dens hurtige udvikling, er de fleste GenAI PoC'er primært fokuseret på teknisk gennemførlighed og målinger såsom nøjagtighed og tilbagekaldelse. Dette snævre fokus er en af ​​de primære årsager til, hvorfor PoC'er fejler. EN McKinsey undersøgelse fandt ud af, at mens en fjerdedel af de adspurgte var bekymrede over nøjagtigheden, kæmpede mange lige så meget med sikkerhed, forklarlighed, ledelse af intellektuel ejendom (IP) og overholdelse af lovgivning. Tilføj almindelige problemer som dårlig datakvalitet, skalerbarhedsgrænser og integrationshovedpine, og det er let at se, hvorfor så mange GenAI PoC'er ikke kan komme videre.

Beyond the Hype: Reality of GenAI PoCs

GenAI adoption er klart på vej frem, men den sande succesrate for PoC'er er stadig uklar. Rapporter tilbyder varierende statistik:

• Gartner forudsiger, at ved udgangen af ​​2025 vil mindst 30% af GenAI-projekter blive opgivet efter PoC-fasen, hvilket antyder, at 70% kan gå i produktion.
• En undersøgelse af Avanade (citeret i RTInsights) fandt, at 41% af GenAI-projekter forbliver fast i PoC.
• Deloittes januar 2025 Status for GenAI i virksomheden rapporten anslår, at kun 10-30% af PoC'er vil skalere til produktion.
• En undersøgelse fra IDC (citeret i CIO.com) fandt ud af, at kun 5 ud af 37 PoC'er (13%) i gennemsnit når frem til produktion.

Med estimater, der spænder fra 10 % til 70 %, er den faktiske succesrate sandsynligvis tættere på den lavere ende. Dette fremhæver, at mange organisationer kæmper for at designe PoC'er med en klar vej til skalering. Den lave succesrate kan dræne ressourcer, dæmpe entusiasme og standse innovation, hvilket fører til det, der ofte kaldes "PoC-træthed", hvor teams føler sig fastlåste med at køre piloter, der aldrig når til produktion.

Bevæger sig ud over spildte anstrengelser

GenAI er stadig i de tidlige stadier af sin adoptionscyklus, ligesom cloud computing og traditionel kunstig intelligens før det. Cloud computing tog 15-18 år at nå udbredt anvendelse, mens traditionel kunstig intelligens havde brug for 8-10 år og stadig vokser. Historisk set har AI-adoption fulgt en boom-bust-cyklus, hvor den indledende spænding fører til overdrevne forventninger, efterfulgt af en opbremsning, når udfordringer dukker op, før den til sidst stabiliseres til almindelig brug. Hvis historien er nogen guide, vil GenAI-adoption have sine egne op- og nedture.

For at navigere effektivt i denne cyklus skal organisationer sikre, at hver PoC er designet med skalerbarhed i tankerne, og undgå almindelige faldgruber, der fører til spildte anstrengelser. I erkendelse af disse udfordringer har førende teknologi- og konsulentfirmaer udviklet strukturerede rammer for at hjælpe organisationer med at bevæge sig ud over eksperimenter og skalere deres GenAI-initiativer med succes.

Målet med denne artikel er at komplementere disse rammer og strategiske indsatser ved at skitsere praktiske, taktiske trin, der markant kan øge sandsynligheden for, at en GenAI PoC bevæger sig fra test til virkelighedspåvirkning.

Taktiske nøgletrin til en vellykket GenAI PoC

1. Vælg en use case med produktion i tankerne

Vælg først og fremmest en use case med en klar vej til produktion. Dette betyder ikke at udføre en omfattende, virksomhedsdækkende GenAI Readiness-vurdering. Vurder i stedet hver use case individuelt baseret på faktorer som datakvalitet, skalerbarhed og integrationskrav, og prioriter dem med størst sandsynlighed for at nå produktionen.

Et par vigtige spørgsmål mere at overveje, når du vælger den rigtige use case:

• Er min PoC i overensstemmelse med langsigtede forretningsmål?
• Kan de nødvendige data tilgås og bruges lovligt?
• Er der klare risici, der vil forhindre skalering?

2. Definer og juster på succesmålinger før kickoff

En af de største årsager til, at PoC'er går i stå, er manglen på veldefinerede målinger til måling af succes. Uden en stærk justering af mål og ROI-forventninger kan selv teknisk forsvarlige PoC'er kæmpe for at få buy-in til produktion. Det er ikke let at estimere ROI, men her er nogle anbefalinger: 

• Udtænk eller vedtage en ramme som denne en. 
• Brug omkostningsberegnere, f.eks dette OpenAI API prissætningsværktøj og cloud-udbyder-beregnere til at estimere udgifter.
• I stedet for et enkelt mål skal du udvikle et intervalbaseret ROI-estimat med sandsynligheder for at tage højde for usikkerhed.

Her er et eksempel på hvordan Ubers QueryGPT team vurderede den potentielle effekt af deres tekst-til-SQL GenAI-værktøj.

3. Aktiver hurtig eksperimentering

At bygge GenAI-apps handler om eksperimentering, der kræver konstant iteration. Når du vælger din tech-stack, arkitektur, team og processer, skal du sikre dig, at de understøtter denne iterative tilgang. Valgene skal muliggøre problemfri eksperimentering, fra at generere hypoteser og køre test til at indsamle data, analysere resultater, lære og forfine. 

• Overvej at ansætte små og mellemstore serviceleverandører for at fremskynde eksperimenter.
• Vælg Benchmarks, evalueringer og evalueringsrammer i starten, der sikrer, at de stemmer overens med din use case og dine mål.
• Brug teknikker som f.eks LLM-som-dommer or LLM-som-Juryer at automatisere (halvautomatisk) evaluering.

4. Sigt efter lavfriktionsløsninger

En lavfriktionsløsning kræver færre godkendelser og står derfor over for færre eller ingen indvendinger mod adoption og skalering. Den hurtige vækst af GenAI har ført til en eksplosion af værktøjer, rammer og platforme designet til at accelerere PoC'er og produktionsimplementeringer. Men mange af disse løsninger fungerer som sorte bokse, der kræver streng kontrol fra it-, juridiske-, sikkerheds- og risikostyringsteams. For at løse disse udfordringer og strømline processen skal du overveje følgende anbefalinger til at bygge en lavfriktionsløsning:

• Opret en dedikeret køreplan for godkendelser: Overvej at oprette en dedikeret køreplan til at løse partnerteamproblemer og opnå godkendelser.
• Brug forhåndsgodkendte tech-stacks: Når det er muligt, brug tech-stacks, der allerede er godkendt og i brug for at undgå forsinkelser i godkendelse og integration.
• Fokus på væsentlige værktøjer: Tidlige PoC'er kræver typisk ikke modelfinjustering, automatiserede feedback-loops eller omfattende observerbarhed/SRE. Prioriter i stedet værktøjer til kerneopgaver som vektorisering, indlejringer, videnssøgning, autoværn og UI-udvikling.
• Brug lav-kode/ingen kode-værktøjer med forsigtighed: Selvom disse værktøjer kan accelerere tidslinjer, begrænser deres black-box-karakter tilpasning og integrationsmuligheder. Brug dem med forsigtighed og overvej deres langsigtede konsekvenser.
• Løs sikkerhedsproblemer tidligt: ​​Implementer teknikker såsom generering af syntetiske data, PII-datamaskering og kryptering for at løse sikkerhedsproblemer proaktivt.

5. Sammensæt et slankt, iværksætterteam

Som med ethvert projekt er det afgørende for succes at have det rigtige team med de væsentlige færdigheder. Ud over teknisk ekspertise skal dit team også være smidigt og iværksætterorienteret. 

• Overvej at inkludere produktchefer og emneeksperter (SMV'er) for at sikre, at du løser det rigtige problem. 
• Sørg for, at du har både fuldstackudviklere og maskinlæringsingeniører på holdet. 
• Undgå at ansætte specifikt til PoC eller at låne interne ressourcer fra højere prioriterede, langsigtede projekter. Overvej i stedet at ansætte små og mellemstore serviceleverandører, der hurtigt kan hente det rigtige talent ind. 
• Integrer partnere fra jura og sikkerhed fra dag 1.

6. Prioriter også ikke-funktionelle krav

For en vellykket PoC er det afgørende at etablere klare problemgrænser og et fast sæt funktionelle krav. Ikke-funktionelle krav bør dog ikke overses. Selvom PoC'en bør forblive fokuseret inden for problemgrænserne, skal dens arkitektur være designet til høj ydeevne. Mere specifikt er det måske ikke en umiddelbar nødvendighed at opnå millisekund latenstid, men PoC'en bør være i stand til problemfrit at skalere, efterhånden som betabrugere udvider. Vælg en modulær arkitektur, der forbliver fleksibel og uafhængig af værktøjer.

7. Lav en plan for at håndtere hallucinationer

Hallucinationer er uundgåelige med sprogmodeller. Derfor er autoværn afgørende for at skalere GenAI-løsninger ansvarligt. Vurder dog, om automatiserede autoværn er nødvendige i PoC-fasen og i hvilket omfang. I stedet for at ignorere eller overkonstruere autoværn, skal du opdage når dine modeller hallucinerer og flag dem til PoC-brugerne.

8. Vedtag bedste praksis for produkt- og projektledelse

Denne XKCD illustrationen gælder for PoC'er ligesom den gør for produktion. Der er ingen ensartet spillebog. Imidlertid kan vedtagelse af bedste praksis fra projekt- og produktstyring hjælpe med at strømline og opnå fremskridt. 

• Brug kanban eller agile metoder til taktisk planlægning og udførelse.
• Dokumenter alt.
• Hold scrum-of-scrums for at samarbejde effektivt med partnerteams.
• Hold dine interessenter og lederskab informeret om fremskridt.

Konklusion

At køre en vellykket GenAI PoC handler ikke kun om at bevise teknisk gennemførlighed, det handler om at evaluere de grundlæggende valg på lang sigt. Ved omhyggeligt at udvælge den rigtige use case, tilpasse sig succesmålinger, muliggøre hurtige eksperimenter, minimere friktion, sammensætte det rigtige team, adressere både funktionelle og ikke-funktionelle krav og planlægge udfordringer som hallucinationer, kan organisationer dramatisk forbedre deres chancer for at flytte fra PoC til produktion.

Når det er sagt, er de trin, der er skitseret ovenfor, ikke udtømmende, og ikke enhver anbefaling vil gælde for alle anvendelsestilfælde. Hver PoC er unik, og nøglen til succes er at tilpasse disse bedste praksisser, så de passer til dine specifikke forretningsmål, tekniske begrænsninger og regulatoriske landskab.

En stærk vision og strategi er afgørende for GenAI-adoption, men uden de rigtige taktiske trin kan selv de bedst udarbejdede planer gå i stå på PoC-stadiet. Eksekvering er det sted, hvor gode ideer enten lykkes eller fejler, og at have en klar, struktureret tilgang sikrer, at innovation udmønter sig i den virkelige verden.