Taktiske trin til en succesfuld GenAI PoC

Proof of Concept (PoC) projekter er testområdet for ny teknologi, og Generative AI (GenAI) er ingen undtagelse. Hvad betyder succes egentlig for en GenAI PoC? Nemt sagt er en succesfuld PoC en, der ubesværet går over i produktion. Problemet er, at på grund af teknologiens nytænkning og dens hurtige udvikling, er de fleste GenAI PoC’er primært fokuseret på teknisk gennemførlighed og målinger som nøjagtighed og genkald. Dette snævre fokus er en af de primære årsager til, at PoC’er fejler. En McKinsey-undersøgelse fandt, at mens en kvart af respondentende var bekymrede for nøjagtighed, kæmpede mange lige så meget med sikkerhed, forklarbarhed, immaterielle rettigheder (IP) og overholdelse af regler. Tilføj almindelige problemer som dårlig datakvalitet, skaleringsbegrænsninger og integrationsproblemer, og det er let at se, hvorfor så mange GenAI PoC’er ikke kan gå videre.

Uden for hypen: Den virkelige GenAI PoC

GenAI-adopterings er tydeligt på vej op, men den virkelige succesrate for PoC’er forbliver uklar. Rapporter tilbyder varierende statistik:

• Gartner forudser, at mindst 30% af GenAI-projekter vil blive opgivet efter PoC-stadiet, hvilket antyder, at 70% kan gå i produktion.
• En undersøgelse af Avanade (citeret i RTInsights) fandt, at 41% af GenAI-projekter er fastlåst i PoC.
• Deloittes januar 2025 The State of GenAI in the Enterprise rapport estimerer, at kun 10-30% af PoC’er vil blive skaleret til produktion.
• En forskning af IDC (citeret i CIO.com) fandt, at gennemsnitligt kun 5 ud af 37 PoC’er (13%) når produktion.

Med estimeringer, der varierer fra 10% til 70%, er den virkelige succesrate sandsynligvis tættere på den lavere ende. Dette understreger, at mange organisationer kæmper med at designe PoC’er med en klar vej til skalerbarhed. Den lave succesrate kan dræne ressourcer, dæmpe entusiasme og bremse innovation, hvilket fører til, hvad der ofte kaldes “PoC-udmattelse”, hvor holdene føler sig fastlåst i at køre piloter, der aldrig når produktion.

At gå ud over spildte bestræbelser

GenAI er stadig i de tidlige faser af sin adoptionscyklus, ligesom cloud computing og traditionel AI før den. Cloud computing tog 15-18 år at nå bred anerkendelse, mens traditionel AI havde brug for 8-10 år og er stadig voksende. Historisk set har AI-adopteringsforløbet fulgt en boom-bust-cyklus, hvor den første begejstring fører til overvurderede forventninger, efterfulgt af en afmatning, når udfordringer opstår, før det til sidst stabiliserer sig til mainstream-brug. Hvis historien er nogen vejledning, vil GenAI-adopteringsforløbet have sine egne op- og nedture.

For at navigere denne cyklus effektivt, må organisationer sikre, at hver PoC er designet med skalerbarhed i mente, undgå almindelige fælder, der fører til spildte bestræbelser. Ved at erkende disse udfordringer har førende teknologi- og konsulentfirmaer udviklet strukturerede rammer til at hjælpe organisationer med at gå ud over eksperimenter og skalerbarhed af deres GenAI-initiativer.

Formålet med denne artikel er at supplere disse rammer og strategiske bestræbelser ved at fremhæve praktiske, taktiske trin, der kan øge sandsynligheden for, at en GenAI PoC kan gå fra test til reel virkning.

Nøgle taktiske trin til en succesfuld GenAI PoC

1. Vælg en brugstilfælde med produktion i mente

Først og fremmest skal du vælge et brugstilfælde med en klar vej til produktion. Dette betyder ikke, at du skal gennemføre en omfattende, virksomhedsomfattende GenAI Readiness-vurdering. I stedet skal du vurdere hvert brugstilfælde individuelt baseret på faktorer som datakvalitet, skalerbarhed og integrationskrav, og prioritere dem med den højeste sandsynlighed for at nå produktion.

Nogle flere nøglepunkter at overveje, når du vælger det rette brugstilfælde:

• Stemmer min PoC overens med langsigtede forretningsmål?
• Kan de nødvendige data tilgås og bruges lovligt?
• Er der klare risici, der kan forhindre skalerbarhed?

2. Definer og samordne succeskriterier før start

En af de største årsager til, at PoC’er stagnere, er manglen på tydeligt definerede målinger for succes. Uden en stærk samordning af mål og ROI-forventninger kan selv teknisk solide PoC’er have svært ved at opnå opbakning til produktion. At estime ROI er ikke let, men her er nogle anbefalinger:

• Udvikle eller adopter en ramme, såsom denne.
• Brug omkostningsberegner, såsom denne OpenAI API-prisværktøj, og cloud-leverandør-beregner til at estime omkostninger.
• I stedet for et enkelt mål udvikle en områdebaseret ROI-estimation med sandsynligheder for at tage højde for usikkerhed.

Her er et eksempel på, hvordan Ubers QueryGPT-hold estimerede den potentielle virkning af deres tekst-til-SQL GenAI-værktøj.

3. Gør eksperimentering mulig

Opbygning af GenAI-applikationer handler om eksperimentering, der kræver konstant iteration. Når du vælger din teknologi-stack, arkitektur, hold og processer, skal du sikre, at de understøtter denne iterative tilgang. Valget skal muliggøre ubesværet eksperimentering, fra generering af hypoteser og kørsel af tests til indsamling af data, analyse af resultater, læring og forbedring.

• Overvej at hyre små og mellemstore serviceleverandører for at accelerere eksperimentering.
• Vælg benchmarks, evals og vurderingsrammer fra starten, så de er i overensstemmelse med dit brugstilfælde og mål.
• Brug teknikker som LLM-as-a-judge eller LLM-as-Juries til at automatisere (semi-automatisere) vurdering.

4. Sigte mod lavfrictionsløsninger

En lavfrictionsløsning kræver færre godkendelser og møder derfor færre eller ingen indvendinger mod adoption og skalerbarhed. Den hurtige vækst af GenAI har ført til en eksplosion af værktøjer, rammer og platforme designet til at accelerere PoC’er og produktionsdistributioner. Imidlertid fungerer mange af disse løsninger som sorte kasser, der kræver streng gennemgang fra IT-, juridiske, sikkerheds- og risikostyringshold. For at imødegå disse udfordringer og strømlinje processen overvejes følgende anbefalinger for opbygning af en lavfrictionsløsning:

• Opret en dedikeret vejledning for godkendelser: Overvej at oprette en dedikeret vejledning for at imødegå partnerholdets bekymringer og opnå godkendelser.
• Brug forhåndsgodkendte teknologistacks: Når det er muligt, brug teknologistacks, der allerede er godkendt og i brug for at undgå forsinkelser i godkendelse og integration.
• Fokuser på essentielle værktøjer: Tidlige PoC’er kræver normalt ikke modeltilpasning, automatiserede feedback-løkker eller omfattende overvågning/SRE. Prioriter i stedet værktøjer til kerneopgaver som vektorisering, indlejring, videnstilgang, guardrails og UI-udvikling.
• Brug lavkode/ingenkode-værktøjer med forsigtighed: Selvom disse værktøjer kan accelerere tidsrammer, begrænser deres sorte-kasse-natur tilpasnings- og integrationsmuligheder. Brug dem med forsigtighed og overvej deres langsigtede implikationer.
• Imødegå sikkerhedsbekymringer tidligt: Implementer teknikker som syntetisk datagenerering, PII-data-masking og kryptering for at imødegå sikkerhedsbekymringer proaktivt.

5. Saml et lean, iværksætterisk hold

Som med ethvert projekt er det at have det rette hold med de essentielle færdigheder kritisk for succes. Ud over teknisk ekspertise skal dit hold også være smidigt og iværksætterisk.

• Overvej at inkludere produktchefer og fageksperter for at sikre, at du løser det rette problem.
• Sikr, at du har både fuld-stack-udviklere og maskinlæringsingeniører på holdet.
• Undgå at hyre specifikt til PoC eller låne interne ressourcer fra højere-prioriterede, langsigtede projekter. Overvej i stedet at hyre små og mellemstore serviceleverandører, der kan bringe det rette talent hurtigt.
• Integrer partnere fra juridiske og sikkerhedshold fra dag 1.

6. Prioriter ikke-funktionelle krav også

For en succesfuld PoC er det afgørende at etablere klare problemgrænser og en fast sat af funktionelle krav. Imidlertid bør ikke-funktionelle krav ikke oversees. Mens PoC’en skal forblive fokuseret inden for problemgrænser, skal dens arkitektur være designet til høj ydeevne. Mere specifikt kan opnåelse af millisekund-latens ikke være en umiddelbar nødvendighed, men PoC’en skal være i stand til at skaleres ubesværet, når beta-brugere udvides. Vælg en modulær arkitektur, der forbliver fleksibel og agnostisk over for værktøjer.

7. Udvikl en plan til at håndtere hallucinationer

Hallucinationer er uundgåelige med sprogmodeller. Derfor er guardrails kritiske for at skalerbarhed af GenAI-løsninger ansvarligt. Imidlertid skal du evaluere, om automatiserede guardrails er nødvendige under PoC-stadiet og i hvilken udstrækning. I stedet for at ignorere eller over-ingeniøre guardrails skal du opdage, når dine modeller hallucinerer, og flag dem til PoC-brugere.

8. Adoptér produkt- og projektledelsesbedste praksis

Denne XKCD-illustration gælder for PoC’er ligeså vel som for produktion. Der er ingen en-size-fits-all-playbook. Imidlertid kan adoption af bedste praksis fra projekt- og produktledelse hjælpe med at strømlinje og opnå fremskridt.

• Brug kanban eller agile-metoder til taktisk planlægning og gennemførelse.
• Dokumentér alt.
• Hold scrum-of-scrums til at samarbejde effektivt med partnerhold.
• Hold dine interessenter og ledelse informeret om fremskridt.

Konklusion

At køre en succesfuld GenAI PoC handler ikke kun om at bevise teknisk gennemførlighed, men også om at evaluere de grundlæggende valg til lang sigt. Ved at vælge det rette brugstilfælde, samordne succeskriterier, aktivere hurtig eksperimentering, minimere friktion, samle det rette hold, håndtere både funktionelle og ikke-funktionelle krav og planlægge for udfordringer som hallucinationer, kan organisationer dramatisk forbedre deres chancer for at gå fra PoC til produktion.

Det skal dog siges, at de trin, der er beskrevet ovenfor, ikke er udtømmende, og ikke alle anbefalinger vil være relevante for hvert brugstilfælde. Hver PoC er unik, og nøglen til succes er at tilpasse disse bedste praksis til at passe dine specifikke forretningsmål, tekniske begrænsninger og reguleringslandskab.

En stærk vision og strategi er essentiel for GenAI-adopteringsprocessen, men uden de rette taktiske trin kan selv de bedst lagte planer stagnere på PoC-stadiet. Gennemførelse er, hvor store ideer enten lykkes eller fejler, og at have en klar, struktureret tilgang sikrer, at innovation oversættes til reel virkning.