Taktiske trinn for en vellykket GenAI PoC

Proof of Concept (PoC)-prosjekter er testområdet for ny teknologi, og Generative AI (GenAI) er intet unntak. Hva betyr egentlig suksess for en GenAI PoC? Enkelt sagt er en vellykket PoC en som sømløst går over i produksjon. Problemet er at på grunn av nyheten til teknologien og dens raske utvikling, er de fleste GenAI PoC-er først og fremst fokusert på teknisk gjennomførbarhet og beregninger som nøyaktighet og tilbakekalling. Dette smale fokuset er en av hovedårsakene til hvorfor PoC-er mislykkes. EN McKinsey undersøkelse fant ut at mens en fjerdedel av respondentene var bekymret for nøyaktighet, strevde mange like mye med sikkerhet, forklarbarhet, håndtering av intellektuell eiendom (IP) og overholdelse av regelverk. Legg til vanlige problemer som dårlig datakvalitet, skalerbarhetsgrenser og integrasjonshodepine, og det er lett å se hvorfor så mange GenAI PoCer ikke klarer å gå videre.

Beyond the Hype: Reality of GenAI PoCs

GenAI-adopsjon er tydelig på vei oppover, men den sanne suksessraten til PoC-er er fortsatt uklar. Rapporter tilbyr varierende statistikk:

• Gartner spår at innen utgangen av 2025 vil minst 30 % av GenAI-prosjektene bli forlatt etter PoC-stadiet, noe som antyder at 70 % kan gå over i produksjon.
• En studie av Avanade (sitert i RTInsights) fant at 41 % av GenAI-prosjektene forblir fast i PoC.
• Deloittes januar 2025 Staten til GenAI i bedriften rapporten anslår at bare 10-30% av PoCs vil skaleres til produksjon.
• En undersøkelse av IDC (sitert i CIO.com) fant at i gjennomsnitt bare 5 av 37 PoC-er (13%) kommer til produksjon.

Med estimater som varierer fra 10 % til 70 %, er den faktiske suksessraten sannsynligvis nærmere den nedre enden. Dette fremhever at mange organisasjoner sliter med å designe PoC-er med en klar vei til skalering. Den lave suksessraten kan tappe ressurser, dempe entusiasme og stoppe innovasjon, noe som fører til det som ofte kalles "PoC fatigue", der team føler seg fast og kjører piloter som aldri kommer til produksjon.

Går forbi bortkastede anstrengelser

GenAI er fortsatt i de tidlige stadiene av sin adopsjonssyklus, omtrent som cloud computing og tradisjonell AI før den. Cloud computing tok 15–18 år å nå utbredt bruk, mens tradisjonell AI trengte 8–10 år og vokser fortsatt. Historisk sett har AI-adopsjon fulgt en boom-bust-syklus der den innledende spenningen fører til overoppblåste forventninger, etterfulgt av en nedgang når utfordringer dukker opp, før den til slutt stabiliserer seg til vanlig bruk. Hvis historien er noen guide, vil GenAI-adopsjon ha sine egne opp- og nedturer.

For å navigere denne syklusen effektivt, må organisasjoner sørge for at hver PoC er utformet med skalerbarhet i tankene, og unngå vanlige fallgruver som fører til bortkastet innsats. I erkjennelse av disse utfordringene har ledende teknologi- og konsulentfirmaer utviklet strukturerte rammeverk for å hjelpe organisasjoner med å gå utover eksperimentering og skalere sine GenAI-initiativer vellykket.

Målet med denne artikkelen er å utfylle disse rammeverkene og den strategiske innsatsen ved å skissere praktiske, taktiske trinn som betydelig kan øke sannsynligheten for at en GenAI PoC beveger seg fra testing til reell effekt.

Viktige taktiske trinn for en vellykket GenAI PoC

1. Velg en brukstilfelle med produksjon i tankene

Velg først og fremst en use case med tydelig vei til produksjon. Dette betyr ikke å gjennomføre en omfattende, bedriftsomfattende GenAI-beredskapsvurdering. Vurder i stedet hvert brukstilfelle individuelt basert på faktorer som datakvalitet, skalerbarhet og integreringskrav, og prioriter de med størst sannsynlighet for å nå produksjonen.

Noen flere nøkkelspørsmål å vurdere når du velger riktig bruksområde:

• Er min PoC i tråd med langsiktige forretningsmål?
• Kan de nødvendige dataene få tilgang til og brukes på lovlig måte?
• Er det klare risikoer som vil hindre skalering?

2. Definer og samkjør suksessmålinger før avspark

En av de største grunnene til at PoC-er stopper opp, er mangelen på veldefinerte beregninger for å måle suksess. Uten en sterk justering av mål og ROI-forventninger, kan selv teknisk solide PoC-er slite med å få buy-in for produksjon. Det er ikke lett å beregne avkastning, men her er noen anbefalinger: 

• Utforme eller vedta et rammeverk som dette en. 
• Bruk kostnadskalkulatorer, som dette OpenAI API-prisverktøyet og skyleverandørkalkulatorer for å beregne utgifter.
• I stedet for et enkelt mål, utvikle et områdebasert ROI-estimat med sannsynligheter for å ta hensyn til usikkerhet.

Her er et eksempel på hvordan Ubers QueryGPT teamet estimerte den potensielle effekten av deres tekst-til-SQL GenAI-verktøy.

3. Aktiver rask eksperimentering

Å bygge GenAI-apper handler om eksperimentering som krever konstant iterasjon. Når du velger din teknologistabel, arkitektur, team og prosesser, sørg for at de støtter denne iterative tilnærmingen. Valgene skal muliggjøre sømløs eksperimentering, fra å generere hypoteser og kjøre tester til å samle inn data, analysere resultater, lære og foredle. 

• Vurder å ansette små og mellomstore tjenesteleverandører for å akselerere eksperimentering.
• Velg benchmarks, evalueringer og evalueringsrammer i utgangspunktet for å sikre at de stemmer overens med brukssaken og målene dine.
• Bruk teknikker som LLM-som-dommer or LLM-som-juryer å automatisere (halvautomatisk) evaluering.

4. Sikt mot lavfriksjonsløsninger

En lavfriksjonsløsning krever færre godkjenninger og har derfor færre eller ingen innvendinger mot bruk og skalering. Den raske veksten av GenAI har ført til en eksplosjon av verktøy, rammeverk og plattformer designet for å akselerere PoC-er og produksjonsdistribusjoner. Imidlertid fungerer mange av disse løsningene som svarte bokser som krever streng gransking fra IT-, juridiske-, sikkerhets- og risikostyringsteam. For å møte disse utfordringene og effektivisere prosessen, vurder følgende anbefalinger for å bygge en lavfriksjonsløsning:

• Lag et dedikert veikart for godkjenninger: Vurder å lage et dedikert veikart for å løse partnerteamets bekymringer og innhente godkjenninger.
• Bruk forhåndsgodkjente teknologistabler: Når det er mulig, bruk teknologistabler som allerede er godkjent og i bruk for å unngå forsinkelser i godkjenning og integrasjon.
• Fokus på viktige verktøy: Tidlige PoC-er krever vanligvis ikke modellfinjustering, automatiserte tilbakemeldingssløyfer eller omfattende observerbarhet/SRE. Prioriter heller verktøy for kjerneoppgaver som vektorisering, innebygging, kunnskapsinnhenting, rekkverk og UI-utvikling.
• Bruk verktøy med lav kode/ingen kode med forsiktighet: Selv om disse verktøyene kan akselerere tidslinjer, begrenser deres svartboks-natur tilpasnings- og integrasjonsmuligheter. Bruk dem med forsiktighet og vurder deres langsiktige implikasjoner.
• Løs sikkerhetsproblemer tidlig: Implementer teknikker som syntetisk datagenerering, PII-datamaskering og kryptering for å løse sikkerhetsproblemer proaktivt.

5. Sett sammen et slankt, gründerteam

Som med ethvert prosjekt er det avgjørende for suksess å ha det rette teamet med de essensielle ferdighetene. Utover teknisk ekspertise, må teamet ditt også være kvikk og gründer. 

• Vurder å inkludere produktledere og fageksperter (SMB) for å sikre at du løser det riktige problemet. 
• Sørg for at du har både fullstack-utviklere og maskinlæringsingeniører på laget. 
• Unngå å ansette spesielt for PoC eller å låne interne ressurser fra høyere prioriterte, langsiktige prosjekter. Vurder heller å ansette små og mellomstore tjenesteleverandører som raskt kan hente inn det rette talentet. 
• Bygg inn partnere fra juridisk og sikkerhet fra dag 1.

6. Prioriter også ikke-funksjonelle krav

For en vellykket PoC er det avgjørende å etablere klare problemgrenser og et fast sett med funksjonelle krav. Ikke-funksjonelle krav bør imidlertid ikke overses. Selv om PoC-en bør forbli fokusert innenfor problemgrensene, må arkitekturen være utformet for høy ytelse. Mer spesifikt er det kanskje ikke en umiddelbar nødvendighet å oppnå millisekundforsinkelse, men PoC-en bør være i stand til å skaleres sømløst etter hvert som betabrukere utvider. Velg en modulær arkitektur som forblir fleksibel og agnostisk overfor verktøy.

7. Lag en plan for å håndtere hallusinasjoner

Hallusinasjoner er uunngåelige med språkmodeller. Derfor er rekkverk avgjørende for å skalere GenAI-løsninger på en ansvarlig måte. Vurder imidlertid om automatiserte rekkverk er nødvendig under PoC-stadiet og i hvilken grad. I stedet for å ignorere eller overkonstruere autovern, må du oppdage når modellene dine hallusinerer og flagg dem til PoC-brukerne.

8. Vedta beste praksis for produkt- og prosjektledelse

Dette XKCD illustrasjonen gjelder PoCs akkurat som for produksjon. Det er ingen lekebok som passer for alle. Å ta i bruk beste praksis fra prosjekt- og produktledelse kan imidlertid bidra til å effektivisere og oppnå fremgang. 

• Bruk kanban eller smidige metoder for taktisk planlegging og utførelse.
• Dokumenter alt.
• Hold scrum-of-scrums for å samarbeide effektivt med partnerteam.
• Hold dine interessenter og lederskap informert om fremgang.

Konklusjon

Å drive en vellykket GenAI PoC handler ikke bare om å bevise teknisk gjennomførbarhet, det handler om å evaluere de grunnleggende valgene på lang sikt. Ved å nøye velge riktig brukstilfelle, tilpasse suksessmålinger, muliggjøre rask eksperimentering, minimere friksjon, sette sammen det riktige teamet, adressere både funksjonelle og ikke-funksjonelle krav, og planlegge for utfordringer som hallusinasjoner, kan organisasjoner dramatisk forbedre sjansene for å gå fra PoC til produksjon.

Når det er sagt, er ikke trinnene som er skissert ovenfor, uttømmende, og ikke alle anbefalingene vil gjelde for alle brukstilfeller. Hver PoC er unik, og nøkkelen til suksess er å tilpasse disse beste praksisene for å passe dine spesifikke forretningsmål, tekniske begrensninger og regulatoriske landskap.

En sterk visjon og strategi er avgjørende for GenAI-adopsjon, men uten de riktige taktiske trinnene kan selv de best lagte planene stoppe på PoC-stadiet. Gjennomføring er der gode ideer enten lykkes eller mislykkes, og å ha en klar, strukturert tilnærming sikrer at innovasjon oversettes til virkelige virkninger.