Taktiske skritt for en vellykket GenAI PoC

Proof of Concept (PoC)-prosjekter er testområdet for ny teknologi, og Generative AI (GenAI) er ingen unntak. Hva betyr egentlig suksess for en GenAI PoC? Enkelt uttrykt er en vellykket PoC en som går over til produksjon uten problemer. Problemet er at, på grunn av nyheten til teknologien og dens raske utvikling, de fleste GenAI PoC-er i hovedsak fokuserer på teknisk gjennomførbarhet og målinger som nøyaktighet og tilbakekall. Dette smale fokuset er en av de primære grunnene til at PoC-er mislykkes. En McKinsey-undersøkelse fant ut at mens en fjerdedel av respondentene var bekymret for nøyaktighet, kjempet mange like mye med sikkerhet, forklarbarhet, immateriell eiendomsforvaltning og regulatorisk overholdelse. Legg til vanlige problemer som dårlig datakvalitet, skalerbarhetsbegrensninger og integrasjonsproblemer, og det er lett å se hvorfor så mange GenAI PoC-er ikke kommer videre.

Bortenfor hypen: Virkeligheten til GenAI PoC-er

GenAI-adoptsjon er tydelig på fremmarsj, men den faktiske suksessraten for PoC-er er uviss. Rapporter tilbyr varierende statistikk:

• Gartner spår at innen utgangen av 2025 vil minst 30 % av GenAI-prosjektene bli forkastet etter PoC-stadiet, hvilket innebærer at 70 % kan gå over til produksjon.
• En studie av Avanade (citeres i RTInsights) fant ut at 41 % av GenAI-prosjektene er fastlåst i PoC.
• Deloittes rapport fra januar 2025 The State of GenAI in the Enterprise anslår at bare 10-30 % av PoC-er vil skaleres til produksjon.
• En undersøkelse av IDC (citeres i CIO.com) fant ut at i gjennomsnitt bare 5 av 37 PoC-er (13 %) kommer til produksjon.

Med anslag som varierer fra 10 % til 70 % er den faktiske suksessraten sannsynligvis nærmere den lavere enden. Dette understreker at mange organisasjoner sliter med å designe PoC-er med en tydelig vei til skalerbarhet. Den lave suksessraten kan drene ressurser, dempe entusiasme og stanse innovasjon, noe som fører til det som ofte kalles “PoC-utmattelse”, der teamene føler seg fastlåst i å kjøre piloter som aldri kommer til produksjon.

Å gå bortenfor bortkastede anstrengelser

GenAI er fortsatt i de tidlige stadiene av sin adopsjonsyklus, lignende skytjenester og tradisjonell AI før den. Skytjenester tok 15-18 år å nå bred adopsjon, mens tradisjonell AI trengte 8-10 år og vokser fortsatt. Historisk sett har AI-adoptsjon fulgt en boom-bust-syklus hvor den innledende begeistring fører til overoptimistiske forventninger, fulgt av en nedgang når utfordringer oppstår, før den til slutt stabiliserer seg i mainstream-bruk. Hvis historien er noen guide, vil GenAI-adoptsjon ha sine egne opp- og nedturer.

For å navigere denne syklusen effektivt, må organisasjonene sikre at hver PoC er designet med skalerbarhet i mente, og unngå vanlige fallgruber som fører til bortkastede anstrengelser. Ved å erkjenne disse utfordringene, har ledende teknologi- og konsulentselskaper utviklet strukturerte rammeverk for å hjelpe organisasjonene gå bortenfor eksperimentering og skalerbarhet av GenAI-initiativene med suksess.

Målet med denne artikkelen er å komplettere disse rammeverkene og strategiske anstrengelser ved å angi praktiske, taktiske skritt som kan øke sannsynligheten for at en GenAI PoC går fra testing til virkelig innvirkning.

Nøkkel taktiske skritt for en vellykket GenAI PoC

1. Velg en bruksfall med produksjon i mente

Først og fremst, velg et bruksfall med en tydelig vei til produksjon. Dette betyr ikke å utføre en omfattende, bedriftsvid GenAI-beredskapsvurdering. I stedet, vurder hvert bruksfall individuelt basert på faktorer som datakvalitet, skalerbarhet og integrasjonskrav, og prioriter de med den høyeste sannsynligheten for å nå produksjon.

Noen flere nøkkelspørsmål å vurdere mens du velger det riktige bruksfallet:

• Stemmer min PoC overens med langsiktige forretningsmål?
• Kan de nødvendige dataene bli tilgjengelige og brukt lovlig?
• Er det tydelige risikoer som vil hindre skalerbarhet?

2. Definer og juster suksesskriterier før oppstart

En av de største grunnene til at PoC-er stopper, er mangelen på godt definerte målinger for å måle suksess. Uten en sterk justering av mål og ROI-forventninger, kan selv teknisk solide PoC-er slite med å få medhold for produksjon. Å anslå ROI er ikke enkelt, men her er noen anbefalinger:

• Utvikle eller adopter et rammeverk som dette.
• Bruk kostnadskalkulatorer, som denne OpenAI API-priskalkulatoren og skytjenestekalkulatorer for å anslå utgifter.
• I stedet for et enkelt mål, utvikle en ROI-anslag basert på intervall med sannsynligheter for å håndtere usikkerhet.

Her er et eksempel på hvordan Ubers QueryGPT-team anslå den potensielle innvirkningen av deres tekst-til-SQL GenAI-verktøy.

3. Aktiver rask eksperimentering

Bygging av GenAI-applikasjoner handler om eksperimentering og krever konstant iterasjon. Når du velger teknologistakk, arkitektur, team og prosesser, sikre at de støtter denne iterative tilnærmingen. Valgene bør aktivere sømløs eksperimentering, fra generering av hypoteser og kjøring av tester til innsamling av data, analyse av resultater, læring og forbedring.

• Vurdere å hyre små og mellomstore tjenesteleverandører for å akselerere eksperimentering.
• Velg benchmark, eval og evalueringssystemer på forhånd, sikre at de stemmer overens med ditt bruksfall og mål.
• Bruk teknikker som LLM-as-a-judge eller LLM-as-Juries for å automatisere (semi-automatisere) evaluering.

4. Sikte mot lav-friksjonsløsninger

En lav-friksjonsløsning krever færre godkjenninger og møter derfor færre eller ingen innvendinger mot adopsjon og skalerbarhet. Den raske veksten av GenAI har ført til en eksplosjon av verktøy, rammeverk og plattformer designet for å akselerere PoC-er og produksjonsutgivelser. Imidlertid opererer mange av disse løsningene som svarte bokser som krever streng granskning fra IT, juridiske, sikkerhets- og risikostyringsteam. For å håndtere disse utfordringene og strømlinje prosessen, vurdere følgende anbefalinger for å bygge en lav-friksjonsløsning:

• Opprett en dedikert veikart for godkjenninger: Vurdere å opprette en dedikert veikart for å håndtere partner-teamets bekymringer og få godkjenninger.
• Bruk forhåndsgodkjente teknologistakk: Når det er mulig, bruk teknologistakk som allerede er godkjent og i bruk for å unngå forsinkelser i godkjenning og integrasjon.
• Fokusere på essensielle verktøy: Tidlige PoC-er krever vanligvis ikke modellfinjustering, automatiserte tilbakemeldingsløkker eller omfattende observasjon/SRE. Prioriter i stedet verktøy for kjerneoppgaver som vektorisering, innkapslinger, kunnskapsinnsamling, guardrails og UI-utvikling.
• Bruk lavkode/ingenkode-verktøy med forsiktighet: Mens disse verktøyene kan akselerere tidsfrister, begrenser deres svarte boksnatur tilpasnings- og integrasjonsmuligheter. Bruk dem med forsiktighet og vurdere deres langtidskonsekvenser.
• Håndtere sikkerhetsproblemer tidlig: Implementer teknikker som syntetisk datagenerering, PII-datautmaskering og kryptering for å håndtere sikkerhetsproblemer proaktivt.

5. Samle et lean, entreprenørielt team

Som med alle prosjekter, er det å ha det rette teamet med de essensielle ferdighetene kritisk for suksess. Forbi teknisk ekspertise, må ditt team også være smidig og entreprenørielt.

• Vurdere å inkludere produktledere og fageksperter for å sikre at du løser det riktige problemet.
• Sikre at du har både full-stack-utviklere og maskinlæringsingeniører i teamet.
• Unngå å hyre spesifikt for PoC eller låne interne ressurser fra høyere-prioriterte, langsiktige prosjekter. I stedet, vurdere å hyre små og mellomstore tjenesteleverandører som kan bringe inn riktige talenter raskt.
• Inkludere partnere fra juridiske og sikkerhetsteam fra dag 1.

6. Prioritere ikke-funksjonelle krav også

For en vellykket PoC, er det kritisk å etablere tydelige problemgrenser og en fast sett med funksjonelle krav. Imidlertid bør ikke-funksjonelle krav ikke oversees. Mens PoC-en bør forbli fokusert innenfor problemgrensene, må dens arkitektur være designet for høy ytelse. Mer spesifikt, å oppnå millisekund-latens kan ikke være en umiddelbar nødvendighet, men PoC-en bør være i stand til å skaleres sømløst når beta-brukere utvides. Velg en modulær arkitektur som forblir fleksibel og uavhengig av verktøy.

7. Utvikle en plan for å håndtere hallusinasjoner

Hallusinasjoner er uunngåelige med språkmodeller. Derfor er guardrails kritiske for å skalerbarhet GenAI-løsninger ansvarlig. Imidlertid, vurder om automatiske guardrails er nødvendige under PoC-stadiet og i hvilken utstrekning. I stedet for å ignorere eller over-ingeniør guardrails, detektere når dine modeller hallusinerer og flagg dem til PoC-brukerne.

8. Adopter produkt- og prosjektledelses beste praksis

Dette XKCD-illustrasjon gjelder for PoC-er like mye som for produksjon. Det finnes ingen en-size-fits-all-spillbok. Imidlertid, å adoptere beste praksis fra prosjekt- og produktledelse kan hjelpe å strømlinje og oppnå fremgang.

• Bruk kanban eller agile-metoder for taktisk planlegging og gjennomføring.
• Dokumenter alt.
• Hold scrum-of-scrums for å samarbeide effektivt med partnerteam.
• Hold dine interessenter og ledelse informert om fremgang.

Konklusjon

Å kjøre en vellykket GenAI PoC handler ikke bare om å bevise teknisk gjennomførbarhet, men om å evaluere de grunnleggende valgene for lang tid. Ved å velge det riktige bruksfallet, justere suksesskriterier, aktivere rask eksperimentering, minimere friksjon, samle det riktige team, håndtere både funksjonelle og ikke-funksjonelle krav, og planlegge for utfordringer som hallusinasjoner, kan organisasjoner dramatisk forbedre sjansen sin for å gå fra PoC til produksjon.

Det er sagt, at skrittene som er angitt ovenfor er ikke uttømmende, og ikke alle anbefalinger vil gjelde for alle bruksfall. Hver PoC er unik, og nøkkel til suksess er å tilpasse disse beste praksisene for å passe dine spesifikke forretningsmål, tekniske begrensninger og regulatoriske landskap.

En sterk visjon og strategi er essensielle for GenAI-adoptsjon, men uten de riktige taktiske skritt, kan selv de beste planene stoppe på PoC-stadiet. Gjennomføring er der store ideer enten lykkes eller feiler, og å ha en tydelig, strukturert tilnærming sikrer at innovasjon oversettes til virkelig innvirkning.