Taktiska steg för en framgångsrik GenAI-PoC

Bevis för koncept (PoC) är testområdet för ny teknik, och Generative AI (GenAI) är inget undantag. Vad betyder egentligen framgång för en GenAI-PoC? Enkelt uttryckt är en framgångsrik PoC en som smidigt övergår till produktion. Problemet är att, på grund av teknikens nyhet och snabba utveckling, de flesta GenAI-PoC främst fokuserar på teknisk genomförbarhet och mått som noggrannhet och återkallande. Denna snäva fokus är en av de primära orsakerna till varför PoC misslyckas. En McKinsey-undersökning fann att medan en fjärdedel av respondenterna var oroliga för noggrannhet, kämpade många lika mycket med säkerhet, förklarbarhet, immateriell äganderätt (IP) och regelefterlevnad. Lägg till vanliga problem som dålig datakvalitet, skalbarhetsbegränsningar och integrationsbesvär, och det är lätt att se varför så många GenAI-PoC inte kan fortsätta.

Bortom hypen: Verkligheten för GenAI-PoC

GenAI-antagande ökar tydligt, men den verkliga framgångsgraden för PoC förblir oklar. Rapporter erbjuder varierande statistik:

• Gartner förutspår att senast 2025 kommer minst 30% av GenAI-projekt att överges efter PoC-stadiet, vilket innebär att 70% kan gå vidare till produktion.
• En studie av Avanade (citerad i RTInsights) fann att 41% av GenAI-projekt fortfarande är fast i PoC.
• Deloittes rapport från januari 2025 The State of GenAI in the Enterprise uppskattar att endast 10-30% av PoC kommer att skalas till produktion.
• En undersökning av IDC (citerad i CIO.com) fann att i genomsnitt endast 5 av 37 PoC (13%) når produktion.

Med uppskattningar som varierar från 10% till 70% är den verkliga framgångsgraden troligen närmare den lägre änden. Detta betonar att många organisationer kämpar för att utforma PoC med en tydlig väg till skalning. Den låga framgångsgraden kan tömma resurser, dämpa entusiasm och bromsa innovation, vilket leder till vad som ofta kallas “PoC-trötthet”, där team känner sig fast i att köra piloter som aldrig når produktion.

Att gå bortom slösade ansträngningar

GenAI är fortfarande i de tidiga stadierna av sin antagningscykel, liknande molnberäkning och traditionell AI före det. Molnberäkning tog 15-18 år att nå allmän acceptans, medan traditionell AI behövde 8-10 år och fortfarande växer. Historiskt har AI-antagande följt en boom-bust-cykel där den initiala entusiasmen leder till överdrivna förväntningar, följt av en avmattning när utmaningar uppstår, innan det slutligen stabiliseras i allmän användning. Om historien är någon vägledning kommer GenAI-antagande att ha sina egna upp- och nedgångar.

För att navigera denna cykel effektivt måste organisationer se till att varje PoC är utformad med skalbarhet i åtanke, undviker vanliga fallgropar som leder till slösade ansträngningar. Genom att erkänna dessa utmaningar har ledande teknologi- och konsultföretag utvecklat strukturerade ramverk för att hjälpa organisationer gå bortom experiment och skalera sina GenAI-initiativ framgångsrikt.

Målet med den här artikeln är att komplettera dessa ramverk och strategiska ansträngningar genom att presentera praktiska, taktiska steg som kan öka sannolikheten för att en GenAI-PoC går från testning till verklig påverkan.

Nyckeltaktiska steg för en framgångsrik GenAI-PoC

1. Välj ett användningsfall med produktion i åtanke

Först och främst, välj ett användningsfall med en tydlig väg till produktion. Detta innebär inte att genomföra en omfattande, företagsomfattande GenAI-beredskapsbedömning. Istället utvärdera varje användningsfall individuellt baserat på faktorer som datakvalitet, skalbarhet och integrationskrav, och prioritera de med den högsta sannolikheten att nå produktion.

Några fler nyckelfrågor att överväga när du väljer rätt användningsfall:

• Stämmer min PoC överens med långsiktiga affärsmål?
• Kan den erforderliga datan nås och användas lagligt?
• Finns det tydliga risker som kan förhindra skalning?

2. Definiera och samordna framgångsmått före start

En av de största anledningarna till att PoC stannar av är bristen på väldefinierade mått för att mäta framgång. Utan en stark samordning på mål och förväntningar på avkastning kan sogar tekniskt sund PoC kämpa för att få buy-in för produktion. Att uppskatta avkastning är inte lätt, men här är några rekommendationer:

• Utveckla eller anta ett ramverk som detta.
• Använd kostnadskalkylatorer, som detta OpenAI API-priskalkylatorverktyg och molntjänstekalkylatorer för att uppskatta utgifter.
• Istället för ett enda mål, utveckla ett intervallbaserat avkastningsuppskattning med sannolikhet för att ta itu med osäkerhet.

Här är ett exempel på hur Ubers QueryGPT-team uppskattade den potentiella påverkan av deras text-till-SQL GenAI-verktyg.

3. Aktivera snabb experiment

Att bygga GenAI-appar handlar om experiment och kräver konstant iteration. När du väljer din tekniska stack, arkitektur, team och processer, se till att de stöder detta iterativa tillvägagångssätt. Valet ska möjliggöra smidig experiment, från att generera hypoteser och köra tester till att samla in data, analysera resultat, lära och förbättra.

• Överväg att anställa små och medelstora tjänsteleverantörer för att påskynda experiment.
• Välj benchmark, utvärderingar och utvärderingsramverk från början, som säkerställer att de överensstämmer med ditt användningsfall och mål.
• Använd tekniker som LLM-as-a-judge eller LLM-as-Juries för att automatisera (semi-automatisera) utvärdering.

4. Sträva efter lågfriktionslösningar

En lågfriktionslösning kräver färre godkännanden och möter därför färre eller inga invändningar mot antagande och skalning. Den snabba tillväxten av GenAI har lett till en explosion av verktyg, ramverk och plattformar som är utformade för att påskynda PoC och produktionsdistributioner. Men många av dessa lösningar fungerar som svarta lådor som kräver rigorös granskning från IT, juridik, säkerhet och riskhanteringsgrupper. För att hantera dessa utmaningar och strömlinjeforma processen, överväg följande rekommendationer för att bygga en lågfriktionslösning:

• Skapa en dedikerad vägkarta för godkännanden: Överväg att skapa en dedikerad vägkarta för att hantera partnergruppers problem och erhålla godkännanden.
• Använd föravgjorda tekniska stackar: När det är möjligt, använd tekniska stackar som redan är godkända och i bruk för att undvika förseningar i godkännande och integration.
• Fokusera på väsentliga verktyg: Tidiga PoC kräver vanligtvis inte modellfinjustering, automatiserade återkopplingsloopar eller omfattande observabilitet/SRE. Prioritera istället verktyg för kärnuppgifter som vektorisering, inbäddningar, kunskapsåtervinning, skyddsräcken och användargränssnittsutveckling.
• Använd lågkod/ingenkodverktyg med försiktighet: Medan dessa verktyg kan påskynda tidsplaner, begränsar deras svarta lådor anpassnings- och integrationsförmåga. Använd dem med försiktighet och överväg deras långsiktiga konsekvenser.
• Hantera säkerhetsproblem tidigt: Implementera tekniker som syntetisk datagenerering, PII-datamaskering och kryptering för att hantera säkerhetsproblem proaktivt.

5. Samla ett smalt, entreprenöriellt team

Som med alla projekt är det viktigt att ha rätt team med de väsentliga färdigheterna. Utöver teknisk expertis måste ditt team också vara smidigt och entreprenöriellt.

• Överväg att inkludera produktchefer och ämnesexperter (SME) för att säkerställa att du löser rätt problem.
• Se till att du har både fullstack-utvecklare och maskinläringsingenjörer i teamet.
• Undvik att anställa specifikt för PoC eller låna interna resurser från högprioriterade, långsiktiga projekt. Överväg istället att anställa små och medelstora tjänsteleverantörer som kan bringa in rätt talang snabbt.
• Integrera partners från juridik och säkerhet från dag 1.

6. Prioritera icke-funktionella krav också

För en framgångsrik PoC är det viktigt att etablera tydliga problemgränser och en fast uppsättning funktionella krav. Men icke-funktionella krav bör inte försummas. Medan PoC bör förbli fokuserad inom problemgränser, måste dess arkitektur utformas för hög prestanda. Mer specifikt, att uppnå millisekundsfördröjning kanske inte är en omedelbar nödvändighet, men PoC bör kunna skalas smidigt när betaanvändare utökas. Välj en modulär arkitektur som förblir flexibel och oberoende av verktyg.

7. Utveckla en plan för att hantera hallucinationer

Hallucinationer är oundvikliga med språkmodeller. Därför är skyddsräcken avgörande för att skalera GenAI-lösningar på ett ansvarsfullt sätt. Men utvärdera om automatiserade skyddsräcken är nödvändiga under PoC-stadiet och i vilken utsträckning. Istället för att ignorera eller överkonstruera skyddsräcken, upptäck när dina modeller hallucinerar och flagga dem för PoC-användarna.

8. Anta produkt- och projekthanteringsbästa praxis

Denna XKCD-illustration gäller för PoC lika väl som för produktion. Det finns ingen universell handbok. Men att anta bästa praxis från projekthantering och produktledning kan hjälpa till att strömlinjeforma och uppnå framsteg.

• Använd kanban eller agila metoder för taktisk planering och genomförande.
• Dokumentera allt.
• Håll scrum-of-scrums för att samarbeta effektivt med partnergrupper.
• Håll dina intressenter och ledning informerade om framsteg.

Slutsats

Att köra en framgångsrik GenAI-PoC handlar inte bara om att bevisa teknisk genomförbarhet, utan om att utvärdera de grundläggande valen för långsiktiga mål. Genom att noggrant välja rätt användningsfall, samordna framgångsmått, möjliggöra snabbt experiment, minimera friktion, samla rätt team, hantera funktionella och icke-funktionella krav och planera för utmaningar som hallucinationer, kan organisationer dramatiskt förbättra sina chanser att gå från PoC till produktion.

Det sagda, är de steg som beskrivs ovan inte uttömmande, och inte alla rekommendationer kommer att gälla för varje användningsfall. Varje PoC är unik, och nyckeln till framgång är att anpassa dessa bästa praxis för att passa dina specifika affärsmål, tekniska begränsningar och regulatoriska landskap.

En stark vision och strategi är avgörande för GenAI-antagande, men utan rätt taktiska steg kan även de bäst uttänkta planerna stanna vid PoC-stadiet. Genomförandet är där stora idéer antingen lyckas eller misslyckas, och att ha en tydlig, strukturerad tillvägagångssätt säkerställer att innovation översätts till verklig påverkan.