Tactische stappen voor een succesvol GenAI Proof of Concept

Proof of Concept (PoC) projecten zijn het testgebied voor nieuwe technologie, en Generative AI (GenAI) is geen uitzondering. Wat betekent succes eigenlijk voor een GenAI PoC? Simpel gezegd, een succesvolle PoC is er een die naadloos overgaat in productie. Het probleem is dat, vanwege de nieuwheid van de technologie en haar snelle evolutie, de meeste GenAI PoC’s voornamelijk gefocust zijn op technische haalbaarheid en metrieken zoals nauwkeurigheid en recall. Deze smalle focus is een van de belangrijkste redenen waarom PoC’s falen. Een McKinsey enquête vond dat, terwijl een kwart van de respondenten zich zorgen maakte over nauwkeurigheid, velen evenzeer worstelden met beveiliging, verklaring, intellectueel eigendomsbeheer en regelgevingsconformiteit. Voeg hieraan toe gemeenschappelijke problemen zoals slechte gegevenskwaliteit, schaalbeperkingen en integratieproblemen, en het is gemakkelijk te zien waarom zoveel GenAI PoC’s niet verder gaan.

Verder dan de hype: de realiteit van GenAI PoC’s

GenAI adoptie is duidelijk in opkomst, maar het werkelijke succespercentage van PoC’s blijft onduidelijk. Rapporten bieden uiteenlopende statistieken:

• Gartner voorspelt dat tegen het einde van 2025 ten minste 30% van de GenAI projecten na de PoC-fase wordt stopgezet, wat impliceert dat 70% mogelijk in productie kan gaan.
• Een studie van Avanade (citaat in RTInsights) vond dat 41% van de GenAI projecten vastzit in de PoC-fase.
• Deloitte’s januari 2025 The State of GenAI in the Enterprise rapport schat dat slechts 10-30% van de PoC’s naar productie zal gaan.
• Onderzoek van IDC (citaat in CIO.com) vond dat gemiddeld slechts 5 van de 37 PoC’s (13%) het tot productie brengt.

Met schattingen die variëren van 10% tot 70%, is het werkelijke succespercentage waarschijnlijk dichter bij het lagere einde. Dit benadrukt dat veel organisaties moeite hebben om PoC’s te ontwerpen met een duidelijke weg naar schaalvergroting. Het lage succespercentage kan middelen aanspreken, enthousiasme dempen en innovatie vertragen, wat leidt tot wat vaak “PoC vermoeidheid” wordt genoemd, waarbij teams het gevoel hebben vast te zitten in pilots die nooit in productie gaan.

Verder gaan dan verspilde inspanningen

GenAI is nog in de vroege stadia van zijn adoptiecyclus, net als cloud computing en traditionele AI voorheen. Cloud computing nam 15-18 jaar in beslag om tot algemene acceptatie te komen, terwijl traditionele AI 8-10 jaar nodig had en nog steeds groeit. Historisch gezien is de adoptie van AI een boom-bust cyclus gevolgd, waarbij de initiële opwinding leidt tot overbodige verwachtingen, gevolgd door een vertraging wanneer uitdagingen ontstaan, voordat deze uiteindelijk stabiliseert in mainstream gebruik. Als de geschiedenis een indicatie is, zal GenAI adoptie zijn eigen ups en downs hebben.

Om deze cyclus effectief te navigeren, moeten organisaties ervoor zorgen dat elke PoC is ontworpen met schaalvergroting in gedachten, waarbij gemeenschappelijke valkuilen worden vermeden die leiden tot verspilde inspanningen. Deze uitdagingen erkennend, hebben toonaangevende technologie- en adviesbedrijven gestructureerde kaders ontwikkeld om organisaties te helpen verder te gaan dan experimenten en hun GenAI initiatieven met succes te schalen.

Het doel van dit artikel is om deze kaders en strategische inspanningen aan te vullen door praktische, tactische stappen uit te lijnen die het succespercentage van een GenAI PoC aanzienlijk kunnen verhogen.

Sleuteltactische stappen voor een succesvol GenAI PoC

1. Selecteer een use case met productie in gedachten

Allereerst moet u een use case selecteren met een duidelijke weg naar productie. Dit betekent niet dat u een alomvattende, bedrijfsbrede GenAI Readiness assessment moet uitvoeren. In plaats daarvan moet u elke use case afzonderlijk beoordelen op basis van factoren zoals gegevenskwaliteit, schaalbaarheid en integratievereisten, en prioriteit geven aan die met de hoogste kans om in productie te gaan.

Enkele belangrijke vragen om te overwegen bij het selecteren van de juiste use case:

• Is mijn PoC afgestemd op langetermijndoelen?
• Kan de vereiste gegevens legaal worden gebruikt?
• Zijn er duidelijke risico’s die schaalvergroting zullen voorkomen?

2. Definieer en stem af op succesmetrieken voorafgaand aan de start

Een van de belangrijkste redenen waarom PoC’s vastlopen, is het ontbreken van duidelijk gedefinieerde metrieken voor het meten van succes. Zonder een sterke afstemming op doelen en verwachtingen van ROI, kunnen zelfs technisch solide PoC’s moeite hebben om goedkeuring te krijgen voor productie. Het schatten van ROI is niet gemakkelijk, maar hier zijn enkele aanbevelingen:

• Ontwikkel of neem een kader zoals dit.
• Gebruik kostenberekenaars, zoals deze OpenAI API prijstool en cloud provider calculators om uitgaven te schatten.
• In plaats van een enkel doel, ontwikkel een bereikgebaseerde ROI schatting met waarschijnlijkheden om onzekerheid te verdisconteren.

Hier is een voorbeeld van hoe Uber’s QueryGPT team de potentiële impact van hun text-to-SQL GenAI tool schatte.

3. Maak snelle experimenten mogelijk

Het bouwen van GenAI apps is allemaal over experimenten en vereist constante iteratie. Wanneer u uw technische stack, architectuur, team en processen selecteert, zorg er dan voor dat ze deze iteratieve aanpak ondersteunen. De keuzes moeten naadloze experimenten mogelijk maken, van het genereren van hypothesen en het uitvoeren van tests tot het verzamelen van gegevens, het analyseren van resultaten, het leren en het verfijnen.

• Overweeg het inhuren van kleine en middelgrote dienstverleners om experimenten te versnellen.
• Kies benchmarks, evals en evaluatiekaders vanaf het begin, zodat ze aansluiten bij uw use case en doelen.
• Gebruik technieken zoals LLM-as-a-judge of LLM-as-Juries om evaluatie (semi-)automatisch te maken.

4. Streef naar lage-wrijvingsoplossingen

Een lage-wrijvingsoplossing vereist minder goedkeuringen en zal dus minder of geen bezwaren tegen adoptie en schaalvergroting ontmoeten. De snelle groei van GenAI heeft geleid tot een explosie van tools, kaders en platforms ontworpen om PoC’s en productie-implementaties te versnellen. Echter, veel van deze oplossingen functioneren als black boxes die strenge controle van IT, juridische, beveiligings- en risicobeheerteams vereisen. Om deze uitdagingen aan te pakken en het proces te stroomlijnen, overweeg de volgende aanbevelingen voor het bouwen van een lage-wrijvingsoplossing:

• Maak een specifieke roadmap voor goedkeuringen: Overweeg het maken van een specifieke roadmap voor het aanpakken van partner-teambezorgdheden en het verkrijgen van goedkeuringen.
• Gebruik vooraf goedgekeurde technische stacks: Wanneer mogelijk, gebruik technische stacks die al zijn goedgekeurd en in gebruik zijn om vertragingen in goedkeuring en integratie te voorkomen.
• Concentreer u op essentiële tools: Vroege PoC’s vereisen meestal geen modelafstemming, geautomatiseerde feedbackloops of uitgebreide observatie/SRE. Prioriteer in plaats daarvan tools voor coretaken zoals vectorisatie, embeddings, kennisopname, guardrails en UI-ontwikkeling.
• Gebruik low-code/no-code tools met voorzichtigheid: Hoewel deze tools tijdslijnen kunnen versnellen, beperkt hun black-box aard de aanpasbaarheid en integratiecapaciteiten. Gebruik ze met voorzichtigheid en overweeg hun langetermijnimplicaties.
• Pak beveiligingsproblemen vroeg aan: Implementeer technieken zoals synthetische gegevensgeneratie, PII-gegevensmaskering en encryptie om beveiligingsproblemen proactief aan te pakken.

5. Stel een lean, ondernemend team samen

Net als bij elk project is het hebben van het juiste team met de essentiële vaardigheden cruciaal voor succes. Naast technische expertise moet uw team ook behendig en ondernemend zijn.

• Overweeg het opnemen van productmanagers en subject matter experts (SME’s) om ervoor te zorgen dat u het juiste probleem aan het oplossen bent.
• Zorg ervoor dat u zowel full-stack ontwikkelaars als machine learning engineers in het team heeft.
• Werven specifiek voor de PoC of lenen interne middelen van hogere prioriteit, langetermijnprojecten. Overweeg in plaats daarvan het inhuren van kleine en middelgrote dienstverleners die de juiste talenten snel kunnen brengen.
• Integreer partners van juridische en beveiligingsteams vanaf dag 1.

6. Prioriteer niet-functionele vereisten ook

Voor een succesvolle PoC is het essentieel om duidelijke probleemgrenzen en een vaste set functionele vereisten vast te stellen. Echter, niet-functionele vereisten mogen niet worden genegeerd. Hoewel de PoC zich binnen de probleemgrenzen moet blijven, moet de architectuur zijn ontworpen voor hoge prestaties. Meer specifiek, het bereiken van milliseconde latentie is mogelijk geen onmiddellijke noodzaak, maar de PoC moet in staat zijn om naadloos te schalen wanneer bèta-gebruikers uitbreiden. Kies voor een modulaire architectuur die flexibel en onafhankelijk van tools blijft.

7. Maak een plan om hallucinaties aan te pakken

Hallucinaties zijn onvermijdelijk met taalmodellen. Daarom zijn guardrails essentieel voor het verantwoord schalen van GenAI-oplossingen. Echter, beoordeel of geautomatiseerde guardrails noodzakelijk zijn tijdens de PoC-fase en in welke mate. In plaats van hallucinaties te negeren of over-engineeren, detecteert u wanneer uw modellen hallucineren en markeert u deze voor de PoC-gebruikers.

8. Pas product- en projectmanagementbest practices toe

Deze XKCD illustratie is van toepassing op PoC’s, net zoals op productie. Er is geen universele aanpak. Echter, het toepassen van best practices uit project- en productmanagement kan helpen om vooruitgang te boeken en te stroomlijnen.

• Gebruik kanban- of agile methoden voor tactische planning en uitvoering.
• Documenteer alles.
• Houd scrum-of-scrums om effectief te communiceren met partner teams.
• Houd uw stakeholders en leiders op de hoogte van de voortgang.

Conclusie

Het uitvoeren van een succesvolle GenAI PoC is niet alleen een kwestie van het aantonen van technische haalbaarheid, maar ook van het evalueren van de fundamentele keuzes voor de lange termijn. Door zorgvuldig de juiste use case te selecteren, af te stemmen op succesmetrieken, snelle experimenten mogelijk te maken, wrijving te minimaliseren, het juiste team samen te stellen, zowel functionele als niet-functionele vereisten aan te pakken en plannen te maken voor uitdagingen zoals hallucinaties, kunnen organisaties hun kansen aanzienlijk vergroten om van PoC naar productie over te gaan.

Dat gezegd hebbende, zijn de hierboven beschreven stappen niet uitputtend, en zal niet elke aanbeveling van toepassing zijn op elke use case. Elke PoC is uniek, en de sleutel tot succes is het aanpassen van deze best practices aan uw specifieke bedrijfsdoelen, technische beperkingen en regelgevingslandschap.

Een sterke visie en strategie zijn essentieel voor GenAI adoptie, maar zonder de juiste tactische stappen kunnen zelfs de beste plannen vastlopen in de PoC-fase. Uitvoering is waar geweldige ideeën slagen of falen, en het hebben van een duidelijke, gestructureerde aanpak zorgt ervoor dat innovatie wordt omgezet in echte wereldimpact.