Taktische Schritte für eine erfolgreiche GenAI-PoC

Proof of Concept (PoC)-Projekte sind das Testfeld für neue Technologien, und Generative KI (GenAI) ist keine Ausnahme. Was bedeutet Erfolg wirklich für eine GenAI-PoC? Einfach ausgedrückt, ist eine erfolgreiche PoC eine, die nahtlos in die Produktion übergeht. Das Problem ist, dass aufgrund der Neuheit der Technologie und ihrer schnellen Evolution die meisten GenAI-PoCs hauptsächlich auf technische Machbarkeit und Metriken wie Genauigkeit und Recall fokussiert sind. Diese enge Fokussierung ist einer der Hauptgründe, warum PoCs scheitern. Eine McKinsey-Umfrage fand heraus, dass während ein Viertel der Befragten Bedenken hinsichtlich der Genauigkeit hatten, viele genauso viel mit Sicherheit, Erklärbarkeit, Intellectual-Property-(IP)-Management und regulatorischer Konformität zu kämpfen hatten. Wenn man häufige Probleme wie schlechte Datenqualität, Skalierbarkeitsgrenzen und Integrationsprobleme hinzufügt, ist es leicht zu sehen, warum so viele GenAI-PoCs nicht vorankommen.

Jenseits der Hype: Die Realität von GenAI-PoCs

GenAI-Adoption ist clearly auf dem Vormarsch, aber die tatsächliche Erfolgsrate von PoCs bleibt unklar. Berichte bieten unterschiedliche Statistiken:

• Gartner prognostiziert, dass bis Ende 2025 mindestens 30 % der GenAI-Projekte nach der PoC-Phase aufgegeben werden, was bedeutet, dass 70 % möglicherweise in die Produktion übergehen.
• Eine Studie von Avanade (zitiert in RTInsights) fand heraus, dass 41 % der GenAI-Projekte in der PoC-Phase stecken bleiben.
• Deloittes Januar 2025- The State of GenAI in the Enterprise-Bericht schätzt, dass nur 10-30 % der PoCs auf die Produktion skaliert werden.
• Eine Forschung von IDC (zitiert in CIO.com) fand heraus, dass im Durchschnitt nur 5 von 37 PoCs (13 %) in die Produktion übergehen.

Mit Schätzungen, die von 10 % bis 70 % reichen, liegt die tatsächliche Erfolgsrate wahrscheinlich näher am unteren Ende. Dies unterstreicht, dass viele Organisationen Schwierigkeiten haben, PoCs mit einem klaren Weg zur Skalierung zu entwerfen. Die niedrige Erfolgsrate kann Ressourcen verbrauchen, die Begeisterung dämpfen und die Innovation behindern, was zu dem führt, was oft als “PoC-Ermüdung” bezeichnet wird, bei der Teams das Gefühl haben, festzustecken und nie in die Produktion zu gelangen.

Jenseits vergeudeter Anstrengungen

GenAI ist noch in den frühen Stadien ihres Adoptionszyklus, ähnlich wie Cloud-Computing und traditionelle KI vor ihr. Cloud-Computing benötigte 15-18 Jahre, um eine weit verbreitete Akzeptanz zu erreichen, während traditionelle KI 8-10 Jahre benötigte und noch immer wächst. Historisch gesehen hat die KI-Adoption einen Boom-Bust-Zyklus verfolgt, bei dem die anfängliche Begeisterung zu überhöhten Erwartungen führt, gefolgt von einem Rückgang, wenn Herausforderungen auftauchen, bevor sie schließlich in den Mainstream übergeht. Wenn die Geschichte ein Leitfaden ist, wird die GenAI-Adoption ihre eigenen Höhen und Tiefen haben.

Um diesen Zyklus effektiv zu navigieren, müssen Organisationen sicherstellen, dass jede PoC mit Skalierbarkeit im Sinn entworfen wird und gemeinsame Fallstricke vermeidet, die zu vergeudeten Anstrengungen führen. Die Anerkennung dieser Herausforderungen haben führende Technologie- und Beratungsunternehmen strukturierte Rahmenbedingungen entwickelt, um Organisationen zu helfen, über Experimente hinauszugehen und ihre GenAI-Initiativen erfolgreich zu skalierten.

Das Ziel dieses Artikels ist es, diese Rahmenbedingungen und strategischen Bemühungen zu ergänzen, indem praktische, taktische Schritte skizziert werden, die die Wahrscheinlichkeit erheblich erhöhen, dass eine GenAI-PoC von Tests zu realen Auswirkungen übergeht.

Schlüssel-Taktische Schritte für eine erfolgreiche GenAI-PoC

1. Wählen Sie einen Anwendungsfall mit Produktionsblick

Zunächst und vor allem sollten Sie einen Anwendungsfall mit einem klaren Weg zur Produktion wählen. Dies bedeutet nicht, eine umfassende, unternehmensweite GenAI-Bereitschaftsbeurteilung durchzuführen. Stattdessen sollten Sie jeden Anwendungsfall individuell basierend auf Faktoren wie Datenqualität, Skalierbarkeit und Integrationsanforderungen beurteilen und diejenigen priorisieren, die die höchste Wahrscheinlichkeit haben, in die Produktion zu gelangen.

Einige weitere wichtige Fragen, die Sie beim Auswählen des richtigen Anwendungsfalls berücksichtigen sollten:

• Stimmt meine PoC mit den langfristigen Geschäftszielen überein?
• Kann der erforderliche Datenbestand rechtlich abgerufen und verwendet werden?
• Gibt es klare Risiken, die eine Skalierung verhindern?

2. Definieren und stimmen Sie vor dem Start auf Erfolgsmetriken ab

Einer der größten Gründe, warum PoCs stecken bleiben, ist das Fehlen gut definierter Metriken für den Erfolg. Ohne eine starke Ausrichtung auf Ziele und ROI-Erwartungen können auch technisch solide PoCs Schwierigkeiten haben, die Zustimmung für die Produktion zu erhalten. Die Schätzung des ROI ist nicht einfach, aber hier sind einige Empfehlungen:

• Entwickeln oder übernehmen Sie ein Framework wie dieses.
• Verwenden Sie Kostenrechner wie diesen OpenAI-API-Preisrechner und Cloud-Anbieter-Kalkulatoren, um Ausgaben zu schätzen.
• Anstatt eines einzelnen Ziels sollten Sie eine bereichsbasierte ROI-Schätzung mit Wahrscheinlichkeiten entwickeln, um Unsicherheit zu berücksichtigen.

Hier ist ein Beispiel, wie Ubers QueryGPT-Team den potenziellen Einfluss ihres Text-zu-SQL-GenAI-Tools schätzte.

3. Ermöglichen Sie schnelle Experimentierung

Das Erstellen von GenAI-Apps ist alles über Experimentierung und erfordert ständige Iteration. Wenn Sie Ihre Technologie-Stack, Architektur, Team und Prozesse auswählen, sollten Sie sicherstellen, dass sie diesen iterativen Ansatz unterstützen. Die Auswahl sollte eine nahtlose Experimentierung ermöglichen, von der Generierung von Hypothesen und dem Ausführen von Tests bis hin zum Sammeln von Daten, Analysieren von Ergebnissen, Lernen und Verfeinern.

• Berücksichtigen Sie die Einstellung von kleinen und mittelständischen Dienstleistungsanbietern, um die Experimentierung zu beschleunigen.
• Wählen Sie Benchmarks, Bewertungen und Bewertungsframeworks von Anfang an, um sicherzustellen, dass sie mit Ihrem Anwendungsfall und Ihren Zielen übereinstimmen.
• Verwenden Sie Techniken wie LLM-as-a-Judge oder LLM-as-Juries, um die Bewertung (halb-) zu automatisieren.

4. Zielen Sie auf low-friction-Lösungen ab

Eine low-friction-Lösung erfordert weniger Genehmigungen und steht daher weniger oder gar nicht im Widerspruch zur Einführung und Skalierung. Das schnelle Wachstum von GenAI hat zu einer Explosion von Tools, Frameworks und Plattformen geführt, die darauf ausgelegt sind, PoCs und Produktionsbereitstellungen zu beschleunigen. Allerdings erfordern viele dieser Lösungen eine strenge Prüfung durch IT-, Rechts-, Sicherheits- und Risikomanagement-Teams. Um diese Herausforderungen anzugehen und den Prozess zu straffen, sollten Sie die folgenden Empfehlungen für den Aufbau einer low-friction-Lösung berücksichtigen:

• Erstellen Sie eine dedizierte Roadmap für Genehmigungen: Berücksichtigen Sie die Erstellung einer dedizierten Roadmap, um die Bedenken der Partner-Teams zu behandeln und Genehmigungen zu erhalten.
• Verwenden Sie vorab genehmigte Tech-Stacks: Wenn immer möglich, sollten Sie Tech-Stacks verwenden, die bereits genehmigt und im Einsatz sind, um Verzögerungen bei der Genehmigung und Integration zu vermeiden.
• Konzentrieren Sie sich auf wesentliche Tools: Frühe PoCs erfordern in der Regel keine Modellfeinabstimmung, automatisierte Feedback-Schleifen oder umfangreiche Beobachtbarkeit/SRE. Stattdessen sollten Sie Tools für Kernaufgaben wie Vektorisierung, Einbettungen, Wissensabruf, Schutzschranken und UI-Entwicklung priorisieren.
• Verwenden Sie low-code/no-code-Tools mit Vorsicht: Obwohl diese Tools die Zeitleisten beschleunigen können, begrenzt ihre Black-Box-Natur die Anpassungsfähigkeit und Integrationsfähigkeit. Verwenden Sie sie mit Vorsicht und berücksichtigen Sie ihre langfristigen Auswirkungen.
• Behandeln Sie Sicherheitsbedenken frühzeitig: Implementieren Sie Techniken wie synthetische Datengenerierung, PII-Datenmaskierung und Verschlüsselung, um Sicherheitsbedenken proaktiv zu behandeln.

5. Bauen Sie ein lean-entrepreneuriales Team auf

Wie bei jedem Projekt ist es entscheidend, das richtige Team mit den erforderlichen Fähigkeiten zu haben. Neben technischer Expertise muss Ihr Team auch agil und unternehmerisch sein.

• Berücksichtigen Sie die Einbeziehung von Produktmanagern und Fachexperten (SMEs), um sicherzustellen, dass Sie das richtige Problem lösen.
• Stellen Sie sicher, dass Sie sowohl Full-Stack-Entwickler als auch Maschinenlern-Ingenieure im Team haben.
• Vermeiden Sie die Einstellung von Mitarbeitern, die speziell für die PoC oder von höher priorisierten, langfristigen Projekten ausgeliehen sind. Stattdessen sollten Sie kleine und mittelständische Dienstleistungsanbieter in Betracht ziehen, die das richtige Talent schnell einbringen können.
• Integrieren Sie Partner aus Rechts- und Sicherheitsbereichen von Anfang an.

6. Priorisieren Sie nicht-funktionale Anforderungen

Für eine erfolgreiche PoC ist es entscheidend, klare Problemgrenzen und einen festen Satz funktionaler Anforderungen zu etablieren. Nicht-funktionale Anforderungen sollten jedoch nicht außer Acht gelassen werden. Während die PoC innerhalb der Problemgrenzen bleiben sollte, muss ihre Architektur für hohe Leistung konzipiert werden. Insbesondere muss die PoC in der Lage sein, nahtlos zu skalierten, wenn die Beta-Benutzer expandieren. Wählen Sie eine modulare Architektur, die flexibel und unabhängig von Tools bleibt.

7. Entwickeln Sie einen Plan, um Halluzinationen zu behandeln

Halluzinationen sind unvermeidlich bei Sprachmodellen. Daher sind Schutzschranken für die verantwortungsvolle Skalierung von GenAI-Lösungen entscheidend. Allerdings sollten Sie bewerten, ob automatisierte Schutzschranken während der PoC-Phase erforderlich sind und in welchem Umfang. Anstatt Schutzschranken zu ignorieren oder zu überingenieuren, sollten Sie erfahren, wann Ihre Modelle halluzinieren, und sie den PoC-Benutzern melden.

8. Übernehmen Sie Produkt- und Projektmanagement-Best-Practices

Diese XKCD-Illustration gilt für PoCs genauso wie für die Produktion. Es gibt kein Allheilmittel. Allerdings kann die Übernahme von Best-Practices aus Projekt- und Produktmanagement den Fortschritt straffen und erreichen.

• Verwenden Sie Kanban- oder agile Methoden für taktische Planung und Ausführung.
• Dokumentieren Sie alles.
• Halten Sie Scrum-of-Scrums, um effektiv mit Partner-Teams zusammenzuarbeiten.
• Halten Sie Ihre Stakeholder und Führungskräfte über den Fortschritt informiert.

Fazit

Das Durchführen einer erfolgreichen GenAI-PoC ist nicht nur darum, technische Machbarkeit zu beweisen, sondern auch darum, die grundlegenden Entscheidungen für die langfristige Perspektive zu bewerten. Durch die sorgfältige Auswahl des richtigen Anwendungsfalls, die Abstimmung auf Erfolgsmetriken, die Ermöglichung schneller Experimentierung, die Minimierung von Reibung, die Zusammenstellung des richtigen Teams, die Behandlung von funktionalen und nicht-funktionalen Anforderungen und die Planung für Herausforderungen wie Halluzinationen können Organisationen ihre Chancen erheblich verbessern, von der PoC zur Produktion überzugehen.

Das bedeutet jedoch, dass die oben aufgeführten Schritte nicht erschöpfend sind und nicht jede Empfehlung auf jeden Anwendungsfall zutrifft. Jede PoC ist einzigartig, und der Schlüssel zum Erfolg liegt darin, diese Best-Practices an die spezifischen Geschäftsziele, technischen Einschränkungen und regulatorischen Anforderungen anzupassen.

Eine starke Vision und Strategie sind für die GenAI-Adoption unerlässlich, aber ohne die richtigen taktischen Schritte können sogar die besten Pläne in der PoC-Phase stecken bleiben. Die Umsetzung ist der Ort, an dem großartige Ideen entweder erfolgreich sind oder scheitern, und ein klarer, strukturierter Ansatz stellt sicher, dass die Innovation in realen Auswirkungen umgesetzt wird.