Warum Enterprise-AI am Ziel scheitert – und wie man es beheben kann

Trotz all dem Buzz um künstliche Intelligenz (KI) schaffen es die meisten Enterprise-AI-Projekte nicht, die Experimentierphase zu überwinden. Laut jüngsten IDC-Studien scheitern 88 % der KI-Proof-of-Concept-(POC)-Projekte daran, in die volle Produktion zu gelangen. Das ist ein massiver Rückgang und ein deutliches Zeichen dafür, dass etwas nicht funktioniert. Viele dieser Projekte kommen nahe an die Ziellinie heran, mit einem trainierten Modell, das die von dem Team festgelegten Benchmarks erfüllt, und werden dann nicht gestartet oder von den Endbenutzern angenommen.

Was geht also schief? In vielen Fällen liegt es an drei großen Problemen:

1. Enterprise-AI-Teams verlassen sich auf oberflächliche Diagnose-Tools und Benchmarks, die wichtige Leistungsengpässe nicht erfassen
2. Modelle werden auf Standard-Benchmarks trainiert, anstatt reale Probleme zu lösen
3. Die Kosten für die Skalierung der Modellnutzung sind für eine unternehmensweite Einführung zu hoch

In diesem Artikel werden wir jedes dieser Fallstricke und das erforderliche Vorgehen, um AI-Projekte über die Ziellinie zu bringen und sie den Benutzern in großem Umfang zugänglich zu machen, genauer betrachten.

Problem #1: Standard-Diagnosen, die wichtige Leistungsprobleme verpassen

Einer der Hauptgründe, warum AI-Projekte nach der Proof-of-Concept-Phase stolpern, ist, dass interne Benchmarks und Diagnosen oft nicht tief genug in die Modellleistung eindringen und Probleme verpassen, die die Benutzerfreundlichkeit, das Vertrauen und die Akzeptanz beeinträchtigen. Teams können alle Kästchen auf dem Papier abhaken, aber diese Kontrollen spiegeln nicht unbedingt wider, wie das Modell in der realen Welt funktionieren wird.

Nehmen wir beispielsweise folgendes Szenario: Ein AI-Team hatte ein Modell, das alle internen Tests mit Bravour bestand. Es erreichte alle Genauigkeitsmetriken und Sicherheitsschwellen, und sie bereiteten sich auf die Veröffentlichung vor. Als jedoch ein Drittanbieter das Modell für den beabsichtigten Einsatzfall auswertete, um zu sehen, wie es in der realen Welt funktionieren würde, entdeckte er einen großen blinden Fleck. Das Modell war neun Mal eher bereit, ausweichende Antworten zu geben, wenn es auf bestimmte Weise gefragt wurde. Beispielsweise würde es korrekt auf “Wer ist der Präsident der USA?” antworten, aber “Kannst du mir etwas über den Präsidenten erzählen?” als Sicherheitsrisiko behandeln und sich weigern, zu antworten.

Das Problem lag nicht im Kernwissen des Modells – es lag darin, wie es die Absicht auf der Grundlage der Formulierung interpretierte. Das Team hatte so sehr auf Sicherheit geachtet, dass es versehentlich normale, vernünftige Fragen blockierte.

Problem #2: Modelle, die auf Benchmarks trainiert sind, die nicht der realen Welt entsprechen

Ein weiteres häufiges Hindernis für Enterprise-AI ist, dass AI-Teams Modelle trainieren, um Branchen-Benchmarks zu erfüllen, anstatt reale Bedürfnisse. Auf dem Papier kann ein Modell top sein und hohe Bewertungen für Genauigkeit, Relevanz oder Sicherheit erreichen. In der Praxis kann es jedoch Schwierigkeiten haben, konsistente, nützliche Ergebnisse ohne starke Benutzereingriffe zu liefern.

Das passiert, wenn Teams Modelle optimieren, um gut auf engen, benchmark-spezifischen Aufgaben zu performen. Das Modell wird dann auf diese Testfälle spezialisiert, aber es strauchelt, wenn es weniger strukturierte, vielfältigere Eingaben aus der realen Welt erhält. Als Ergebnis müssen Benutzer “die Sprache des Modells” durch Prompt-Engineering sprechen, um die richtigen Antworten zu erhalten. Wenn Ihr AI-Produkt von den Endbenutzern abhängt, die präzise Prompts formulieren, haben Sie Reibung eingeführt, die die Akzeptanz verlangsamt und ihre Nützlichkeit untergräbt.

Diese Art von benchmark-orientiertem Training kann auch zu Overfitting führen. Das Modell wird so fein auf die Bewertungsdatensätze trainiert, dass es seine Allgemeingültigkeit verliert. Es kann jeden internen Test bestehen, aber es kann dennoch versagen, wenn es in der realen Welt eingesetzt wird, besonders wenn die tatsächlichen Anwendungsfälle sich von denen unterscheiden, auf denen es trainiert wurde.

Wenn Sie ein Enterprise-AI-Lösung wollen, die erfolgreich ist, muss Ihr Modell in der realen Welt funktionieren – nicht nur im Labor.

Problem #3: Skalierung der AI-Einführung bedeutet Skalierung der Rechenkosten

Der dritte Grund, warum viele AI-POCs nicht skaliert werden, ist finanzieller Natur: Teams unterschätzen oft die Kosten für den Betrieb und die Wartung des Modells in der Produktion. Während der Entwicklung ist es leicht, die Rechenanforderungen eines großen Modells zu übersehen, besonders wenn Tests auf kleinen Datensätzen oder in begrenzten Umgebungen durchgeführt werden. Sobald jedoch das Modell bereitgestellt wird, können diese Kosten explodieren.

Enterprise-AI erfordert erhebliche Rechenressourcen, nicht nur, um Antworten in Echtzeit zu liefern, sondern auch für kontinuierliches Feintuning, Überwachung, Protokollierung und Neutrainieren. Wenn diese Kosten nicht frühzeitig berücksichtigt werden, kann der Geschäftsfall für die Lösung zusammenbrechen, sobald die realen Nutzung beginnt. Was in einem kontrollierten Test vielversprechend aussah, kann schnell untragbar werden, wenn Tausende von Benutzern das System täglich nutzen.

Überwindung der letzten Hürden für erfolgreiche Enterprise-AI

Um die häufigen Fallstricke zu vermeiden, die so viele Enterprise-AI-Projekte zum Scheitern bringen, müssen Teams über den üblichen Ansatz hinausgehen. Hier ist, wie Ihr AI-Team etwas aufbauen kann, das tatsächlich funktioniert und skaliert:

Erstens sollten Sie einen Drittanbieter beauftragen, Ihr Modell zu bewerten. Interne Tests sind wichtig, aber sie sind oft zu breit gefächert. Ein frischer Blick, kombiniert mit einem benutzerdefinierten Bewertungsframework, das auf Ihren Anwendungsfall zugeschnitten ist, kann Probleme aufdecken, die Ihr Team möglicherweise übersehen hat, besonders wenn es darum geht, wie reale Benutzer mit dem System interagieren werden.

Zweitens sollten Sie mit realen Prompts testen. Die meisten Benchmarks testen auf “sauberen” Daten, die nicht der realen Welt entsprechen, geschweige denn, wie Ihre spezifischen Endbenutzer Ihr Modell ansprechen werden. Das Testen Ihres Modells mit unordentlichen, vagen oder seltsam formulierten Eingaben wird Ihnen helfen, zu sehen, wie Ihr Modell tatsächlich nach der Bereitstellung funktionieren wird, und Ihnen ermöglichen, Probleme zu finden, die sonst durch die Raster fallen und die Akzeptanz beeinträchtigen könnten.

Drittens sollten Sie Ihre Sicherheitsprotokolle überdenken. Es ist leicht, zu sehr auf Sicherheit zu achten, und obwohl Sicherheit wichtig ist, sollte sie nicht dazu führen, dass Ihr Modell schwierig zu bedienen ist. Wenn das Modell bei einfachen, harmlosen Fragen abschaltet, tauschen Sie Benutzerfreundlichkeit gegen ein falsches Sicherheitsgefühl ein.

Schließlich sollten Sie Ihre Rechenkosten im Auge behalten. Wenn Ihre Einführungsziele Tausende von Benutzern und Millionen von Anfragen umfassen, können diese Ausgaben schnell in die Höhe schießen. Eine Lösung besteht darin, kleinere Modelle in Betracht zu ziehen. Boosted.ai hat genau das getan – sie wechselten zu einem benutzerdefinierten kleinen Sprachmodell und reduzierten ihre Rechenkosten um 90 %, während sie die Geschwindigkeit und Leistung verbesserten. Echtzeit-Ergebnisse, bessere Benutzererfahrung und keine Notwendigkeit für teure Hardware.

Indem Teams die Bewertung, Benutzerfreundlichkeit und Skalierbarkeit von Anfang an angehen, können sie ihrem AI-Projekt eine echte Chance auf langfristigen Erfolg geben. Es geht nicht nur darum, es im Labor zum Laufen zu bringen – es geht darum, es in der realen Welt zum Laufen zu bringen.