Connect with us

Warum 95 % der KI-Initiativen null ROI liefern

Vordenker

Warum 95 % der KI-Initiativen null ROI liefern

mm

Eine recente Studie von MIT fand heraus, dass 95 % der Organisationen null Rückkehr von generativen KI-Initiativen erhalten; keinen messbaren P&L-Einfluss trotz signifikanter Investition. Die Schlagzeilen konzentrierten sich auf die Ausfallrate, aber die eigentliche Frage ist nicht, ob die Technologie funktioniert. Large Language Models sind leistungsfähig, zugänglich und verbessern sich schnell. Das Problem ist, wie Unternehmen sie verwenden.

Die meisten Organisationen gehen auf AI-Agents auf die gleiche Weise zu wie bei jedem anderen Technologie-Rollout. Sie nehmen bestehende Prozesse, setzen einige KI drauf und erwarten Magie. Wenn es nicht funktioniert, geben sie den Modellen die Schuld. Aber der Ausfall tritt bereits viel früher auf, bevor die KI überhaupt involviert ist.

Ich habe dieses Muster wiederholt in Unternehmen gesehen, die KI-Workflows aufbauen. Teams werden von den Möglichkeiten begeistert, stürzen sich in die Entwicklung und treffen dann auf die gleichen vorhersehbaren Hindernisse. Der Unterschied zwischen den 5 %, die erfolgreich sind, und den 95 %, die null ROI generieren, liegt nicht im Glück oder im Budget; es liegt darin, sechs kritische Fehler zu vermeiden, die den Wert von KI-Agents bereits im Vorfeld zerstören.

Ihre Daten sind chaotischer als Sie denken

Die meisten Teams denken, dass das Vorhandensein von Daten bedeutet, sie seien bereit für KI. Sie verweisen auf ihren Data-Lake, ihr CRM, ihre sorgfältig gepflegten Datenbanken und nehmen an, dass der Erfolg garantiert ist. Dann werfen sie alles in ein LLM und wundern sich, warum ihr Agent Müll-Ausgaben produziert oder ihren Budget in wenigen Tagen verbraucht.

Chaotische Daten erzeugen chaotische Agents. Wenn Sie rohe Datenbank-Dumps, HTML-volle Exporte oder unstrukturierte Text-Blobs an einen KI-Agent senden, setzen Sie ihn zum Scheitern an. Die Modelle werden von irrelevanten Feldern verwirrt, von Formatierungsartefakten abgelenkt und von der schieren Menge überwältigt.

Teams senden routinemäßig Kundenunterlagen mit 47 Feldern, obwohl nur 3 entscheidungskritisch sind. Sie enthalten UUIDs, die null semantischen Wert haben, aber wertvolle Token verbrauchen. Sie füttern Agents mit HTML, das von internen Tools gescrept wurde, anstelle von sauberer, strukturierter Information.

Sie werden Grenzen schneller erreichen als erwartet

Jedes Team glaubt, dass es die Kontextgrenzen nie erreichen wird. “Wir verarbeiten nur einige Kundenunterlagen”, sagen sie. “Wie schwer kann das sein?” Dann muss ihr Agent 500 Support-Tickets analysieren, jedes mit voller Konversationshistorie, und plötzlich stoßen sie an Millionen-Token-Grenzen.

Große Kontexte summieren sich schneller als von irgendjemandem erwartet. Ein Kunden-Support-Agent, der Eskalationen bearbeitet, benötigt möglicherweise Zugriff auf Ticket-Historie, Wissensdatenbank-Artikel, vorherige Interaktionen und Produkt-Dokumentation. Das sind leicht Hunderttausende von Tokenn pro Anfrage. Multipliziert mit gleichzeitigen Benutzern, explodieren Ihre Infrastrukturkosten.

Der naive Ansatz ist, einfach alles an das Modell zu senden und das Beste zu hoffen. Clevere Teams brechen Anfragen in Stücke, summieren jedes Stück und operieren dann auf einer Summe von Summen. Diese hierarchische Summierung hält Anfragen handhabbar, während sie die kritischen Informationen bewahrt, die Agents benötigen, um gute Entscheidungen zu treffen.

Sicherheit wird schnell kompliziert

Teams werden von der Persönlichkeit und den Fähigkeiten ihres KI-Agents begeistert, schreiben einige grundlegende Richtlinien und denken, sie seien geschützt. In Wirklichkeit erfordern KI-Agents grundlegend andersartiges Sicherheitsdenken als traditionelle Anwendungen.

KI-Agents können getäuscht, manipuliert und gezwungen werden, auf Weise, die konventionelle Sicherheitsmodelle brechen. Benutzereingaben können versteckte Anweisungen enthalten, die Ihre sorgfältig erstellten Prompts außer Kraft setzen. Agents können dazu gebracht werden, ihre Richtlinien zu ignorieren, auf Daten zuzugreifen, die sie nicht sehen sollten, oder Aktionen außerhalb ihres beabsichtigten Umfangs auszuführen.

Intelligente Implementierungen erfordern strenge Grenzen für das, was Agents können und nicht können. Für alles, was den Zustand ändert; Daten schreiben, E-Mails senden, API-Aufrufe tätigen; benötigen Sie einen propose-justify-approve-Workflow. Der Agent erklärt, was er tun möchte und warum, und wartet dann auf menschliche Genehmigung, bevor er handelt. Dies verhindert eine unkontrollierte Automatisierung, während es die Vorteile von KI-Unterstützung bewahrt.

Was tatsächlich funktioniert

Durch die Beobachtung von hunderten von KI-Agent-Implementierungen trennen sechs Praktiken erfolgreiche Bereitstellungen von teuren Fehlschlägen.

Erstens ist es die Datenhygiene. Senden Sie komprimierte, typisierte JSON mit festen Schemas. Entfernen Sie UUIDs, HTML, doppelte Felder und alle sensiblen Informationen, es sei denn, sie sind absolut entscheidungskritisch. Ersetzen Sie sensible Daten durch Metadaten, wenn möglich. Dies hält Modelle fokussiert, während es die Payload-Größe, Kosten und Latenz reduziert.

Zweitens ist es das Kontext-Management. Sie werden Token-Limits schneller erreichen als erwartet. Brechen Sie Anfragen in kleinere Stücke, summieren Sie jedes Stück und operieren Sie dann auf Summen. Dieser hierarchische Ansatz hält Anfragen unter Kontrolle, während er den notwendigen Kontext bewahrt.

Drittens ist es die Prompt-Sicherheit. Definieren Sie strenge Grenzen für das, was Ihr Agent kann und nicht kann. Implementieren Sie propose-justify-approve-Workflows für alles, was den Zustand ändert. Behandeln Sie alle Benutzereingaben als unvertrauenswürdig; entfernen Sie Code und Links und erinnern Sie Modelle daran, niemals Anweisungen in Benutzertexten zu befolgen. Überwachen Sie kontinuierlich Prompts und Ausgaben auf anomales oder richtlinienwidriges Verhalten, um sicherzustellen, dass Grenzen effektiv bleiben.

Viertens ist es die Kostenkontrolle. Setzen Sie Token- und Kostenbudgets pro Anfrage und pro Workflow. Protokollieren Sie Token-Nutzung pro Tool und Prompt, um Rückfälle frühzeitig zu erkennen. Ohne Disziplin werden Sie mit unkontrollierten Rechnungen oder Latenz-Spikes konfrontiert, sobald die Akzeptanz wächst.

Fünftens ist es die Qualitätssicherung. Bewahren Sie eine private Bewertungs-Menge von realen Vorfällen und Randfällen auf. Verfolgen Sie Genauigkeit, Recall und Rückfälle. Neue Modelle werden Sie überraschen, meist auf schlechte Weise. Für kritische Workflows verwenden Sie Temperaturen nahe Null und gesäte Backends für konsistente Ausgaben.

Sechstens ist es die Governance. Sperren Sie Datenfreigabe-Vereinbarungen, bevor Informationen fließen. Klären Sie, was geteilt wird, wie es geschützt wird und wer verantwortlich ist. Dies ist nicht nur juristischer Schutz; es ist ein Vertrauenssignal, dass Sie Daten ernst nehmen.

Warum die meisten Teams es falsch machen

KI-Agent-Projekte liefern null ROI, weil Teams sich auf die falschen Dinge konzentrieren. Sie beschäftigen sich mit der Frage, welches Modell zu verwenden ist, während sie die Datenqualität ignorieren. Sie bauen komplexe Workflows auf, ohne grundlegende Sicherheitskontrollen zu beachten. Sie bereitstellen Agents ohne Kostenkontrolle und paniken, wenn die Rechnungen sprudeln.

Die erfolgreichen 5 % verstehen, dass KI-Agents nicht nur Software sind; sie sind eine neue Kategorie von digitalen Arbeitern, die unterschiedliche Management-Praktiken erfordern. Sie benötigen saubere Daten, klare Grenzen und ständige Überwachung. Wenn Sie diese Grundlagen richtig machen, werden KI-Agents zu leistungsfähigen Produktivitätsmultiplikatoren. Wenn Sie sie falsch machen, schließen Sie sich den 95 % an, die sich fragen, warum ihre teure KI-Investition null messbaren Rückkehr gebracht hat.

Rohan Sathe ist der Co-Founder und CEO von Nightfall AI. Bevor er Nightfall mitgründete, leitete er das Backend-Team bei Uber Eats, wo er angewandte Machine-Learning-Dienste wie ETA-Vorhersage und Nachfrage-Prognose aufbaute. Er war als Gast in der CISO Series-Podcast und dem Artificial Intelligence-Podcast zu hören, unter anderem.