Vordenker

Warum 95% der KI-Initiativen null ROI liefern

mm
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen

Eine recente Studie von MIT fand heraus, dass 95 % der Organisationen null Rückkehr von generativen KI-Initiativen erhalten; kein messbarer P&L-Einfluss trotz signifikanter Investition. Die Schlagzeilen konzentrierten sich auf die Ausfallrate, aber die eigentliche Frage ist nicht, ob die Technologie funktioniert. Large Language Models sind leistungsstark, zugänglich und verbessern sich schnell. Das Problem ist, wie Unternehmen sie verwenden.

Die meisten Organisationen gehen auf KI-Agents ähnlich wie bei jedem anderen Technologie-Rollout vor. Sie übernehmen bestehende Prozesse, fügen einige KI hinzu und erwarten Magie. Wenn es nicht funktioniert, geben sie den Modellen die Schuld. Aber der Fehler tritt bereits vor der Beteiligung der KI auf.

Ich habe dieses Muster wiederholt in Unternehmen gesehen, die AI-Workflows aufbauen. Teams sind begeistert von den Möglichkeiten, stürzen sich in die Entwicklung und treffen auf die gleichen vorhersehbaren Hindernisse. Der Unterschied zwischen den 5 %, die erfolgreich sind, und den 95 %, die null ROI erzeugen, liegt nicht im Glück oder im Budget; es liegt darin, sechs kritische Fehler zu vermeiden, die den Wert der KI-Agents bereits im Vorfeld töten.

Ihre Daten sind chaotischer, als Sie denken

Die meisten Teams denken, dass sie bereit für KI sind, wenn sie Daten haben. Sie verweisen auf ihren Data Lake, ihr CRM, ihre sorgfältig gepflegten Datenbanken und nehmen an, dass der Erfolg garantiert ist. Dann werfen sie alles in einen LLM und wundern sich, warum ihr Agent Müllausgaben produziert oder ihren Budget in wenigen Tagen verbrennt.

Chaotische Daten erzeugen chaotische Agents. Wenn Sie rohe Datenbank-Dumps, HTML-volle Exporte oder unstrukturierte Textblöcke an einen KI-Agent senden, setzen Sie ihn zum Scheitern. Die Modelle werden von irrelevanten Feldern verwirrt, von Formatierungsartefakten abgelenkt und von der schieren Menge überwältigt.

Teams senden routinemäßig Kundenunterlagen mit 47 Feldern, obwohl nur 3 entscheidungskritisch sind. Sie enthalten UUIDs, die null semantischen Wert hinzufügen, aber wertvolle Token verbrauchen. Sie füttern Agents mit HTML, das von internen Tools gesammelt wurde, anstelle von sauberer, strukturierter Information.

Sie werden Grenzen schneller erreichen, als erwartet

Jedes Team glaubt, dass es nie die Kontextgrenzen erreichen wird. “Wir verarbeiten nur einige Kundenunterlagen”, sagen sie. “Wie schwer kann es sein?” Dann benötigt ihr Agent die Analyse von 500 Support-Tickets, jedes mit voller Konversationsgeschichte, und plötzlich stoßen sie an Millionen-Token-Decken.

Große Kontexte kumulieren schneller, als irgendjemand erwartet. Ein Kunden-Support-Agent, der Eskalationen bearbeitet, benötigt möglicherweise Zugriff auf Ticket-Geschichte, Knowledge-Base-Artikel, vorherige Interaktionen und Produkt-Dokumentation. Das sind leicht Hunderttausende von Token pro Anfrage. Multipliziert mit gleichzeitigen Benutzern, und Ihre Infrastrukturkosten spiralen außer Kontrolle.

Der naive Ansatz ist, einfach alles an das Modell zu senden und das Beste zu hoffen. Clevere Teams brechen Anfragen in Stücke, fassen jedes Stück zusammen und arbeiten dann auf einer Zusammenfassung von Zusammenfassungen. Diese hierarchische Zusammenfassung hält Anfragen handhabbar, während sie die kritischen Informationen bewahrt, die Agents benötigen, um gute Entscheidungen zu treffen.

Sicherheit wird schnell kompliziert

Teams sind begeistert von der Persönlichkeit und den Fähigkeiten ihres KI-Agents, schreiben einige grundlegende Richtlinien und denken, sie seien geschützt. In Wirklichkeit erfordern KI-Agents grundlegend andersartiges Sicherheitsdenken als traditionelle Anwendungen.

KI-Agents können getäuscht, manipuliert und gezwungen werden, auf Weise, die konventionelle Sicherheitsmodelle brechen. Benutzereingaben können versteckte Anweisungen enthalten, die Ihre sorgfältig erstellten Prompts außer Kraft setzen. Agents können dazu gebracht werden, ihre Richtlinien zu ignorieren, auf Daten zuzugreifen, die sie nicht sehen sollten, oder Aktionen außerhalb ihres beabsichtigten Umfangs auszuführen.

Intelligente Implementierungen erfordern strenge Grenzen für das, was Agents tun können und nicht tun können. Für alles, was den Zustand ändert; Daten schreiben, E-Mails senden, API-Aufrufe tätigen; benötigen Sie einen propose-justify-approve-Workflow. Der Agent erklärt, was er tun will und warum, und wartet dann auf menschliche Genehmigung, bevor er handelt. Dies verhindert eine unkontrollierte Automatisierung, während es die Vorteile der KI-Unterstützung bewahrt.

Was tatsächlich funktioniert

Aus der Beobachtung von hunderten von KI-Agent-Implementierungen lassen sich sechs Praktiken unterscheiden, die erfolgreiche Bereitstellungen von teuren Fehlschlägen trennen.

Erstens ist Datenhygiene erforderlich. Senden Sie kompakte, typisierte JSON mit festen Schemas. Entfernen Sie UUIDs, HTML, doppelte Felder und alle sensiblen Informationen, sofern sie nicht absolut entscheidungskritisch sind. Ersetzen Sie sensible Daten durch Metadaten, wenn möglich. Dies hält Modelle fokussiert, während es die Payload-Größe, Kosten und Latenz reduziert.

Zweitens ist Kontextmanagement erforderlich. Sie werden Token-Grenzen schneller erreichen, als erwartet. Brechen Sie Anfragen in kleinere Stücke, fassen Sie jedes Stück zusammen und arbeiten Sie dann auf einer Zusammenfassung von Zusammenfassungen. Dieser hierarchische Ansatz hält Anfragen handhabbar, während er die notwendigen Kontexte bewahrt.

Drittens ist Prompt-Sicherheit erforderlich. Definieren Sie strenge Grenzen für das, was Ihr Agent tun kann und nicht tun kann. Implementieren Sie propose-justify-approve-Workflows für alles, was den Zustand ändert. Behandeln Sie alle Benutzereingaben als untrusted; entfernen Sie Code und Links und erinnern Sie Modelle daran, niemals Anweisungen in Benutzertext zu befolgen. Überwachen Sie Prompts und Ausgaben kontinuierlich auf anomales oder richtlinienverletzendes Verhalten, um sicherzustellen, dass Grenzen über die Zeit effektiv bleiben.

Viertens ist Kostenkontrolle erforderlich. Setzen Sie Token- und Kostenbudgets pro Anfrage und pro Workflow. Protokollieren Sie Token-Nutzung pro Tool und Prompt, um Regressionsfrühwarnungen zu erhalten. Ohne Disziplin werden Sie mit unkontrollierten Rechnungen oder Latenzspikes konfrontiert, sobald die Akzeptanz wächst.

Fünftens ist Qualitätsicherung erforderlich. Bewahren Sie eine private Evaluierungsmenge von realen Vorfällen und Randfällen auf. Verfolgen Sie Genauigkeit, Recall und Regressionsraten. Neue Modelle werden Sie überraschen, meist auf schlechte Weise. Für kritische Workflows verwenden Sie Temperaturen nahe Null und gesetzte Backends für konsistente Ausgaben.

Sechstens ist Governance erforderlich. Sperren Sie Datenfreigabe-Vereinbarungen, bevor Informationen fließen. Klären Sie, was geteilt wird, wie es geschützt wird und wer verantwortlich ist. Dies ist nicht nur juristischer Schutz; es ist ein Vertrauenssignal, dass Sie Daten ernst nehmen.

Warum die meisten Teams falsch liegen

KI-Agent-Projekte liefern null ROI, weil Teams sich auf die falschen Dinge konzentrieren. Sie sind besessen von der Frage, welches Modell zu verwenden ist, während sie die Datenqualität ignorieren. Sie bauen komplexe Workflows, während sie grundlegende Sicherheitskontrollen skippen. Sie bereitstellen Agents ohne Kostenkontrolle und panikieren dann, wenn die Rechnungen steigen.

Die erfolgreichen 5 % verstehen, dass KI-Agents nicht nur Software sind; sie sind eine neue Kategorie von digitalen Arbeitern, die unterschiedliche Management-Praktiken erfordern. Sie benötigen saubere Daten, klare Grenzen und ständige Überwachung. Wenn Sie diese Grundlagen richtig machen, werden KI-Agents leistungsstarke Produktivitätsmultiplikatoren. Wenn Sie sie falsch machen, schließen Sie sich den 95 % an, die sich fragen, warum ihre teuren KI-Investitionen null messbare Rückkehr erzeugten.

Rohan Sathe ist der Co-Founder und CEO von Nightfall AI. Bevor er Nightfall co-gründete, leitete er das Backend-Team bei Uber Eats, wo er maschinelle Lernservices wie ETA-Vorhersage und Nachfrage-Prognose entwickelte. Er war als Gast in der CISO Series-Podcast und dem Artificial Intelligence-Podcast zu hören, sowie in anderen Medien.