Ihre KI-Agenten scheitern, weil sie Ihr Geschäft nicht verstehen

Vor einem Jahr benötigte die Absa, eine der größten Banken Afrikas, 120 Tage, um ein neues Finanzkriminalitäts-Erkennungsmodell von der Entwicklung bis zur Produktion zu bringen. Obwohl dies nahe der Branchendurchschnittszeit lag, kann dieselbe Bank heute ein neues Modell in 15 Tagen bereitstellen, trotz des gleichen regulatorischen Umfelds, der Transaktionsvolumina und der Compliance-Anforderungen.

Und dennoch stellte eine PwC-Umfrage fest, dass 56% der CEOs von Unternehmen keine signifikanten finanziellen Vorteile aus ihren KI-Investitionen sehen. Jeder Unternehmensleiter, mit dem ich spreche, hat den Vortrag gehört: Wenn Sie KI-Agenten bereitstellen und Ihre Workflows automatisieren, werden Sie schnell eine Rendite sehen. Stattdessen ist der Geschäftseffekt 18 Monate und mehrere Millionen Dollar später MIA. Das fehlende Ingredienz ist der Kontext des Fachgebiets, das operationell begründete Verständnis, das einem Agenten gibt, was er benötigt, um interne Geschäftsentscheidungen zu treffen, und was er tut, wenn er sich irrt.

Wenn Agenten aufhören, zu beraten und anfangen, zu handeln

Gartner schätzt, dass bis 2027 50% der Geschäftsentscheidungen durch KI-Agenten für Entscheidungsintelligenz unterstützt oder automatisiert werden. Bis vor Kurzem war die Rolle der KI im Unternehmen, zu beraten, und der Mitarbeiter musste die Entscheidung treffen. Das schlechteste Szenario war ein verpasster Einblick, eine verzögerte Entscheidung oder das Fehlen einer Reaktion auf eine Warnung. Mit Agenten sind die Konsequenzen viel größer.

In einem Biologikum eines globalen Pharmaherstellers wird, wenn ein Inspektor eine Labortür scanniert, automatisch der richtige Inspektions-Workflow gestartet, der auf die Ausrüstung und Spezifikationen des Raumes zugeschnitten ist. Der Agent sequenziert die Inspektion, bringt das Referenzmaterial zum Vorschein und lässt den Inspektor bestätigen. In einem GxP-regulierten Werk muss jede Inspektion bereit für eine Audits sein, was bedeutet, dass ein Agent einen Teil der operativen Last in einem Umfeld übernimmt, in dem es reale Konsequenzen gibt, wenn er die Sequenz falsch macht.

Die meisten Governance-Rahmen, die heute in Kraft sind, wurden für die vorherige Beratungswelt erstellt: regelmäßige Modellüberprüfungen mit einem Menschen, der die Ausgabe eines einzigen Systems überprüft. Jetzt haben wir Agenten, die Aufgaben an andere Agenten übergeben, über Workflows koordinieren und eine schlechte frühe Entscheidung über eine gesamte Prozesskette hinweg verschlimmern, bevor jemand es bemerkt.

Warum generische Agenten an eine Grenze stoßen

Ein allgemeiner Agent kann unter kontrollierten Bedingungen wirklich beeindruckend aussehen. Er beginnt jedoch zu kämpfen, wenn er in Unternehmensoperationen eingesetzt wird, die Einschränkungen, Interdependenzen und Ermessensspielräume haben, die für jeden, der den Boden bearbeitet hat, offensichtlich sind und für ein Modell, das nie gelernt hat, sie zu sehen, unsichtbar sind.

Ein Kategorien-Manager bei einem der fünf größten Lebensmittel- und Getränkeunternehmen stieß auf ein ähnliches Problem in einem anderen Maßstab: 96% Marktdurchdringung, ohne traditionelle Hebel, die man betätigen kann. Der Kategorien-Manager definierte die Entscheidungslogik direkt, indem er über 100 Datenquellen über mehr als 1.000 Attribute pro Geschäft vereinigte und das KI-Modell die Geschäfte in Einkaufsverhaltensprofile für das Kategorien-Team zusammenstellte, auf die es reagieren konnte. Das Ergebnis? Drei Einkaufs-Cluster, wöchentliche Sprints mit Einzelhändlern, ein um 8% erhöhter Umsatz und 35% schnellere Regal-Einstellungen.

Dies funktionierte, weil der Agent bereits wusste, was ein Planogramm ist, was ein Einkaufs-Cluster bedeutet und wie sich eine Werbeänderung in angrenzende Kategorien auswirkt. Ein generisches Modell muss industrie-spezifische Vokabular gelehrt werden, was 12 bis 18 Monate kostet, die die meisten Unternehmen nicht haben.

Warum Governance architektiert werden muss

Die Verantwortlichkeitsrahmen, die die meisten Unternehmen heute haben, wurden um die Erklärung der Ausgabe eines Modells nachträglich und regelmäßige Überprüfungen herum aufgebaut. Sie wurden nicht für das erstellt, was passiert, wenn ein Agent eine irreversible Aktion innerhalb eines Workflows auslöst.

Ich habe mit einem Versicherer gearbeitet, der in Zentral- und Osteuropa tätig ist und bei seinen Compliance-Entscheidungen die regulatorischen Anforderungen jedes Marktes berücksichtigen muss. Jede Due-Diligence-Entscheidung eines Kunden ist als Live-Aufzeichnung nachverfolgbar, die die Eingabe, das Modell, die Ausgabe und die Person, die abzeichnet, enthält. Das KI-System des Unternehmens kann eine Transaktion routen, die in einem Markt konform ist und in einem anderen nicht, ohne manuelle Adjudikation eines Compliance-Analysten.

Dies ist dieselbe Architektur, die es der Absa ermöglicht, ihr Produktions-AML-System in 15 Tagen statt in 120 bereitzustellen. Die Geschwindigkeit ist eingebaut, so dass die Bank sofort die Richtlinienversion für jede Entscheidung an einen Regulator übergeben kann.

Die Unternehmen, die wir sehen, die in diese Governance-Schichten investieren, betreiben Agenten noch 18 Monate später im großen Maßstab. Diejenigen, die dies als Compliance-Übung behandeln, die nach der Bereitstellung angehängt wird, sind diejenigen, die ständig neu architektieren müssen.

Fachgebiets-Intelligenz ist nicht Feinabstimmung

Fähige Grundmodelle liefern nicht zuverlässig Unternehmensergebnisse, weil sie dafür entwickelt wurden, allgemein nützlich zu sein. Unternehmensoperationen erfordern tiefes, enges Fachwissen. Die Vermischung der beiden hat der Branche bereits Zeit und Ressourcen gekostet, aber es ist immer noch der häufigste Fehler, den ich sehe.

Fachgebiets-Intelligenz ist nicht die Anwendung von Retrieval-augmentierter Generation (RAG) oder die Feinabstimmung eines allgemeinen Modells. Es ist der Unterschied zwischen einem Agenten, der Informationen über einen Lebensmittelmarkt verarbeiten kann, und einem, der versteht, wie das Unternehmen 5.000 individuell angepasste Planogramme über mehr als 750 Geschäfte hinweg ohne ein zentrales Team, das jeden Standort berührt, aufgebaut und bereitgestellt hat.

Diese Art von operativer Flüssigkeit kommt aus Jahren von fachspezifischen Trainingsdaten, Entscheidungslogik, die um reale operative Einschränkungen herum aufgebaut ist, und einer Wissensschicht, die umfasst, wie sich eine Preiserhöhung auf die Marge auswirkt, wie sich eine Änderung der Sortimentsauswahl auf die Regalverfügbarkeit auswirkt und wie sich dies auf die Kundenbindung auswirkt. Für eine große US-amerikanische Lebensmittelkette produzierte diese verbundene Argumentation 200 Millionen Dollar an zusätzlichen Gewinn.

Das Aufbauen dieser Grundlage oder das Abrufen von einem Partner, der dies bereits getan hat, ist ein echter vorheriger Kostenaufwand in Daten, Fachwissen und Disziplin, um institutionelle Urteilsfähigkeit zu kodifizieren, anstatt direkt zu einem Pilotprojekt zu springen. Wenn diese Grundlage überhastet wird, kann ein Agent, der in einem Proof-of-Concept fachgebietsmäßig ausgebildet erscheint, immer noch auseinanderfallen, sobald der erste Produktions-Edge-Case auftritt.

Was es wirklich bedeutet, Unternehmensagenten richtig zu machen

Unternehmen, die weiterhin fähige Modelle in bestehende Workflows einsetzen, werden weiterhin zugeben müssen, dass die Rendite nicht auftritt. Das MIT schloss im letzten Jahr, dass trotz der Investitionen von Unternehmen in generative KI 95% der Organisationen keine Rendite erzielen. Wenn Sie nicht in diesem Lager sein möchten, stellen Sie sicher, dass Sie Fachgebiets-Intelligenz vor Tag eins einbauen, Governance in die Architektur integrieren und Agenten für bestimmte Ergebnisse verantwortlich machen.

Das Modell hinter jedem gegebenen Agenten ist ironischerweise der least dauerhafte Teil dieser Gleichung. Ein besseres Modell wird nächsten Quartal ausgeliefert, von dem Unternehmen, das das Modell gebaut hat, das Sie verwenden, oder einem seiner Wettbewerber. Was sich nicht ändert, wenn das nächste Modell veröffentlicht wird, ist, ob Ihre Agenten Ihr Geschäft verstehen. Sie müssen dies absichtlich aufbauen. Die Agenten, die in Ihrem Umfeld erfolgreich sind, werden nicht die fähigsten, allgemein verwendbaren Agenten auf dem Markt sein, aber sie werden Ihr Vertrauen verdienen, um immer mehr für Ihr Geschäft zu tun.

Quellen des Originalartikels: mlq.ai [1]