Erfolgreiche KI-Einführung macht eine zweite Einführungsphase nötig, die Unternehmen selten einplanen

Vor etwa drei Jahren schloss ich mein erstes kostenpflichtiges KI-Abonnement ab und begann zu testen, was sich damit tatsächlich anfangen ließ. Nach und nach wurde aus dem persönlichen Experimentieren ein kleines internes Projekt, dann wurden unternehmensweite Abonnements für geschäftliche Zwecke eingeführt und schließlich folgte ein KI-Rollout, der fast alle Abteilungen umfasste – Entwicklung, Finanzen, Recht, Marketing und Support.

Die erste Phase funktionierte im Grunde. Innerhalb von etwa sechs Monaten stieg unsere interne Entwicklungsgeschwindigkeit ungefähr auf das Fünffache. Gleichzeitig nahm auch eine andere Zahl zu: Unsere KI-Ausgaben stiegen um etwa das 15-Fache.

Damals wurde mir klar, dass eine erfolgreiche KI-Einführung eigene Probleme mit sich bringen kann. Sobald die Technologie weit verbreitet war, funktionierten die anfänglichen Regeln nicht mehr. Die Kosten konnten außer Kontrolle geraten, wenn die KI Zugriff auf immer mehr Unternehmensdaten erhielt und immer mehr Aufgaben übernahm, während viele der Tools selbst weiterhin von externen Anbietern kontrolliert wurden.

Was sollte ein CEO also tun, wenn die KI-Einführung erfolgreich ist, das Unternehmen aber nicht mehr vollständig kontrolliert, wie die KI eingesetzt wird? Versuchen wir, darauf eine Antwort zu finden.

Aktive KI-Nutzung nicht mit Geschäftsergebnissen gleichsetzen

Was mir sofort auffiel: Während der ersten Einführungsphase waren Kennzahlen zur Nutzung sinnvoll, etwa die Zahl aktiver Nutzer oder die Nutzungshäufigkeit. Als Führungskraft möchte man wissen, ob die Beschäftigten die Tools verwenden, welche konkret und ob die KI ihnen tatsächlich Zeit spart. Sobald sich die Nutzung jedoch im gesamten Unternehmen verbreitet, sind diese Zahlen deutlich weniger aussagekräftig.

Das haben wir selbst erlebt. Sobald die Menschen Zugang zu leistungsstarken Modellen hatten, nutzten sie diese für fast alles. Einmal begannen Beschäftigte, die KI zu fragen, wie spät es in New York sei. Das Beispiel ist natürlich absurd, zeigt aber, wie schnell die Nutzung zunehmen kann, ohne dem Unternehmen einen nennenswerten Mehrwert zu bringen.

Shopify stand vor einem ähnlichen Problem, nachdem das Unternehmen KI so umfassend integriert hatte, dass sein interner Agent River inzwischen bis zu die Hälfte der Pull Requests für produktiven Code entwirft. CEO Tobi Lütke warnte jedoch kürzlich vor dem, was er als „Schrottgranaten“ bezeichnet: KI-generierte Arbeit, die Beschäftigte weitergeben, ohne sie angemessen zu prüfen. Dadurch muss jemand anderes die Ergebnisse überprüfen, korrigieren oder sogar zusammenfassen.

Mit anderen Worten: Mehr KI-Aktivität kann leicht zu mehr Arbeit statt zu mehr Mehrwert führen. Ein Unternehmen kann beeindruckende Nutzungszahlen und enorme Mengen an Ergebnissen vorweisen, während ein Teil dieser Ergebnisse für jemand anderen schlicht eine zusätzliche Aufgabe bedeutet.

Genau das müssen CEOs ändern. Prompts, Anmeldungen und Tokenverbrauch zeigen, dass in den Arbeitsabläufen viel passiert. Sie zeigen jedoch nicht, ob sich der Einsatz der KI tatsächlich rechnet.

Höhere Geschwindigkeit schafft einen neuen Engpass

Es heißt: Eile mit Weile. Ich denke, das gilt auch für KI. Wie wir festgestellt haben, bedeutet es nicht zwangsläufig, dass plötzlich weniger Arbeit anfällt, wenn KI Menschen „schneller“ macht.

In der Entwicklung kann unser Team dank KI inzwischen in derselben Zeit deutlich mehr Code produzieren. Entscheidend ist jedoch, dass dieser Code weiterhin vollständig geprüft werden muss, bevor er live geht. Zweifellos hilft die automatisierte Prüfung.

Allerdings ist sie noch längst nicht so zuverlässig, dass ich ihr blind vertrauen würde. Entwickler verbringen zwar weniger Zeit damit, alles selbst zu schreiben, müssen nun aber viel mehr Ergebnisse prüfen, testen und beurteilen.

Mit anderen Worten: Die Arbeit verschwindet nicht. Sie tritt nur in anderer Form auf.

Dadurch wirkt unsere fünffache Steigerung der Entwicklungsgeschwindigkeit etwas weniger überwältigend, denn gleichzeitig nimmt auch die Menge an Code zu, die menschliche Aufmerksamkeit erfordert. Zu den tatsächlichen Kosten eines KI-gestützten Arbeitsablaufs gehört auch die Zeit, die dafür aufgewendet wird, die Ergebnisse der KI zu prüfen und vor allem zu entscheiden, ob man ihnen überhaupt vertrauen kann.

Eine zweite Einführungsphase ist unerlässlich

Meiner Ansicht nach brauchen Unternehmen das, was ich eine „zweite“ KI-Einführungsphase nennen würde.

In der ersten Einführungsphase geht es vor allem um die Nutzung: den Menschen Zugang zu verschaffen, Anwendungsfälle zu finden und herauszufinden, wo die Technologie tatsächlich hilft und wo nicht. Nach mehreren Monaten tatsächlicher Nutzung verfügen Sie jedoch über etwas weitaus Wertvolleres als bloße Annahmen – eigene Belege dafür, wo die Kosten steigen, welche Teams bessere Ergebnisse erzielen und wo Menschen zu viel Zeit damit verbringen, KI-Ausgaben zu überprüfen.

Genau deshalb halte ich es für sinnvoll, die Regeln für den KI-Einsatz neu zu gestalten, statt einfach auf eine breitere Nutzung zu drängen. In der Praxis würde ich mich auf drei Punkte konzentrieren:

• Das Modell auf die Aufgabe abstimmen. Routineanfragen können an kleinere, kostengünstigere Modelle weitergeleitet werden, während komplexere Aufgaben den Modellen vorbehalten bleiben, deren Einsatz die zusätzlichen Kosten rechtfertigt. Das übergeordnete Ziel ist, für Aufgaben mit geringem Mehrwert keine Spitzenmodellpreise zu zahlen.
• Festlegen, wo menschliche Kontrolle zwingend erforderlich ist. Bei produktivem Code, Rechtsdokumenten oder anderen Ergebnissen mit erheblichen Auswirkungen muss definiert werden, an welcher Stelle ein Mensch das Ergebnis genehmigen muss, bevor es im Arbeitsablauf weiterverarbeitet wird. Unabhängig davon sollten Zugriffsregeln für sensible Daten festgelegt werden, damit die Beschäftigten wissen, welche Modelle diese Daten erhalten dürfen und welche nicht.
• Erstellen Sie einen Notfallplan, auch wenn Sie glauben, keinen zu brauchen. Hängt ein kritischer Arbeitsablauf von einem externen Anbieter ab, dokumentieren Sie die Prompts, Integrationen, Datenflüsse und modellspezifischen Abhängigkeiten so genau, dass sich die Arbeitslast im Notfall zu einem anderen Anbieter migrieren lässt.

Das ist der Unterschied zwischen der ersten und der zweiten KI-Einführung. Bei der ersten geht es um die Frage: Wo können wir KI einsetzen? Bei der zweiten lautet die Frage: Wo sollten wir sie einsetzen, nach welchen Regeln und zu welchen Kosten?

Überprüfen Sie die Einführung, bevor Sie sie weiter ausbauen

Wenn sich der Einsatz von KI bewährt und die erste Einführung erfolgreich zu sein scheint, würde ich ihn nicht einfach ein weiteres Jahr auf dieselbe Weise ausbauen. Nach etwa 90 bis 180 Tagen tatsächlicher Nutzung würde ich innehalten und überprüfen, was das Unternehmen wirklich aufgebaut hat.

Das bedeutet, die erzielten Geschäftsergebnisse zu messen, das Modell und seine Kosten am tatsächlichen Wert der jeweiligen Aufgabe auszurichten, festzustellen, wo eine menschliche Prüfung weiterhin zwingend erforderlich ist und wo sich ein Arbeitsablauf vielleicht stärker einer vollständigen Automatisierung annähern kann.

Die erste Einführung zeigt, dass KI das Unternehmen schneller machen kann. Die zweite sorgt dafür, dass dieses Tempo nicht zu unnötigen Ausgaben, unkontrolliertem Zugriff oder Abhängigkeiten von Anbietern führt, denen das Unternehmen nie bewusst zugestimmt hat.