KI-Governance: Ein Problem für die meisten, ein Vorteil für die Wenigen

Unternehmens-KI sammelt Risiken schneller, als jemand dafür Rechenschaft ablegt. KI-Agenten beginnen, Kundendaten, Produktionscode und wichtige Geschäftsentscheidungen zu berühren, und in den meisten Organisationen werden sie von Kontrollen regiert, die für eine andere Ära der Technologie konzipiert wurden. Gleichzeitig werden die externen Stützen, auf die sich Unternehmen verlassen könnten, dünner. Führende KI-Labore haben freiwillige Sicherheitsverpflichtungen zurückgezogen, und die Regulierung bleibt fragmentiert über die Gerichtsbarkeiten hinweg. Die Vertrauenslast liegt auf den Unternehmen, die KI einsetzen, denn letztendlich sind sie es, die die negativen Folgen erleiden werden, wenn und wenn sie auftauchen.

Ich mache strategische KI-Arbeit mit Unternehmen aus fast allen Branchen, und ich spreche täglich mit CEOs und Vorständen. Das konsistente Muster, das ich sehe, ist wie folgt: Die Bereitstellung beschleunigt sich, während die Kontrollinfrastruktur einfach nicht Schritt hält. Das Muster ist konsistent genug, dass ich es als strukturell und nicht als Versagen eines einzelnen Unternehmens betrachte, und ich werde eine Vorhersage treffen: Wir sind nicht weit davon entfernt, dass ein CEO erklären muss, dass ein großer Fehler dem Unternehmen Millionen gekostet hat, und er wird KI dafür verantwortlich machen. Ich würde höflich vorschlagen, dass das keine Entschuldigung ist.

Die gute Nachricht ist, dass ich das Glück habe, ein paar Unternehmen zu sehen, die Governance anders behandeln, und ich glaube, dass diese Unternehmen einen langfristigen Vorteil aufbauen, der sich im Laufe der Zeit verdichtet, während andere, die am Rande stehen, das Risiko eingehen, veraltet zu werden. Das Verständnis dessen, was die Wenigen sehen, beginnt mit dem Verständnis, wohin die aktuelle Traektorie führt.

Wir Steuern auf ein Problem zu

Die heutigen Bereitstellungen sind noch so klein, dass die menschliche Aufsicht das Risiko absorbieren kann. Deloittes jüngste State of AI in the Enterprise-Forschung fand heraus, dass nur ein Viertel der befragten Organisationen mindestens 40 Prozent ihrer KI-Experimente in die Produktion überführt hatte. Die meisten Unternehmen sind noch am Anfang der Kurve, führen ein paar Agenten in engen Anwendungsfällen aus und überwachen jeden Ausgang selbst.

Die Traektorie ist es, was zählt. Wenn die Bereitstellungen von zwei Agenten auf 20, 200, 2.000 und darüber hinaus skaliert werden, verdichtet sich die Komplexität. Jeder neue Agent bringt sein eigenes Verhalten mit, sowie seine Interaktionen mit jedem System, das er berührt, und jedem anderen Agenten, mit dem er zusammenarbeitet. Bei zwei Agenten ist Vertrauen einfach: Sie kennen das Team, und Sie überprüfen die Ausgaben selbst. Bei 20 muss Vertrauen zu einem Prozess werden, mit definierten Eigentümern, Tests und Eskalationspfaden. Es kann noch funktionieren, aber es wird immer schwieriger, es aufrechtzuerhalten. Bei 200 wird die informelle Überprüfung zu einem Theater, weil kein Führungsteam so viele Aktivitäten überwachen kann. Und bei 2.000 ist der Mensch in der Schleife virtuell nutzlos, da die Interaktionen zwischen Agenten, Daten und Geschäftsprozessen ein Netz bilden, das die manuelle Überwachung übersteigt. Auf dieser Skala muss Vertrauen auch skaliert und in die technische Architektur des Unternehmens eingebettet sein.

Die Kosten des Wartens

Die fehlende Vertrauensinfrastruktur ist auch einer der Gründe für die enttäuschenden Renditen. In PwCs jüngster Global CEO-Umfrage gaben 56 Prozent der Vorstände an, dass KI weder erhöhte Umsätze noch reduzierte Kosten im vergangenen Jahr gebracht hatte. Meiner Erfahrung nach sehen die Rückkehrwerte sogar weniger überzeugend aus, wenn man die zugrunde liegende Ökonomie untersucht. Die meisten Unternehmen zählen die gesparten Stunden und nennen es Return on Investment. Gesparte Stunden werden nur dann zu finanzieller Rückkehr, wenn das Unternehmen diese Kapazität in etwas Wertvolleres umwandelt: höhere Ausgaben, bessere Qualität, vermiedene Kosten, schnelleres Wachstum usw.

Das erfordert Vertrauen. Ein Unternehmen kann menschliches Urteilsvermögen nur dann auf höherwertige Arbeit verlagern, wenn die Führung dem System vertraut, das die niedrigere Arbeit übernimmt. Ohne dieses Vertrauen sammeln Unternehmen technische Schulden, die nicht skaliert werden, und im Laufe der Zeit wirkt sich das erheblich auf die Produktivität aus. Es ist das Schlechteste aus beiden Welten: erhöhte Ausgaben mit wenig zu zeigen. Vertrauen ist die Grundlage, auf der diese Rückkehrwerte anfallen.

Das Elevator-Problem

Die Verbindung zwischen Vertrauen und Adoption ist nicht neu, und wir können uns auf die Mitte des 20. Jahrhunderts zurückbeziehen, um einen vernünftigen Referenzpunkt zu finden. Fahrstühle ohne Fahrer existierten Jahrzehnte, bevor jemand sie benutzte. Die Technologie funktionierte, aber die Passagiere traten in einen Wagen ein, sahen keinen Fahrer und traten wieder aus. Was sich änderte, war nicht der Fahrstuhl, sondern die Sicherheitskontrollen um ihn herum. Nach einem Streik der Fahrer im Jahr 1945, der Bürogebäude in ganz New York lahmlegte, konstruierte die Industrie Vertrauen in die Maschine selbst: den Notfall-Stop-Knopf, die Telefonleitung, Türen, die sich wieder öffneten, wenn sie Widerstand trafen, und eine aufgezeichnete Stimme, die erklärte, was zu tun war. Innerhalb einer Generation wurde das Einsteigen in einen Fahrstuhl ohne menschliche Kontrolle so alltäglich, dass das Einsteigen in einen Fahrstuhl mit einem Menschen am Steuer altmodisch wirkte. Die Hürde, den Menschen aus der Schleife zu entfernen, war nie die Fähigkeit. Es war Vertrauen, und die Industrie löste es, indem sie sichtbare, überprüfbare Kontrollen in das System einbaute und sie an einem Ort platzierte, an dem jeder Passagier sie sehen konnte.

Unternehmens-KI ist im Stadium des Einsteigens, Zurücktreten. Führungsteams sehen Agenten ohne menschliche Kontrolle und zögern, und die Zögerung ist rational: Die meisten Organisationen haben noch nicht die entsprechenden Kontrollen in ihre Systeme eingebaut. Die Unternehmen, die diese Kontrollen in ihre Systeme einbauen, werden diejenigen sein, deren Menschen, Kunden und Aufsichtsbehörden einsteigen und bleiben.

Hersteller können nur einen Teil davon tragen

Viele Führungskräfte hoffen, dass ihre KI-Hersteller die Vertrauenslast tragen. Hersteller können Modell-spezifische Sicherheitsvorkehrungen und Sicherheitskontrollen bereitstellen, und die guten tun das. Die Entscheidung, ob eine bestimmte Bereitstellung für Ihre Daten, Ihre regulatorischen Verpflichtungen, Ihre Kunden und Ihre Risikotoleranz geeignet ist, bleibt jedoch Ihre Aufgabe, da Ihr Hersteller den Kontext nicht hat, um dies zu tun. Sie haben Ihre Verpflichtungen nie gesehen und haben keine Möglichkeit, den Preis für ein schlechtes Ergebnis zu berechnen.

Die Sicherheitszusage eines Herstellers deckt sein Modell ab, nicht Ihre Verwendung davon. Sie ist auch nicht permanent: Wie das vergangene Jahr gezeigt hat, können diese Zusagen geändert oder zurückgezogen werden. Regulierte Branchen haben diese Frage längst für Drittanbieter-Modelle geklärt, und der Standard, auf den sie sich geeinigt haben, ist der richtige: Das Unternehmen, das das Modell einsetzt, trägt das Risiko.

Was die Wenigen tun

Die Unternehmen, die vorne liegen, machen drei Bewegungen:

1. Sie bauen Kontrollinfrastruktur jetzt, die auf die Skala ausgelegt ist, die sie erreichen wollen, und nicht auf die Skala, die sie derzeit haben, denn Kontrollen müssen existieren, bevor die Agenten, die sie benötigen, existieren.
2. Sie integrieren Risikoklassifizierung und -minderung am Anfang des Bereitstellungsprozesses und nicht als Überprüfungstor am Ende, sodass jeder Anwendungsfall klassifiziert und Kontrollen proportional zum Risiko von Tag eins an sind.
3. Und sie stellen unabhängige Governance mit echter Autorität auf, um diese Systeme zu überprüfen, ob sie wie beabsichtigt funktionieren, und halten sie flexibel genug, um mit der Technologie zu evolvieren. Unabhängigkeit macht die Überprüfung glaubwürdig. Flexibilität hält sie aktuell.

Es ist erwähnenswert, dass nur wenige Regulierungsbehörden explizite Regeln für die Verwendung und Überwachung von generativer KI festgelegt haben, aber das bedeutet nicht, dass wir nichts haben, auf das wir uns für Orientierung verlassen können. Regulierungsbehörden haben etablierte Regeln für die Verwaltung traditioneller Modelle, und wir können diese als Leitfaden verwenden. Im April veröffentlichten die Federal Reserve, OCC und FDIC revidierte Modell-Risikoleitlinien, die Jahrzehnte der Praxis widerspiegeln, einen prinzipiellen Ansatz, der Modellinventare, risikobasierte Kontrollen proportional zur Exposition, unabhängige Validierung, kontinuierliche Überwachung und Unternehmensverantwortung für Herstellerprodukte umfasst, und sie wiesen die Institutionen an, diese Praktiken auf KI anzuwenden. Die Botschaft ist klar: Die Prinzipien, die funktionieren, sind bekannt, und die formellen KI-Regeln kommen nicht bald. Unternehmen, die auf regulatorische Klarheit warten, werden warten, während die Wenigen handeln. Dies ist der Grund, warum die stark regulierten Branchen, die oft als langsam beschrieben werden, in diese Ära mit einem Vorsprung einsteigen. Sie haben Jahrzehnte damit verbracht, genau die Vertrauensmaschinerie aufzubauen, die jeder jetzt benötigt, und sie warten nicht auf die Erlaubnis, sie zu verwenden.

Die Frage, die zählt

Die Kluft bildet sich bereits. Die meisten Unternehmen behandeln Governance als Kosten: Etwas, das absorbiert, ertragen und minimiert wird. Die Wenigen behandeln es als die Infrastruktur, die es ihnen ermöglicht, Menschen zu höherwertiger Arbeit zu verlagern und mit Vertrauen zu skalierten. Jedes Führungsteam ist auf einer Seite oder der anderen, ob sie es bewusst gewählt haben oder nicht, und die Lücke verdichtet sich stillschweigend vor der Skala, die sie enthüllen wird. Niemand denkt zweimal darüber nach, in einen Fahrstuhl einzusteigen, weil Vertrauen in ihn eingebaut wurde. Die Unternehmen, die dasselbe für KI tun, werden alle anderen überholen, die noch entscheiden, ob sie einsteigen oder nicht.