KI-Vorfälle werden zu operativen Krisen. Wir müssen sie entsprechend behandeln.

In den letzten Jahren haben die meisten Organisationen das Risiko von KI in der Sprache der Governance diskutiert.

Ist das Modell genau? Ist es fair? Ist die Daten genehmigt? Kommen wir mit den aufkommenden Vorschriften überein? Das sind wichtige Fragen, aber sie sind nicht die einzigen Fragen. Die dringendere Frage ist, was passiert, wenn etwas schief geht?

Was passiert, wenn ein KI-Agent eine Aktion ausführt, die er nie ausführen sollte? Was passiert, wenn ein Modell sensible Daten leckt? Was passiert, wenn eine halluzinierte Antwort rechtliche Konsequenzen nach sich zieht oder eine automatisierte Entscheidung einen Kunden, Mitarbeiter, Patienten oder Partner auf eine Weise beeinflusst, die nicht leicht rückgängig gemacht werden kann?

Und vielleicht am praktischsten: Wohin geht die Organisation, um die Reaktion zu koordinieren? Das ist der Wandel, der derzeit stattfindet. KI-Risiko wird zu einem operativen Resilienzproblem, nicht nur zu einem Governance-Problem.

KI bewegt sich von der Experimentierphase in die Arbeitsmaschinerie des Unternehmens. Sie wird in die Kundenunterstützung, Softwareentwicklung, Finanzoperationen, Healthcare-Workflows, Einstellungen, Schadensabwicklung, Lieferketten und interne Automatisierung integriert. Wenn KI mehr mit dem Geschäft verbunden ist, werden KI-Fehler zu Geschäftsincidenten.

Der OECD-KI-Vorfälle-Monitor verfolgte im Januar 2026 allein 596 KI-Vorfälle, was einem Wachstum von 200 % im Vergleich zum Vorjahr entspricht. Bemühungen wie der OECD-KI-Vorfälle-Monitor und die KI-Vorfälle-Datenbank dokumentieren negative oder schädliche Ergebnisse, die mit KI-Systemen verbunden sind, damit die Branche aus Erfahrungen lernen kann, ähnlich wie die Luftfahrt und die Cybersicherheit es seit Jahren tun.

Dieser Vergleich ist wichtig. Ausgefeilte Branchen fragen, wie man das Scheitern verhindern und wie man reagieren kann, wenn das Scheitern trotzdem eintritt.

KI-Vorfälle verhalten sich nicht wie traditionelle Software-Bugs

Ein traditioneller Software-Bug hat normalerweise eine relativ klare Grenze. Etwas ist kaputt, die Ingenieure untersuchen es, das Team reproduziert das Problem, patcht den Code und liefert eine Lösung.

KI-Vorfälle sind jedoch chaotischer. Sie können probabilistisch, intermittierend und aus der Interaktion zwischen einem Modell, einem Prompt, einem Abrufsystem, einem Plug-in, einem Agenten, einem Benutzer und einem nachgelagerten Geschäftsprozess entstehen. Manchmal funktioniert das KI-System genau wie vorgesehen, aber die Konstruktion ist unvollständig für die Umgebung, in der es verwendet wird. Das macht die Reaktion schwieriger.

Eine Halluzination in einem Consumer-Chatbot ist ein bestimmtes Problem. Eine Halluzination in einem rechtlichen, finanziellen, klinischen oder HR-Workflow ist ein anderes. Eine voreingenommene Ausgabe während des Testens ist ernst. Ein voreingenommener Entscheidungsprozess, der im Produktionsumfeld im großen Maßstab läuft, ist etwas ganz anderes. Ein KI-Assistent, der einen E-Mail-Entwurf erstellt, ist eine Sache, aber ein Agent, der Berechtigungen ändern, Rückerstattungen ausstellen, Aufzeichnungen aktualisieren, Workflows auslösen oder Code ausführen kann, ist eine ganz andere Kategorie von Risiken.

Das MIT-KI-Risiko-Repository erfasst eine breite Palette von KI-Risiken, einschließlich falscher oder irreführender Informationen, Datenschutz- und Sicherheitsverletzungen, Diskriminierung, Missbrauch und System-Sicherheitsprobleme. OWASPs Top 10 für LLM-Anwendungen hebt ähnliche Risiken wie Prompt-Injection, Offenlegung sensibler Informationen, unsichere Ausgabehandhabung und übermäßige Agentur hervor. Diese sind praktische Fehlermodi und keine abstrakten technischen Bedenken.

Wenn ein KI-Agent zu viel Autorität hat, kann er Handlungen ausführen, die kein Mensch beabsichtigt hat. Wenn eine Prompt-Injection erfolgreich ist, kann das System Informationen offenlegen oder feindliche Anweisungen befolgen. Wenn sensible Daten durch ein Modell oder ein Abrufsystem lecken, hat die Reaktion rechtliche, regulatorische, kundenspezifische und reputationsbezogene Auswirkungen. Deshalb kann die Sprache der KI-Governance manchmal zu passiv werden. Governance sagt uns, was wahr sein sollte. Die Reaktion auf Vorfälle sagt uns, was zu tun ist, wenn die Realität sich schneller bewegt als die Richtlinie.

Die Reaktion wird funktionsübergreifend sein

Eine der größten Lektionen aus der Cybersicherheit ist, dass Vorfälle selten innerhalb des Sicherheitsteams bleiben. Am Anfang kann ein Ereignis technisch aussehen. Sehr schnell ist es jedoch auch rechtlich, kommunikativ, geschäftlich, kompliancebezogen, kundenspezifisch, externen Beratern, Versicherern, Forensikspezialisten und manchmal dem Vorstand beteiligt.

KI-Vorfälle werden dem gleichen Muster folgen.

Stellen Sie sich vor, ein Modell legt sensible Kundeninformationen offen. Die Sicherheits- und Datenschutzteams müssen verstehen, was passiert ist. Die Rechtsabteilung muss die Verpflichtungen bewerten. Die Kommunikationsabteilung muss möglicherweise für Kunden, Aufsichtsbehörden oder die Medien vorbereiten. Die Ingenieure müssen möglicherweise ein System deaktivieren oder zurücksetzen. Die Geschäftsleitung muss die Kontinuität gegen die Eindämmung abwägen.

Oder stellen Sie sich vor, ein KI-Agent beginnt, unbeabsichtigte Aktionen in Unternehmenssystemen auszuführen. Das technische Team kann es möglicherweise abschalten, aber die Organisation muss immer noch wissen, was es getan hat, wer betroffen war, welche Entscheidungen getroffen wurden, ob vertragliche Verpflichtungen ausgelöst wurden und wie das gleiche Versagen in Zukunft verhindert werden kann. Das kann nicht allein vom KI-Team gelöst werden.

Organisationen sollten funktionsübergreifende Muskelgedächtnis aufbauen, bevor sie es benötigen. Das bedeutet klare Eskalationsauslöser, klare Rollen, klare Entscheidungsbefugnisse, klare Kommunikationswege, klare Dokumentation und Übung.

In einer Krise ist Koordination Infrastruktur, nicht nur eine weiche Fähigkeit.

Die zu untersuchende KI sollte die Reaktion nicht kontrollieren

Es gibt ein weiteres Problem, über das Organisationen viel sorgfältiger nachdenken sollten. Wenn das KI-System, das untersucht wird, auf die gleichen Kommunikations-, Dokumentations-, Workflows oder Automatisierungen zugreifen kann, die zur Koordination der Reaktion verwendet werden, hat die Organisation ein Problem.

In der Cybersicherheit ist dies ein vertrautes Prinzip. Wenn Ransomware das Unternehmensnetzwerk kompromittiert hat, koordinieren Sie die Reaktion nicht auf Systemen, die der Angreifer lesen, stören oder manipulieren kann. Sie gehen aus der Bande. Sie trennen den Vorfall von der Reaktion.

Die gleiche Logik gilt für KI.

Ein KI-System kann nicht böswillig im menschlichen Sinne sein, aber wenn es den Reaktionsplan sehen, die Reaktionsbesprechung zusammenfassen, den Workflow beeinflussen, den nächsten Schritt empfehlen oder innerhalb der gleichen Umgebung operieren kann, die zur Eindämmung verwendet wird, dann hat die Organisation die Reaktion nicht wirklich isoliert.

Dies wird noch wichtiger bei agentenbasierter KI. Googles Secure AI Framework hebt Risiken wie Prompt-Injection, Datenvergiftung und Rogue-Aktionen hervor und ordnet sie Kontrollen über den gesamten KI-Lebenszyklus zu. Das ist die richtige Ausrichtung. Wenn KI-Systeme fähiger werden, über Tools, Daten und Workflows zu handeln, müssen Organisationen über Modellsicherheit und operative Trennung nachdenken.

Denken Sie daran, wie man einen Brand untersucht. Man würde die Sprinklersteuerung nicht an das gleiche fehlerhafte System binden, das man zu diagnostizieren versucht.

Vorbereiten, Üben, Reagieren, Berichten

Ein nützliches Framework für die Vorbereitung auf KI-Vorfälle ist dasselbe, das in der Cybersicherheit ausgereift ist: Vorbereiten, Üben, Reagieren, Berichten.

Vorbereiten bedeutet, Vorfalltypen vor ihrem Eintreten zu definieren, wie z. B. Voreingenommenheit, Halluzination, Datenlecks, Modellverschiebung, Prompt-Injection, agentenbedingtes Durchgehen, nicht autorisierte Werkzeugverwendung und Drittanbieter-Modellversagen. Jeder erfordert unterschiedliche Beteiligte und unterschiedliche Entscheidungen.

Ein gutes Playbook sollte kein 200-seitiges Dokument in einem Ordner sein. Niemand öffnet Seite 137 während einer Krise. Ein gutes Playbook ist rollenbasiert, zugänglich und handhabbar. Die Rechtsabteilung weiß, was die Rechtsabteilung tun muss. Die Ingenieure wissen, was die Ingenieure tun müssen. Die Kommunikationsabteilung weiß, wann sie sich einsetzen muss. Der Vorstand weiß, wann die Geschäftsleitung eskaliert.

Üben bedeutet, Tischübungen durchzuführen. Nicht einmal im Jahr als Kontrollkästchen, sondern oft genug, um Muskelgedächtnis aufzubauen. Das erste Mal, dass der Vorstand einen KI-Vorfall diskutiert, sollte nicht während eines echten KI-Vorfalls sein. Das erste Mal, dass Rechtsabteilung, Ingenieure, Datenschutz, Sicherheit und Kommunikation gemeinsam einen KI-Vorfall durchgehen, sollte nicht sein, wenn Kunden bereits Fragen stellen.

Reagieren bedeutet, das Live-Ereignis mit Disziplin zu koordinieren. Wer ist im Raum? Welche Fakten sind bekannt? Welche Fakten sind noch ungewiss? Welche Entscheidungen wurden getroffen? Wer hat sie genehmigt? Was hat sich zwischen Stunde 12 und Stunde 48 geändert?

Berichten bedeutet, zu erkennen, dass KI-Regulierung konkreter wird. Der EU-KI-Gesetz enthält ernsthafte Meldepflichten für Anbieter bestimmter Hochrisiko-KI-Systeme. Die Details variieren je nach Rechtsordnung, Branche und Anwendungsfall, aber die Richtung ist klar. KI-Vorfälle werden zunehmend eine vertretbare Aufzeichnung dessen erfordern, was passiert ist, was bekannt war, welche Maßnahmen ergriffen wurden und wann.

KI kann helfen, aber sie kann das Urteilsvermögen nicht ersetzen

Es gibt die Versuchung, zu denken, dass die Reaktion auf KI-Vorfälle vollautomatisiert sein sollte. Ich denke, das ist die falsche Ausrichtung.

KI kann enorm helfen. Sie kann Fakten zusammenfassen. Sie kann fehlende Informationen identifizieren. Sie kann einen Vorfall mit vorherigen Mustern vergleichen. Sie kann Nachberichte erstellen. Sie kann regulatorische Verpflichtungen kartieren. Sie kann den administrativen Aufwand reduzieren, wenn Menschen unter Druck stehen.

Aber bei einem ernsthaften Vorfall bleiben Menschen unersetzlich.

Jemand muss entscheiden, ob die Fakten ausreichen. Jemand muss den Kundenimpact abwägen. Jemand muss entscheiden, ob ein System pausiert werden soll. Jemand muss bestimmen, ob die Organisation eine Meldepflicht überschritten hat. Jemand muss mit Verantwortung und Empathie kommunizieren.

Die richtige Rolle von KI in der Reaktion auf Vorfälle ist nicht, das Krisenteam zu ersetzen. Es ist, dem Krisenteam einen besseren Kontext zu geben, schneller.

NISTs KI-Risikomanagement-Framework ist nützlich, weil es KI-Risikomanagement um vier Funktionen herum aufbaut: Regeln, Kartieren, Messen und Verwalten. Für die Reaktion auf Vorfälle würde ich eine praktische Erweiterung hinzufügen: Üben.

Ein Plan, der nie getestet wurde, ist kein richtiger Plan. Es ist eine Theorie.

Der Vorstand benötigt ein Playbook, auch

KI-Risiko wird zu einem Thema auf Vorstandsebene, aber die Beteiligung des Vorstands kann nicht bei Aufsichtsfolien stoppen. Der Vorstand muss seine Rolle verstehen, bevor eine Krise eintritt.

Wann wird der Vorstand informiert? Welche Entscheidungen erfordern die Eingabe des Vorstands? Welche Informationen wird die Geschäftsleitung bereitstellen? Wie werden Materialität, Kundenimpact, rechtliche Konsequenzen, regulatorische Verpflichtungen und operative Störungen bewertet?

Viele Organisationen haben Sicherheitsplaybooks, Datenschutzplaybooks, Kommunikationsplaybooks und Rechtsplaybooks. Weit weniger haben ein Vorstands-Playbook für KI-Vorfälle. Diese Lücke wird sichtbarer, wenn KI-Systeme in regulierte, umsatzgenerierende und kundenorientierte Workflows einziehen. Die Rolle des Vorstands ist es, der Organisation zu helfen, bessere Entscheidungen unter Druck zu treffen, nicht technischer zu werden.

Vertrauenswürdige KI erfordert operative Resilienz

Es gibt viel Gespräch über vertrauenswürdige KI. Das ist die richtige Aspiration, aber Vertrauen wird nicht durch Prinzipien allein geschaffen. Vertrauen wird geschaffen, wenn Organisationen zeigen können, wie sie sich vorbereiten, wie sie Probleme erkennen, wie sie reagieren, wie sie kommunizieren, wie sie Entscheidungen dokumentieren und wie sie verbessern.

Die Cybersicherheit ist durch diese gleiche Evolution gegangen. Organisationen haben Jahre damit verbracht, in die Prävention zu investieren, und sie sollten dies weiterhin tun. Aber ausgefeilte Organisationen haben schließlich gelernt, dass Prävention nicht ausreicht. Man benötigt auch Resilienz. KI ist in diese Phase eingetreten.

Wir sollten absolut sicherere Modelle aufbauen, stärkere Kontrollen, bessere Bewertungen, besseres Red-Teaming und bessere Governance, aber wir sollten auch akzeptieren, dass Vorfälle eintreten werden. Modelle werden fehlschlagen, Agenten werden unerwartet handeln, Daten werden lecken, Menschen werden Systeme missbrauchen, Anbieter werden Fehler machen und Vorschriften werden sich ändern.

Die Frage ist, ob die Organisation mit Geschwindigkeit, Koordination, Urteilsvermögen und Verantwortung reagieren kann, wenn ein Vorfall eintritt. Das ist, wie KI von der Experimentierphase zu einer verlässlichen Infrastruktur wird, und das ist, wie Resilienz zur Kultur wird.