Rob Feldman, Chief Legal Officer bei EnterpriseDB – Interview-Serie

Rob Feldman, Chief Legal Officer, ist für die weltweiten Rechts- und Compliance-Funktionen bei EnterpriseDB verantwortlich. Als erfahrener Manager und Anwalt baut er hochleistungsfähige Rechtsabteilungen auf, um wachsende Technologieunternehmen in dynamischen Geschäftsumgebungen und regulatorischen Umfeldern zu unterstützen. Zuletzt leitete er ein 45-köpfiges Rechtsteam bei Citrix Systems, Inc. als General Counsel, einschließlich des Übernahmeprozesses im Wert von über 16 Milliarden US-Dollar im Jahr 2022. Vor Citrix war er über ein Jahrzehnt lang in einer privaten Anwaltskanzlei tätig, wo er sich auf die Verteidigung von Technologieunternehmen in Fragen des Wertpapierbetrugs, geistigen Eigentums und Regierungs- und internen Untersuchungen spezialisierte. Rob ist auch Mitglied des UN-Global-Compact-Rechtsrats und bietet strategische Beratung zu globalen regulatorischen Umgebungen, um Unternehmen bei der Erreichung von transformativen, langfristigen Auswirkungen zu unterstützen.

EnterpriseDB ist ein Softwareunternehmen, das unternehmensweite Datenbanklösungen auf Basis von Open-Source-PostgreSQL anbietet, um Organisationen bei der Ausführung von mission-kritischen Workloads mit höherer Leistung, Sicherheit und Zuverlässigkeit zu unterstützen. Gegründet im Jahr 2004 bietet EnterpriseDB Cloud- und On-Premises-Plattformen, globale Support-Dienste und Oracle-Kompatibilitätstools an und konzentriert sich zunehmend auf AI-fähige und hybride Datenplattformen durch seine Postgres-AI-Angebote.

Angesichts Ihrer langjährigen Erfahrung in der Unternehmensführung und der Ausrichtung von EnterpriseDB auf unternehmensweite Postgres- und souveräne AI- und Datenplattformen, wie sehen Sie die Entwicklung der Haftung für Unternehmen, die agierende KI in kritischen Dateninfrastrukturen einsetzen?

Die Welt der KI und Daten hängt immer noch von den gleichen grundlegenden Prinzipien ab, die Unternehmen bereits vor der Einführung agierender Systeme hätten beachten sollen: Verantwortung, Zurückhaltung und Klarheit der Verantwortung.

In der Vergangenheit wurden diese Prinzipien auf Menschen und in erster Linie inaktive Systeme, Dashboards, Berichte und automatisierte Tools angewendet, die nicht selbstständig handelten. Agierende KI führt Systeme ein, die eher wie Teilnehmer als Instrumente handeln. Sie können selbstständig handeln, sich im Laufe der Zeit anpassen und zunehmend mit Menschen und anderen Agenten interagieren.

Wenn ein Unternehmen keine starken Governance- und Kontrollmechanismen hat, wird es in dieser Umgebung Schwierigkeiten haben. Agierende KI schafft keine neuen Verantwortungsprobleme, sondern legt bestehende offen. Für Unternehmen mit soliden Grundlagen verstärkt dieser Wandel tatsächlich die Praktiken, die sie bereits verfolgen, was wir als “digitale Zügel” bezeichnen. Für andere ist es ein klares Signal, dass praktische Schutzmechanismen etabliert werden müssen, bevor agierende KI im großen Maßstab eingesetzt wird.

Nur etwa 13 % der Unternehmen haben diesen Punkt der agierenden Skalierung erfolgreich erreicht. Sie führen doppelt so viele agierende Aktionen durch wie alle anderen und erzielen ein fünffaches ROI. Je mehr Autonomie jedoch ein KI-System hat, desto früher müssen Unternehmen der Verantwortung begegnen. Wenn ein KI-Agent einen Anspruch routet, Geld bewegt oder sensible Daten falsch handhabt, liegt die Verantwortung bei dem Unternehmen, das die Umgebung definiert, die Berechtigungen festgelegt und entschieden hat, wie viel Freiheit das System haben durfte.

Deshalb müssen Unternehmen klare Aufsicht über ihre agierenden KI-Anwendungsfälle ausüben und Organisationen haben Anreize, ihre Schutzmechanismen und Governance-Programme zu überwachen. Die Analogie zwischen Hunde-Besitz und digitaler Zügelung ist nützlich. Hunde haben ein bestimmtes Maß an Autonomie, handeln selbstständig, wenn auch manchmal unvorhersehbar, und sind dennoch keine Rechtspersonen. Diese Kombination aus Autonomie ohne Rechtspersönlichkeit ist ähnlich wie die heutigen agierenden KI-Systeme, und Besitzer müssen verstehen, dass sie ohne Aufsicht und Governance für schlechte Ergebnisse verantwortlich sein werden.

Wie sollten Unternehmen zwischen assistierender KI und agierender KI aus rechtlicher und operativer Sicht vor der Bereitstellung unterscheiden?

Im Grunde kommt es auf die Autorität an. Assistierende KI unterstützt die Entscheidungsfindung des Menschen, während agierende KI Aktionen ausführt und Entscheidungen trifft. Beide können Arbeitsabläufe und Verhaltensweisen beeinflussen (z. B. im Kundenservice oder bei der Priorisierung von Betriebsabläufen), aber nur agierende Systeme handeln auf diese Weise selbstständig.

Wenn ein System Workflows auslösen, Ergebnisse genehmigen, Systemzustände ändern oder ohne Echtzeit-Genehmigung durch einen Menschen handeln kann, sollte es als agierend behandelt werden. Diese Entscheidung muss vor der Bereitstellung getroffen werden, da sich mit der Gewährung von Autorität an einen Agenten auch die rechtliche und operative Verantwortung ändert. Organisationen müssen sich dieser Unterscheidung bewusst sein, um nicht zu spät zu entdecken, dass sie unbeabsichtigt Entscheidungsbefugnis und damit Verantwortung übertragen haben.

Können etablierte Rechtsdoktrinen wie fahrlässige Übertragung und Respondeat-Superior realistischerweise auf autonome KI-Systeme angewendet werden, und wo brechen diese Rahmenbedingungen zusammen?

Sie sind anwendbarer, als viele annehmen. Diese Doktrinen existieren, um Situationen zu behandeln, in denen Autorität übertragen und Schaden entsteht, was genau eines der potenziellen Herausforderungen ist, die agierende KI mit sich bringt.

Das Problem liegt nicht in der Rechtsdoktrin, sondern darin, ob Organisationen die Verantwortung verstehen, die sie übernehmen, wenn sie autonome KI einsetzen, und die Notwendigkeit, diese Systeme entsprechend zu regeln.

Wenn Organisationen den Umfang, die Berechtigungen und die Aufsicht nicht definieren, schaffen sie rechtliche Haftung. Das Problem liegt selten darin, dass das Gesetz nicht mit agierender KI umgehen kann, sondern dass Unternehmen nicht klar definiert haben, was ihre Systeme autorisiert sind zu tun oder wie sie regiert werden sollen.

Welche praktischen Schritte sollten CIOs und Rechtsabteilungen unternehmen, um die Haftung zu definieren und zu mindern, wenn KI-Arbeitsabläufe in Produktionsumgebungen weiterhin lernen und sich anpassen?

Der erste Schritt besteht darin, die souveräne Kontrolle über KI und Daten als mission-kritisch zu behandeln. Organisationen können ihre Haftung nicht sinnvoll regeln, wenn ihre KI-Systeme und Daten fragmentiert sind und sie nicht vollständig beobachten oder verwalten können. Die 13 % der Unternehmen, die mit agierender KI im großen Maßstab erfolgreich sind, beginnen mit dieser Grundlage.

Praktisch bedeutet dies, den Zugriff auf Daten einzuschränken, klar zu definieren, welche Aktionen Agenten autonom ausführen können, und menschliche Aufsicht über wichtige Entscheidungen zu gewährleisten. Es erfordert auch Protokollierung und Nachvollziehbarkeit, damit das Verhalten überprüft werden kann, wenn und wenn nötig. Organisationen, die diese Maßnahmen frühzeitig ergreifen, werden sowohl die rechtliche Haftung als auch den operativen Aufwand im Laufe der Zeit reduzieren.

Wie empfehlen Sie Unternehmen, agierende KI durch Richtlinien, technische Kontrollen oder vertragliche Sicherheitsmaßnahmen zu regeln, um das Risiko ungewollter Schäden zu verringern?

Der Ausgangspunkt ist die Souveränität. Unternehmen benötigen Umgebungen, in denen ihre KI-Systeme, Daten und Ausführungskontext beobachtbar und durchsetzbar sind. Die Regulierung kann nicht allein auf Richtlinien basieren. Richtlinien setzen Erwartungen, aber technische Kontrollen bestimmen, was Systeme tatsächlich tun können, ob Daten ruhen oder in Bewegung sind und wie Modelle betrieben werden dürfen.

Einige Agenten gehören in abgegrenzte Umgebungen mit keinem Produktionszugriff. Andere können mit eingeschränkten Berechtigungen und Genehmigungsschwellen betrieben werden. Vollständig autonome Agenten sollten selten und sorgfältig überwacht werden. Verträge können dazu beitragen, die Verantwortung zu klären, ersetzen jedoch nicht die Notwendigkeit interner Kontrolle und Verantwortung.

Ändert sich die Verlagerung hin zu unternehmenskontrollierten oder souveränen KI-Umgebungen, wer letztendlich das Risiko trägt, wenn ein KI-Agent finanziellen oder betrieblichen Schaden verursacht?

Es ändert nicht, wer das Risiko trägt. Es macht die Verantwortung jedoch klarer und verringert in vielen Fällen das Risiko. Wenn Unternehmen die Kontrolle über Daten und KI-Tooling haben, entfernen sie Variablen, die entstehen, wenn Daten und Tooling in den Händen von Dritten sind.

Die Kontrolle über Daten und KI-Tooling ist eine Stärke. Souveränität gibt Organisationen die erforderliche Sichtbarkeit und Autorität, um Risiken verantwortungsvoll zu managen. Ohne diese Kontrolle erweitern Unternehmen ihr Risikoprofil.

Welche Rolle spielen Transparenz und Nachvollziehbarkeit bei der Verringerung der rechtlichen Haftung, wenn autonome KI-Anwendungen ausgeführt werden?

Sie sind grundlegend. Nachvollziehbarkeit macht autonome Systeme zu verteidigbaren Systemen.

Wenn Vorfälle auftreten, fragen Regulierungsbehörden und Gerichte praktische Fragen: Was wusste das System, was durfte es tun und warum handelte es? Die Unternehmen, die Aufsicht und Nachvollziehbarkeit nachweisen können, sind in einer viel stärkeren Position im Vergleich zu ihren Gegenüber, die mit leeren Händen dastehen.

Wie sollten Unternehmen sich auf unterschiedliche staatliche Rechtsverpflichtungen im Zusammenhang mit KI-Haftung vorbereiten, während die bundesweite KI-Richtlinie weiterentwickelt wird?

Organisationen können nicht warten, bis Regulierungsbehörden einen umfassenden Satz von Regeln speziell für KI erlassen. Bestehendes Bundes- und Landesrecht gibt uns 95 % der Klarheit, die wir benötigen, um KI verantwortungsvoll einzusetzen und erhebliche Haftungsereignisse zu vermeiden.

Diese Klarheit umfasst die Ausgestaltung von Systemen, um den anspruchsvollsten Produkthaftungsstandards zu entsprechen, was notwendigerweise Dinge wie die verantwortungsvolle Entwicklung von KI-Fähigkeiten, Tests vor der Veröffentlichung, Transparenz und Risikoauskunft, Nachprüfung nach der Veröffentlichung, menschliche Aufsicht und Schulung für KI-Nutzer umfasst. Diese grundlegenden und vertrauten Schritte sind wichtiger als die Vorhersage spezifischer regulatorischer Ergebnisse.

Welche sind die wichtigsten Fragen, die Technologie-Käufer den Anbietern über Autonomie, Aufsicht und Haftung stellen sollten, bevor sie agierende KI-Systeme einsetzen?

Mit agierender KI liegt die Verantwortung letztendlich bei der Partei, die die Autonomie autorisiert. Die vier wichtigsten Fragen, die Sie beantworten sollten, sind:

1. Wer kontrolliert das System in der Produktion?
2. Wie werden Berechtigungen getestet und durchgesetzt?
3. Wie wird das Lernen eingeschränkt?
4. Welche Nachweisführung ist verfügbar, wenn etwas schiefgeht?

Wenn ein Anbieter keine klaren Antworten liefern kann, sollten Unternehmen vorsichtig sein. Wenn man auf die Analogie mit dem Hunde-Besitzer zurückkommt: Züchter sind wichtig, aber wenn etwas schiefgeht, kann die Verantwortung beim Besitzer liegen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten EnterpriseDB besuchen.