Rob Feldman, Chief Legal Officer at EnterpriseDB – Interview Series

Rob Feldman, Chief Legal Officer, ist für die weltweiten Rechts- und Compliance-Funktionen bei EnterpriseDB verantwortlich. Als erfahrener Manager und Anwalt baut er hochleistungsfähige Rechtsabteilungen auf, um wachsende Technologieunternehmen in dynamischen Geschäfts- und Regulierungsumgebungen zu unterstützen. Zuletzt leitete er ein 45-köpfiges Rechtsteam bei Citrix Systems, Inc. als General Counsel, einschließlich des über 16-Milliarden-Dollar-Take-Private-Deals im Jahr 2022. Vor Citrix verbrachte er über ein Jahrzehnt in der privaten Praxis als Technologieunternehmens-Litigator, der sich auf Wertpapierbetrugsverteidigung, geistiges Eigentum und Regierungs- und interne Untersuchungen konzentrierte. Rob ist auch Mitglied des UN-Global-Compact-Rechtsrats und bietet strategische Richtlinien für globale Regulierungsumgebungen, um Unternehmen zu helfen, transformative und langfristige Auswirkungen zu erzielen.

EnterpriseDB ist ein Softwareunternehmen, das unternehmensweite Datenbanklösungen auf Basis von Open-Source-PostgreSQL bietet, um Organisationen zu helfen, kritische Workloads mit besserer Leistung, Sicherheit und Zuverlässigkeit auszuführen. Gegründet im Jahr 2004 bietet EnterpriseDB Cloud- und On-Premises-Plattformen, globale Support- und Oracle-Kompatibilitätstools und konzentriert sich zunehmend auf AI-fähige und hybride Datenplattformen durch seine Postgres-AI-Angebote.

Angesichts Ihrer langjährigen Erfahrung in der corporate Legal Leadership und der Konzentration von EnterpriseDB auf unternehmensweite Postgres- und souveräne AI- und Datenplattformen, wie sehen Sie die Entwicklung der Haftung für Unternehmen, die agente AI innerhalb kritischer Dateninfrastrukturen betreiben?

Die Welt von AI und Daten hängt immer noch von denselben grundlegenden Prinzipien ab, die Unternehmen schon lange vor der Ankunft agenter Systeme hätten regieren sollen: Rechenschaftspflicht, Zurückhaltung und Klarheit der Verantwortung.

In der Vergangenheit wurden diese Prinzipien auf Menschen und größtenteils inerte Systeme, Dashboards, Berichte und automatisierte Tools angewendet, die nicht selbstständig handelten. Agente AI führt Systeme ein, die sich mehr wie Teilnehmer als Instrumente verhalten. Sie können unabhängig handeln, sich im Laufe der Zeit anpassen und zunehmend mit Menschen und anderen Agenten interagieren.

Wenn ein Unternehmen schwache Governance- und Kontrollstrukturen aufweist, wird es in dieser Umgebung Schwierigkeiten haben. Agente AI schafft nicht neue Verantwortungsprobleme, sondern deckt bestehende auf. Für Unternehmen mit soliden Grundlagen verstärkt dieser Wandel tatsächlich die Praktiken, die sie bereits befolgen, was wir als “digitale Leinen” bezeichnen. Für andere ist es ein klares Signal, dass praktische Schutzmaßnahmen etabliert werden müssen, bevor agente AI im großen Maßstab operationalisiert wird.

Nur etwa 13% der Unternehmen haben diesen Punkt der agenter Skalierung erfolgreich erreicht. Sie führen 2-mal so viel agente AI wie alle anderen und erzielen 5-mal so viel ROI. Je mehr Autonomie jedoch ein AI-System hat, desto eher müssen Organisationen der Rechenschaftspflicht gegenüberstehen. Wenn ein AI-Agent einen Anspruch routet, Geld bewegt oder sensible Daten falsch handhabt, folgt die Verantwortung dem Unternehmen, das die Umgebung definiert, die Berechtigungen festgelegt und entschieden hat, wie viel Freiheit das System haben durfte.

Dies ist der Grund, warum Unternehmen klare Aufsicht über ihre agenter AI-Anwendungsfälle benötigen und warum Organisationen motiviert sind, ihren Schutzmaßnahmen und Governance-Programmen Priorität einzuräumen. Die Analogie zwischen Hundeownership und digitaler Leinen ist nützlich. Hunde haben ein bestimmtes Maß an Autonomie, handeln unabhängig, wenn auch manchmal unvorhersehbar, aber sie sind keine juristischen Personen. Diese Kombination aus Autonomie und Nicht-Personalität ist ähnlich wie bei heutigen agenter AI-Systemen, und Besitzer müssen verstehen, dass ohne Aufsicht und Governance sie für schlechte Ergebnisse verantwortlich sein werden.

Wie sollten Unternehmen zwischen assistiver AI und agenter AI aus rechtlicher und operativer Sicht vor der Bereitstellung unterscheiden?

Auf einfache Weise kommt es auf die Autorität an. Assistive AI unterstützt menschliche Entscheidungsfindung, während agente AI Aktionen initiiert und Entscheidungen ausführt. Beide können Workflows und Verhaltensweisen beeinflussen (z. B. im Kundenservice oder in der operativen Priorisierung), aber nur agente Systeme handeln unabhängig.

Wenn ein System Workflows auslösen, Ergebnisse genehmigen, Systemzustände ändern oder ohne Echtzeit-Genehmigung durch Menschen handeln kann, sollte es als agenter behandelt werden. Diese Bestimmung muss vor der Bereitstellung erfolgen, da sich mit der Gewährung von Autorität an einen Agenten auch die rechtliche und operative Verantwortung ändert. Organisationen müssen sich dieser Unterscheidung bewusst sein, um nicht zu spät zu entdecken, dass sie unbeabsichtigt Entscheidungsbefugnisse und damit Verantwortung delegiert haben.

Können etablierte Rechtsdoktrinen wie fahrlässige Delegation und respondeat superior realistischerweise auf autonome AI-Systeme angewendet werden, und wo brechen diese Rahmenbedingungen zusammen?

Sie sind anwendbarer, als viele annehmen. Diese Doktrinen existieren, um Situationen zu behandeln, in denen Autorität delegiert und Schaden entsteht, was genau eines der potenziellen Probleme ist, die agente AI einführt.

Das Problem liegt nicht in der Rechtsdoktrin, sondern darin, ob Organisationen die Verantwortung verstehen, die sie übernehmen, wenn sie autonome AI einsetzen, und die Notwendigkeit, diese Systeme entsprechend zu regeln.

Wenn Organisationen den Umfang, die Berechtigungen und die Aufsicht nicht definieren, schaffen sie rechtliche Haftung. Das Problem liegt selten darin, dass das Gesetz nicht mit agenter AI umgehen kann, sondern vielmehr darin, dass Unternehmen nicht klar definiert haben, was ihre Systeme autorisiert waren zu tun oder wie sie regiert werden sollten.

Welche praktischen Schritte sollten CIOs und Rechtsabteilungen heute unternehmen, um Haftung zu definieren und zu mindern, wenn AI-Workflows weiterhin lernen und sich in Produktionsumgebungen anpassen?

Der erste Schritt besteht darin, die souveräne Kontrolle über AI und Daten als mission-kritisch zu behandeln. Organisationen können nicht sinnvoll Haftung regeln, wenn ihre AI-Systeme und Daten fragmentiert sind und sie nicht vollständig beobachten oder verwalten können. Die 13% der Unternehmen, die erfolgreich mit agenter AI im großen Maßstab umgehen, beginnen mit dieser Grundlage.

In der Praxis bedeutet das, den Zugriff auf Daten einzuschränken, klar zu definieren, welche Aktionen Agenten autonom ausführen können, und menschliche Aufsicht um wichtige Entscheidungen herum zu platzieren. Es erfordert auch Protokollierung und Nachvollziehbarkeit, damit das Verhalten überprüft werden kann, wenn und wenn nötig. Organisationen, die diese Maßnahmen frühzeitig ergreifen, werden sowohl rechtliche als auch operative Reibungsverluste reduzieren.

Wie empfehlen Sie, dass Unternehmen agenter AI durch Richtlinien, technische Kontrollen oder vertragliche Sicherheitsmaßnahmen regeln, um das Risiko ungewollter Schäden zu reduzieren?

Der Ausgangspunkt ist die Souveränität. Unternehmen benötigen Umgebungen, in denen ihre AI-Systeme, Daten und Ausführungskontext beobachtbar und durchsetzbar sind. Governance kann nicht allein auf Richtlinien basieren. Richtlinien setzen Erwartungen, aber technische Kontrollen bestimmen, was Systeme tatsächlich tun können, ob Daten ruhen oder in Bewegung sind und wie Modelle betrieben werden dürfen.

Einige Agenten gehören in abgegrenzte Umgebungen mit keinem Produktionszugriff. Andere können mit eingeschränkten Berechtigungen und Genehmigungsschwellen betrieben werden. Vollautonome Agenten sollten selten und sorgfältig überwacht werden. Verträge können dazu beitragen, Verantwortung zu klären, aber sie ersetzen nicht die Notwendigkeit interner Kontrolle und Rechenschaftspflicht.

Ändert sich die Verschiebung hin zu unternehmenskontrollierten oder souveränen AI-Umgebungen, wer letztendlich das Risiko trägt, wenn ein AI-Agent finanziellen oder operativen Schaden verursacht?

Es ändert nicht, wer das Risiko trägt. Es macht die Rechenschaftspflicht jedoch klarer und reduziert in vielen Fällen das Risiko. Wenn Unternehmen die Kontrolle über Daten, Infrastruktur und Ausführungskontext haben, entfernen sie Variablen, die durch Dritte eingeführt werden, wenn Daten und Tooling in deren Händen sind.

Kontrolle über Daten und AI-Tooling ist eine Stärke. Souveränität gibt Organisationen die erforderliche Sichtbarkeit und Autorität, um Risiken verantwortungsvoll zu managen. Ohne diese Kontrolle erweitern Unternehmen ihr Risikoprofil.

Aus Ihrer Perspektive, welche Rolle spielen Transparenz und Prüfbarkeit bei der Reduzierung rechtlicher Haftung, wenn autonome AI-Anwendungen ausgeführt werden?

Sie sind grundlegend. Prüfbarkeit macht autonome Systeme zu verteidigbaren Systemen.

Wenn Vorfälle auftreten, fragen Regulierungsbehörden und Gerichte praktische Fragen: Was wusste das System, was war es autorisiert zu tun, und warum handelte es? Die Unternehmen, die Aufsicht und Prüfbarkeit demonstrieren können, sind in einer viel stärkeren Position im Vergleich zu ihren Konkurrenten, die mit leeren Händen dastehen.

Wie sollten Unternehmen sich auf unterschiedliche staatliche Rechtsverpflichtungen im Hinblick auf AI-Haftung vorbereiten, während die bundesweite AI-Richtlinie weiterentwickelt wird?

Organisationen können nicht warten, bis Regulierungsbehörden detaillierte Regeln speziell für AI vorlegen. Bestehendes staatliches und bundesweites Recht gibt uns 95% der Klarheit, die wir benötigen, um AI verantwortungsvoll einzusetzen und erhebliche Haftungsereignisse zu vermeiden.

Diese Klarheit umfasst die Gestaltung von Systemen, um den anspruchsvollsten Produkthaftungsstandards zu entsprechen, was notwendigerweise Dinge wie verantwortungsvolle Entwicklung von AI-Fähigkeiten, Prüfungen vor der Veröffentlichung, Transparenz und Risikoaufklärung, Nachprüfungen nach der Veröffentlichung, menschliche Aufsicht und Schulung für AI-Nutzer umfasst. Diese grundlegenden und vertrauten Schritte sind wichtiger als das Versuchen, spezifische regulatorische Ergebnisse vorherzusagen.

Welche sind die wichtigsten Fragen, die Technologiekäufer den Anbietern über Autonomie, Aufsicht und Haftung stellen sollten, bevor sie agenter AI-Systeme adoptieren?

Bei agenter AI liegt die Verantwortung letztendlich bei der Partei, die Autonomie autorisiert. Die vier wichtigsten Fragen, die Sie beantworten sollten, sind:

1. Wer kontrolliert das System in der Produktion?
2. Wie werden Berechtigungen getestet und durchgesetzt?
3. Wie wird das Lernen eingeschränkt?
4. Welche Prüfnachweise sind verfügbar, wenn etwas schiefgeht?

Wenn ein Anbieter keine klaren Antworten liefern kann, sollten Unternehmen vorsichtig sein. Wenn man wieder zur Hunde-Analogie zurückkehrt: Züchter sind wichtig, aber wenn etwas schiefgeht, kann die Verantwortung beim Besitzer liegen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten EnterpriseDB besuchen.