Rowan Stewart, Sr. Director of Product, KI-Sicherheit und Plattform bei Transcend – Interview-Serie

Rowan Stewart, Sr. Director of Product, KI-Sicherheit und Plattform bei Transcend, leitet Produktinitiativen, die Unternehmen dabei helfen, Daten in KI-Systemen zu entdecken, zu verwalten und sicher zu nutzen. Sie bringt mehr als ein Jahrzehnt Erfahrung in der Entwicklung von KI- und Machine-Learning-Produkten, Unternehmenssoftware, natürlicher Sprachverarbeitung, Datenstrategie und Zero-to-One-Produktführung mit. Bevor sie zu Transcend kam, verbrachte Stewart fast sechs Jahre bei BCG X, wo sie großen Unternehmen half, KI-Strategien zu entwickeln, interne Prozesse neu zu erfinden und Produkte zu bauen, die messbare Geschäftsergebnisse liefern. Früher in ihrer Karriere leitete sie die Entwicklung von APIs für die natürliche Sprachverarbeitung von Influencer-Intelligenz, einschließlich Sentiment-Analyse, Wissensgraphen, Persönlichkeitsbewertung, Bot-Erkennung und Marken-Sicherheitsfunktionen.

Transcend ist die einzige autonome Datenentscheidungsplattform, die die Frage “Kann ich diese Daten verwenden?” beantwortet, um das Kundenwachstum zu skalieren. Fortune-500-Unternehmen und aufstrebende Marktführer nutzen Transcend, um vollständige Datenverwendungsberechtigungen direkt in die Unternehmenssysteme zu integrieren, die Kundendaten verarbeiten, und liefern so eine Echtzeit-Quelle der Wahrheit für Zustimmung, Präferenzen und Geschäftsregeln. Das Ergebnis ist eine überlegene Datenqualität, ethische Nutzung, die die Marke schützt, und auditfähige Einhaltung im großen Maßstab. Mit Transcend können Unternehmen Einnahmen aus KI, Personalisierung und anderen First-Party-Daten-Initiativen mit Vertrauen freischalten. Gegründet im Jahr 2017 von Ben Brook (CEO) und Mike Farrell (CTO), hat Transcend seinen Hauptsitz im San Francisco Bay Area.

Sie haben fast sechs Jahre bei BCG X verbracht und halfen einigen der größten Unternehmen der Welt, KI- und Machine-Learning-Lösungen zu implementieren, bevor Sie zu Transcend wechselten und sich auf KI-Sicherheit und -Governance konzentrierten. Welche wiederkehrenden Governance-Fehler oder Blindstellen haben Sie beobachtet, die Sie davon überzeugt haben, dass KI-Governance von Anfang an in Systeme integriert werden muss, anstatt später hinzugefügt zu werden?

Bei BCG habe ich mit Unternehmen auf jeder Stufe der KI-Reife gearbeitet, und ein Muster ist mir aufgefallen: Governance taucht immer zu spät auf. Teams bewegen sich schnell, um ein Modell oder ein Produkt auszuliefern, und die Diskussion über Datenberechtigungen, Zustimmung oder Aufsicht kommt erst wirklich in den Fokus, wenn die Produktion bevorsteht und sich wie ein “Gotcha” anfühlt. Alles, was zu diesem Zeitpunkt gebaut wird, ist ein Patch auf einem System, das nie mit Governance im Sinn konzipiert wurde.

Das ist Teil des Grundes, warum ich so aufgeregt war, zu Transcend zu kommen. Unternehmen zu beraten, was sie tun sollten, geht nur so weit. Ich wollte helfen, die Infrastruktur aufzubauen, die Governance zur einfachen Wahl macht.

Viele Unternehmen sind dabei, KI-Agenten über den Kundensupport, die Betriebsabläufe und die Wissensarbeit zu verteilen. Wie unterscheidet sich die Governance von autonomen KI-Agenten von der Governance traditioneller Softwaresysteme oder sogar früherer Generationen von KI-Modellen?

Die meisten Unternehmenssicherheitsarchitekturen gehen davon aus, dass am anderen Ende jeder Aktion ein Mensch ist, der identifiziert, vertraut und bei Fehlern zur Rechenschaft gezogen werden kann. Aber Agenten sind keine Menschen. Sie handeln auf eigene Faust, delegieren Aufgaben an andere Agenten und ketten Entscheidungen in einer Weise zusammen, die selten auf eine einzelne verantwortliche Person zurückzuführen ist.

Einem Agenten die gleichen statischen, stehenden Berechtigungen zu gewähren, wie man sie einem Mitarbeiter gewähren würde, schafft eine Fehlanpassung, da Agenten keinen gesunden Menschenverstand haben. Governance muss die spezifische Aktion bewerten, die ein Agent gerade ausführen wird, in diesem Moment, mit diesen bestimmten Daten. Die meisten Unternehmen laufen noch mit dem Identity- und Access-Management-Playbook, das sie für Menschen entwickelt haben, und viele von ihnen werden den Gap erst entdecken, wenn die Agenten-Implementierung die Governance überholt, die dafür konzipiert war.

Sie haben an mehreren Wellen der KI-Innovation gearbeitet, von NLP-Produkten und Influencer-Intelligenz-Plattformen bis hin zu Unternehmens-KI-Transformationsinitiativen. Wie hat sich die Diskussion um KI-Sicherheit im Laufe des letzten Jahrzehnts entwickelt, und was beunruhigt Sie am meisten?

Der Vergleich von heute (und morgen!) mit früheren KI-Generationen ist faszinierend, weil es sich um einen unglaublich schnelllebigen Bereich handelt. Die wichtigsten Entwicklungen der letzten ein oder zwei Jahre sind offensichtlich der Aufstieg der Agenten und die Bedeutung des Langzeit-Speichermanagements (OpenClaw, zum Beispiel?). Diese Agenten können so viel mehr tun, mit einer so viel höheren Qualität, was sie noch wertvoller und natürlich auch riskanter macht.

Da KI-Systeme zunehmend Entscheidungen auf der Grundlage von Kundendaten und Unternehmensdaten treffen, welche sind die größten Missverständnisse, die Unternehmen über Zustimmung, Berechtigungen und Daten-Governance in KI-getriebenen Umgebungen haben?

Das häufigste Missverständnis ist, Zustimmung als etwas zu behandeln, das man einmal erfasst und wegspeichert. Ein Kunde stimmt einem Satz von Bedingungen bei der Anmeldung zu, und Unternehmen gehen davon aus, dass diese Zustimmung für immer gilt, unabhängig davon, wie die Daten später bewegt werden oder welche neuen Systeme sie speisen. Zustimmung muss mit den Daten mitreisen. Wenn jemand seine Präferenzen aktualisiert oder eine neue Regelung ändert, was zulässig ist, muss diese Änderung überall auftauchen, wo die Daten leben, nicht nur in dem System, in dem die Zustimmung ursprünglich erfasst wurde.

Das zweite Missverständnis ist, Berechtigungen als technisches Detail zu behandeln, das IT oder Rechtswesen leise im Hintergrund handhabt. Sobald KI-Systeme auf der Grundlage dieser Daten Entscheidungen treffen, werden Berechtigungen zu einer Produkt- und Geschäftsfrage, und alle Lücken in ihnen werden direkt von der KI-Initiative übernommen, die darauf aufbaut.

Viele Unternehmen verlassen sich immer noch auf statische Richtlinien und periodische Compliance-Überprüfungen. Warum funktionieren diese Ansätze in einer Ära, in der KI-Systeme kontinuierlich lernen, sich anpassen und mit anderen Agenten interagieren können?

Eine statische Richtlinie erfasst, wie ein System aussieht und was als akzeptabel gilt, wenn jemand es aufschreibt. KI bleibt nicht lange genug still, um diese Momentaufnahme aktuell zu halten. Das Modell, für das die Richtlinie geschrieben wurde, muss nicht unbedingt das Modell sein, das sechs Monate später läuft, und eine quartals- oder jährliche Compliance-Überprüfung kann nicht mit einem System Schritt halten, das Entscheidungen trifft und sich anpasst, während es läuft.

Die Governance von etwas, das so schnell bewegt, erfordert eine Richtlinie, die genauso schnell bewegt. Das bedeutet, Governance am Punkt zu durchsetzen, an dem Daten tatsächlich verwendet werden, in Echtzeit, anstatt sie nachträglich gegen ein Dokument zu überprüfen, das bereits veraltet war, als es veröffentlicht wurde.

Was sieht effektive Governance aus, wenn Organisationen beginnen, Netzwerke von KI-Agenten zu implementieren, die miteinander zusammenarbeiten und auf mehrere interne Systeme zugreifen?

Hier werden die Grenzen der traditionellen Zugriffskontrolle offensichtlich. Ein Agent kann autorisiert sein, einen Datensatz zu lesen, ein Tool aufzurufen und Ergebnisse an einen anderen Agenten zu übergeben, und jeder dieser Schritte kann für sich genommen vernünftig aussehen. Die zusammengesetzte Aktion (das, was tatsächlich passiert, wenn man diese Schritte zusammenfügt) ist oft etwas, das kein Mensch ausdrücklich genehmigt hat. Traditionelle IAM kann bestätigen, ob ein Agent die Berechtigung hatte, ein System zu berühren, obwohl es wenig zu sagen hat, ob die Daten, die es berührt hat, unter einer Zustimmung gesammelt wurden, die diese bestimmte Verwendung abdeckt, oder ob die resultierende Kette von Aktionen jemals etwas war, das ein Mensch tatsächlich abgesegnet hat.

Transcend konzentriert sich auf die Einbettung von Datenverwendungsberechtigungen direkt in Unternehmensworkflows. Wie wichtig ist Echtzeit-Governance-Infrastruktur, wenn Organisationen von der KI-Experimentierung zur Produktions-Implementierung übergehen?

Während des Testens kann ein Team oft mit manuellen Überprüfungen und periodischen Audits auskommen, weil die Einsätze niedrig sind. In der Produktion, insbesondere mit agentenbasierter KI, bricht das, weil die Skala einfach massiv ist. Heute ist das System aus Checklisten und Meetings ein Verlieren-Verlieren. Die Compliance- und Sicherheitsteams bekommen im Wesentlichen ein Pinky-Versprechen mit keiner kontinuierlichen Durchsetzung, während das Produktteam nun zu umständlichen manuellen Überprüfungen verpflichtet ist, die wenig echten Wert für den Endbenutzer bieten. Das ist der Zeitpunkt, an dem Echtzeit-Infrastruktur der einzige Ansatz wird, der funktioniert. Die Durchsetzung von Berechtigungen im Moment, in dem Daten bewegt werden oder eine Entscheidung getroffen wird, anstatt nachträglich zu rekonstruieren, was passiert ist, nachdem etwas bereits schiefgelaufen ist, ist das, was Governance für Compliance und Benutzer wertvoll macht.

Was sind Ihrer Meinung nach die größten Risiken, die mit agenterbasierter KI in den nächsten drei bis fünf Jahren verbunden sind, und welche dieser Risiken werden derzeit von Geschäftsführern unterschätzt?

Ich denke, das Modell, bei dem Agenten die Berechtigungen eines Benutzers erben, ist riskanter, als wir realisieren. Menschen haben Urteilsvermögen, aber eine KI wird Ihren Anweisungen direkt folgen.

Wie sollten Produktteams den Druck, KI-Funktionen schnell auszuliefern, mit der Notwendigkeit ausgleichen, Governance-, Transparenz- und Rechenschaftspflichtsrahmen zu etablieren?

Ich denke, eine konkrete Sache ist die Lösung für das, was ich die “Slop-Steuer” nenne.

Wir haben alle sehr schnell unsere Antworten auf die Gültigkeit und den Wert von KI-Ausgaben neu justiert. Es ist der Grund, warum jeder Ihnen rät, Bindestriche zu entfernen (auch wenn sie angemessen sind), warum eine Website, die die Standard-Claude-Farben verwendet, billig aussieht (auch wenn sie schön aussieht) und warum Informationen, die von KI bereitgestellt werden, als verdächtig behandelt werden (auch wenn sie wahr sind). Das beeinflusst den wahrgenommenen Wert Ihres Produkts.

Die Lösung für die Slop-Steuer ist tatsächlich bessere Governance und Transparenz. Zum Beispiel haben wir kürzlich eine Funktion namens Vendor AI Usage ausgeliefert, die öffentlich verfügbare Informationen über die KI-Funktionen und die Governance-Postur von Top-Unternehmen sammelt, um KI-Enablement-, Sicherheits- und Beschaffungsteams zu helfen, ihre Arbeit schneller zu erledigen. Wir haben festgestellt, dass die Verwendung eines Multi-Agenten-Orchestrierungsframeworks, zusammen mit der Sammlung und Präsentation von Beweisen mit Quellenlinks und Zitaten für ihre Ergebnisse, zu einer massiven Verbesserung der Qualität unserer Ergebnisse führte. Diese Praxis der Beweissammlung und Agenten-QA ist ein Gewinn-Gewinn, weil die tatsächlichen Ergebnisse für den Benutzer besser sind und die Compliance robuster ist.

Wenn man in die Zukunft blickt, glauben Sie, dass KI-Governance letztendlich zu einem Wettbewerbsvorteil werden wird, anstatt nur ein Compliance-Erfordernis zu sein, und was wird die Organisationen unterscheiden, die es richtig machen, von denen, die zurückbleiben?

Ich denke, ja, und es kommt zurück auf das gleiche Muster, das ich bei BCG beobachtet habe. Unternehmen, die Governance als etwas behandeln, das man hinzufügen kann, wenn ein Produkt bereits auf dem Markt ist, werden immer auf dem letzten Drücker erwischt, wenn es um das Skalieren geht, und neigen dazu, in “Pilot-Purgatory” steckenzubleiben. Die Unternehmen, die Governance von Anfang an in das System integrieren, können mit einer Art von Vertrauen agieren, die die andere Gruppe nicht hat, weil sie nicht ständig darüber nachdenken, was sie finden werden, wenn sie sich das KI-System genauer ansehen.

Diese Lücke wird sich nur noch vergrößern, wenn die Agenten-Implementierung beschleunigt. Die Organisationen, die am schnellsten Agenten ohne Umdenken in Bezug auf die Berechtigungen dieser Agenten implementieren, sind diejenigen, die am wahrscheinlichsten in Schwierigkeiten geraten werden, und bis sie es tun, werden die Unternehmen, die die Infrastruktur richtig gebaut haben, ll bereits mit einer Geschwindigkeit operieren, die die Nachzügler nicht leicht einholen können. Governance hört auf, ein Compliance-Punkte-Element zu sein, sobald es das ist, was es Ihnen ermöglicht, KI schneller und mit mehr Vertrauen als alle, die es noch manuell tun, zu implementieren. Thank you for the great interview, readers who wish to learn more should visit Transcend.