Interviews
Vin Sharma, Mitgründer und CEO von Vijil – Interviewreihe
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Vin Sharma ist Mitgründer und CEO von Vijil und bringt mehr als 30 Jahre Erfahrung in den Bereichen Cybersicherheit, Open Source, Cloud-Computing und KI-Infrastruktur mit. Vor der Gründung des Unternehmens leitete er bei AWS Entwicklungsarbeiten im Bereich Deep Learning für Amazon SageMaker und Amazon Bedrock, entwickelte bei Intel Rechenzentrumsinfrastruktur und war bei Hewlett-Packard in Produkt- und Entwicklungsfunktionen tätig. Seine Karriere begann mit automatisierten Red-Team-Tests für vertrauenswürdige UNIX-Systeme. Diese Erfahrung prägt seinen Fokus darauf, KI-Agenten in Unternehmen zuverlässig, sicher und gefahrlos zu machen.
Vijil stellt Vertrauensinfrastruktur für KI-Agenten in Unternehmen bereit. Damit können Organisationen das Verhalten der Agenten bewerten, Kontrollen durchsetzen und ihre Resilienz über den gesamten Lebenszyklus hinweg verbessern. Der Ansatz vereint Tests, Sicherheit und kontinuierliches Feedback, um das Verhalten der Agenten an den beabsichtigten Zielen und Richtlinien einer Organisation auszurichten. In diesem Interview spricht Sharma darüber, wie sich Vertrauen definieren und messen lässt, warum sich Agententests von herkömmlichen Software-Sicherheitstests unterscheiden und welche Aufsicht Unternehmen benötigen, wenn Agenten zunehmend autonom handeln.
Sie haben mehr als 30 Jahre in verschiedenen Unternehmen gearbeitet, darunter AWS, Intel und Hewlett-Packard, bevor Sie Vijil gründeten. Was hat Sie letztlich davon überzeugt, dass Vertrauen und Sicherheit im Bereich KI ein ungelöstes Problem von ausreichender Tragweite darstellten, um ein Unternehmen darauf aufzubauen?
Bevor ich vor 30 Jahren bei einem Start-up im Bereich Sicherheit anfing, studierte ich im Graduiertenstudium KI und maschinelles Lernen. Seitdem habe ich in Produktteams gearbeitet, die Sicherheit auf Militärniveau in Betriebssysteme auf Basis von Unix und Linux integrierten, sichere Webserver für Online-Banking entwickelten, vertrauenswürdige Ausführungsumgebungen für Cloud-Computing schufen, Verschlüsselung in Datenanalyseplattformen einbauten und zuletzt gewissermaßen zum Ausgangspunkt zurückkehrten, indem sie bei AWS unternehmenstaugliche KI-/ML-Dienste entwickelten. Diese Laufbahn hat mich zu der Überzeugung gebracht, dass es schwieriger ist, Vertrauen in ein intelligentes System einzubauen, als das intelligente System selbst zu entwickeln. Während sich die KI-Branche offenbar weitgehend darauf konzentriert, die Fähigkeiten der Agenten auszubauen, bin ich der Ansicht, dass wir ebenso viele Ressourcen in skalierbare Aufsichts- und Kontrollmechanismen für Agenten investieren müssen. Ohne Kennzahlen und Mechanismen, die auf die Bedürfnisse einzelner Organisationen zugeschnitten sind, wird die anfängliche Welle des überschwänglichen Einsatzes an den Sandbänken von Risiken und ROI versanden, weil Unternehmen nicht nachweisen können, dass ihre Agenten in ihrem besten Interesse handeln.
Vijil basiert auf der Idee, dass viele KI-Agenten nie in den Produktivbetrieb gelangen, weil Unternehmen ihre Zuverlässigkeit, Sicherheit und Unbedenklichkeit nicht ausreichend überprüfen können. Wo zeigen sich Ihrer Beobachtung nach die größten Vertrauenslücken, wenn Unternehmen von KI-Prototypen zu produktiven Implementierungen übergehen?
Der Engpass beim Einsatz einer wachsenden Zahl zunehmend autonomer Agenten liegt darin, ob Organisationen das beabsichtigte Verhalten ihrer Agenten festlegen und überprüfen können, ob die Agenten sich wie vorgesehen verhalten. Außerdem müssen sie dazu in der Lage sein, und zwar in dem Maßstab und mit der Geschwindigkeit, mit denen Agenten arbeiten. Es liegt nahe, dass wir eine Möglichkeit brauchen, mit der Agenten das Verhalten anderer Agenten messen und verändern können. Zwei der größten Lücken bestehen darin, zu wissen, was gemessen werden soll (was bei Agenten als gutes Verhalten gilt), und zu wissen, was verändert werden soll (welche Komponenten des Agentensystems angepasst werden müssen, um das vom Auftraggeber gewünschte Verhalten hervorzurufen: das Modell und seine Parameter, der System-Prompt, die Nutzeranweisungen, das Agenten-Framework oder der Graph des Multi-Agenten-Systems).
Wie definiert und misst Vijil „Vertrauen“ in einen KI-Agenten, und welche Signale oder Benchmarks sind besonders wichtig, um festzustellen, ob ein Agent für den Einsatz in einem Unternehmen bereit ist?
Wir definieren Vertrauen als den erwarteten Nutzen der Delegation an einen autonomen Agenten, vermindert um das Risiko, dass er unsere Absichten missachtet. Einem Agenten kann also vertraut werden, wenn er sich unter normalen, störungsbehafteten und feindlichen Bedingungen korrekt verhält und im Fehlerfall das Schadensausmaß begrenzt. Vertrauen lässt sich dann anhand von drei Säulen messen: Zuverlässigkeit, Sicherheit und Unbedenklichkeit. Zuverlässig sind Agenten, wenn sie sich unter unterschiedlichen Bedingungen wie erwartet verhalten; sicher sind sie, wenn sie sich unter feindlichen Bedingungen wie erwartet verhalten; und unbedenklich sind sie, wenn sie geschäftliche, rechtliche und technische Risiken minimieren können.
KI-Agenten können sich unvorhersehbar verhalten, weil sie Modelle, Tools, Datenquellen, Speicher und externe Systeme miteinander verbinden. Worin unterscheiden sich Agententests von herkömmlichen Sicherheitstests für Anwendungen oder der klassischen Modellbewertung?
Herkömmliche Software versagt auf inzwischen gut verstandene Weise. Allgemein gesprochen zählen dazu die Unfähigkeit, fehlerhafte Eingaben zu verarbeiten, Schwächen in der Logik und im Systemdesign, Implementierungsfehler, verborgene Schwachstellen, die Angriffe ermöglichen, und unbeabsichtigte Nebenwirkungen der Ausgaben. Solche Fehler lassen sich entsprechend vorhersehbar testen. Agenten vergrößern die Fehlerfläche jedoch enorm – so sehr, dass sie sich grundsätzlich nicht durch Modellbewertungen, Unit-Tests, Integrationstests, Anwendungssicherheitstests, Penetrationstests und Compliance-Prüfungen erfassen lässt. Um die neue Angriffsfläche von Agenten zu testen, benötigen wir neue Kennzahlen und Mechanismen, die das Verhalten eines Agenten im Hinblick auf den von seinem Auftraggeber vorgegebenen Zweck, die Nutzerprofile und die Richtlinien der Organisation, der Branche und der Region bewerten, in der er eingesetzt wird.
Sie haben Deep-Learning-Engineering-Projekte für Amazon SageMaker und Amazon Bedrock geleitet. Welche Erkenntnisse aus dem Aufbau der KI-Infrastruktur bei AWS haben Ihren Ansatz in Sachen Agentensicherheit und Zuverlässigkeit bei Vijil am stärksten geprägt?
Die prägendste Erkenntnis war, dass es weitaus effektiver und effizienter ist, Fehler bei Zuverlässigkeit, Sicherheit und Compliance von Diensten früh im Entwicklungszyklus aufzudecken, als kurz vor dem Start – wie es traditionell üblich war – oder, schlimmer noch, erst nach dem Produktivstart, wenn man von Anrufen über einen ausgefallenen Dienst geweckt wird.
Vijil konzentriert sich nicht nur darauf, Agents vor der Bereitstellung zu testen, sondern auch darauf, sie im Produktivbetrieb zu schützen und kontinuierlich zu verbessern. Welche Risiken werden erst sichtbar, wenn ein Agent mit echten Nutzern, Daten und Unternehmenssystemen zu interagieren beginnt?
Die reale Welt hält unendlich viele Überraschungen bereit. Und ein überraschter Agent ist fehleranfällig. Wenn ein Agent beim Erstellen eines Memes einen Fehler macht, ist das niemandem ein Anliegen. Ein Agent, der Finanzberater, Rechtsanwaltsfachangestellte, Anwälte, Pflegekräfte, Ärzte, Patienten oder andere Fachkräfte in einer Branche unterstützen oder ersetzen soll, in der nachgewiesen werden muss, dass treuhänderische Pflichten erfüllt werden, kann nur funktionieren, wenn die Toleranzgrenzen eng gesteckt und sorgfältig überwacht werden und sich das Verhalten des Agents rasch wieder in den vorgesehenen Zustand versetzen lässt.
Wie muss sich das Sicherheitsmodell weiterentwickeln, wenn Unternehmen zunehmend autonome Agents einsetzen, die Handlungen ausführen können, statt lediglich Antworten zu generieren? Reichen herkömmliche Konzepte wie Berechtigungen, Identität und Zugriffskontrolle aus?
Nein. Wenn Agents zu Akteuren in einer Organisation werden, müssen sie eindeutige, überprüfbare Identitäten erhalten. Ihnen müssen Rollen zugewiesen werden, die sowohl ihr Verhalten als auch ihre funktionalen Komponenten – Tools mit Zugriffsberechtigungen für Ressourcen – durch verpflichtende Zugriffskontrollrichtlinien festlegen. Außerdem müssen sie kontinuierlich auf Abweichungen von ihrem vorgesehenen Zweck überwacht und so gesteuert werden, dass sie Angriffen standhalten.
Vijil hat sich von einer Seed-Finanzierungsrunde über 6 Millionen US-Dollar zu einer Series-A-Runde über 17 Millionen US-Dollar entwickelt, ein etwa 20-köpfiges Gründungsteam aufgebaut und erstmals einen jährlich wiederkehrenden Umsatz von 1 Million US-Dollar erzielt. Welche Entscheidungen waren am wichtigsten, um von einem frühen technischen Konzept zur kommerziellen Akzeptanz zu gelangen?
Wir entschieden uns früh dafür, eine Vertrauensschicht aufzubauen, die sich in die Plattform der Wahl des Kunden integrieren lässt. Zugleich gingen wir davon aus, dass Unternehmen bei Multi-Agent-Systemen mit offenen Modellen zunehmend mehr Anpassungsmöglichkeiten, eine granularere Kontrolle und geringere Kosten anstreben würden. Der langfristige Ansatz, eine Plattformebene statt eines Einzelprodukts aufzubauen, verschafft uns Wettbewerbsvorteile. Er bringt aber auch Herausforderungen mit sich: Unternehmen zu finden, die bereit sind, Agents in großem Maßstab zu verwalten, ist nicht so einfach, wie einen Lift-and-Shift-Dienst zu verkaufen.
1995 begann Ihre Karriere mit der Entwicklung automatisierter Red-Team-Tests für vertrauenswürdige UNIX-Systeme. Wie haben sich die Grundsätze des Red Teamings in den fast drei Jahrzehnten seitdem verändert, wenn das getestete System ein KI-Agent ist, der schlussfolgern, sich anpassen und externe Tools nutzen kann?
Historisch bedeutete Red Teaming, die Abwehrmaßnahmen einer Organisation gegen einen koordinierten Angriff zu testen. Die allgemeinen Grundsätze gelten weiterhin. Wir müssen Angriffe nach wie vor unter kontrollierten Bedingungen koordinieren, um Schwachstellen der getesteten Organisation aufzudecken. Die Skripte, mit denen Red-Team-Übungen in einer mittleren Phase der Entwicklungsgeschichte auf das Testen von Softwaresystemen ausgerichtet waren, reichen jedoch nicht mehr aus, denn KI-Agents sind keine deterministische Software: Sie sind darauf ausgelegt, sich an ihre Umgebung anzupassen, sodass sich derselbe Angriff nicht vorhersagbar wiederholen lässt. Ich bin der Ansicht, dass Agents wie Unternehmen behandelt werden sollten. Red-Team-Tests von Agents müssen sich daher zwangsläufig am Zweck des jeweiligen Agents orientieren, seine Abweichung von den Absichten seiner Nutzer untersuchen und prüfen, ob und wie gut er die Richtlinien seiner Umgebung umgehen kann.
Rechnen Sie für die Zukunft damit, dass unabhängige Tests und messbare Vertrauensstandards für KI-Agents zu einer Voraussetzung für den Einsatz in Unternehmen werden? Und was muss branchenweit geschehen, damit ein solches Maß an Sicherheit zur gängigen Praxis wird?
Heute bewerten Entwickler die Fähigkeiten von Agents, Red Teams testen deren Widerstandsfähigkeit gegen Prompt-Injection-Angriffe und Jailbreaks, und GRC-Teams beginnen gerade erst, ihre Compliance mit Vorschriften zu überprüfen. Nur sehr wenige Organisationen etablieren jedoch ein Verfahren zur Verhaltensüberprüfung, das während des gesamten Lebenszyklus eines Agents kontinuierlich im Hintergrund läuft, während sich Modelle, Tools, Ressourcen, Arbeitsabläufe und die Zielumgebung verändern. Noch wichtiger ist, dass Vijil Unternehmen auf besondere Weise unterstützt, indem es das tatsächliche Verhalten eines Agents im Produktivbetrieb auf dessen Spezifikation zurückführt – in einer Feedbackschleife, die den Agent kontinuierlich verbessert. Agents, die Angriffe überstehen, sind diejenigen, die sich anpassen, um widerstandsfähig zu bleiben.
Vielen Dank für das aufschlussreiche Interview. Leser, die mehr über das Testen, den Schutz und die kontinuierliche Verbesserung von KI-Agents in Unternehmen erfahren möchten, sollten Vijil besuchen.
