Bo Li, CEO, Virtue AI – Interview-Serie

Bo Li, CEO von Virtue AI, ist eine bekannte Forscherin und Unternehmerin, die sich auf die Sicherheit und Sicherheitsaspekte von künstlichen Intelligenzsystemen spezialisiert hat. Sie leitet Virtue AI und ist gleichzeitig Professorin an der University of Illinois Urbana-Champaign, wo ihre Forschung sich auf die Sicherheit von Machine-Learning-Systemen, vertrauenswürdige künstliche Intelligenz und robuste Systeme konzentriert. Ihre Karriere umfasst sowohl die akademische als auch die industrielle Forschung, was es ihr ermöglicht, fortschrittliche künstliche Intelligenz-Forschung in praktische Anwendungen umzusetzen, die Organisationen helfen, sicherere und widerstandsfähigere künstliche Intelligenz-Technologien zu entwickeln.

Virtue AI ist ein Unternehmen, das sich auf den Schutz und die Regulierung von künstlichen Intelligenz-Systemen in Unternehmensumgebungen konzentriert. Seine Plattform bietet Funktionen wie automatisierte Red-Teaming, Echtzeit-Sicherheitsvorkehrungen und kontinuierliche Überwachung, um Schwachstellen wie Prompt-Injection, Halluzinationen und Datenlecks zu identifizieren. Durch die direkte Integration in die Entwicklung und Bereitstellung von künstlichen Intelligenz-Systemen hilft das Unternehmen Organisationen, die Verwendung von großen Sprachmodellen und künstlichen Intelligenz-Anwendungen sicher zu skalieren und gleichzeitig strenge Sicherheits- und Regulierungsstandards einzuhalten.

Was hat Sie dazu bewogen, von einer rein akademischen Karriere zu einer Gründung und Leitung von Virtue AI überzugehen, und welches Problem glauben Sie, dass die Industrie bisher nicht ausreichend gelöst hat?

Traditionelle Sicherheitswerkzeuge wurden für vorhersehbare Anwendungen mit festen Pfaden entwickelt. Sie wurden nie für Systeme konzipiert, die selbstständig handeln und entscheiden. Meine Mitgründer und ich sahen eine Lücke zwischen dem, was die grundlegende künstliche Intelligenz-Forschung hervorgebracht hatte, und dem, was Unternehmen tatsächlich zur Verfügung stand. Die Forschung existierte, aber die Umsetzung in der Praxis nicht. Das wollten wir ändern.

Virtue AI konzentriert sich auf Sicherheit, Sicherheitsaspekte und Compliance für große Sprachmodelle und autonome Agenten. Welche dieser Bereiche glauben Sie, dass Unternehmen heute am meisten unterschätzen?

Unternehmen verstehen alle diese Bereiche bis zu einem bestimmten Grad, insbesondere die Sicherheit, aber es gibt immer noch eine große Lücke.

Unternehmen haben begonnen, die Sicherheit von Modellen ernst zu nehmen, zumindest auf der Oberfläche. Aber Agenten sind ein anderes Problem. Sie erhalten Zugang zu den sensibelsten Teilen der Unternehmensinfrastruktur: Ausführung von Code, API-Aufrufe, Web-Browsing und Entscheidungen, die Daten, Finanzen und Betrieb berühren. Die meisten Sicherheitsteams sind nicht darauf vorbereitet, über solche Systeme nachzudenken. Die Werkzeuge, die sie haben, wurden nicht dafür entwickelt.

Das Risiko ist nicht theoretisch. Ohne Sicherheitsvorkehrungen, die speziell für Agenten-Systeme entwickelt wurden, können kleine Fehler schnell eskalieren. Ein unerwarteter Werkzeugaufruf, eine mehrdeutige Anweisung, ein Prompt, der an den Sicherheitsvorkehrungen vorbeikommt – all dies kann zu unbefugten Aktionen oder Datenexposition führen, bevor jemand bemerkt, dass etwas schiefgelaufen ist.

kontinuierliches Red-Teaming ist zentral für den Ansatz von Virtue AI. Welche Arten von Fehlern oder Risiken treten normalerweise erst auf, wenn Systeme live in der Produktion sind?

Die meisten ernsthaften.

In einer kontrollierten Umgebung testen Sie das Modell und die Agenten. In der Produktion testen Sie das System – und das sind verschiedene Dinge. Sobald ein Modell mit Werkzeugen, Abrufpipelines, Benutzereingaben und anderen Agenten verbunden ist, erweitert sich der Verhaltensraum auf Weise, die das Testen vor der Bereitstellung nicht erfassen kann. Ein “sicher konfiguriertes” Agenten-System kann sich sehr unterschiedlich verhalten, wenn es mit realen Datenbanken, neuen MCP-Servern oder anderen Agenten verbunden ist. Das System wird nicht-deterministisch. Es beginnt, Entscheidungen auf der Grundlage von Kontexten zu treffen, die während der Bewertung nicht existierten.

Das ist, wenn Sie die Fehler finden, die wirklich zählen.

Wie denken Sie über die Messung von “künstlicher Intelligenz-Sicherheit” in der Praxis nach, insbesondere wenn Systeme durch Feinabstimmung, Abruf und Werkzeugnutzung evolvieren?

In der Praxis kann die künstliche Intelligenz-Sicherheit nicht durch einen einzelnen statischen Benchmark gemessen werden, da moderne künstliche Intelligenz-Systeme kontinuierlich durch Feinabstimmung, Abruf und Interaktionen mit Werkzeugen oder Agenten evolvieren. Stattdessen muss die Sicherheit als System-Eigenschaft über den gesamten Lebenszyklus einer künstlichen Intelligenz-Anwendung bewertet werden. Dazu gehören Stress-Tests von Modellen und Agenten mit diversen Red-Teaming-Angriffen, die Überwachung von Echtzeit-Verhaltensweisen wie Prompts, Werkzeugaufrufen und Aktionen sowie die Bewertung von Ergebnissen gegen definierte Risikopolitiken (z. B. Missbrauch, Halluzination, Datenschutzverletzung oder unbefugte Aktionen).

Zum Beispiel hat unser preisgekrönter Artikel (Best Paper bei der National Security Agency und NeurIPS), DecodingTrust, umfassende Sicherheits- und Sicherheitsprüfungen für Grundmodell-Systeme bereitgestellt. Unsere DecodingTrust-Agent-Plattform hat einen realistischen Agenten-Simulator mit diversen Umgebungen und nativen Red-Teaming-Agenten entwickelt, um dynamische, adaptive und kontinuierliche Red-Teaming-Tests durchzuführen.

Wichtig ist, dass die Sicherheitsmessung kontinuierlich und adaptiv sein muss, da Aktualisierungen von Prompts, Abrufquellen oder Werkzeugen neue Schwachstellen einführen können. In der Praxis bedeutet dies, automatisierte Red-Teaming, Laufzeit-Sicherheitsvorkehrungen und Überwachung zu kombinieren, um nicht nur Modellantworten, sondern auch die Sicherheit des gesamten künstlichen Intelligenz-Systems im realen Betrieb zu messen.

Ihre Forschungshintergrund umfasst Robustheit, Datenschutz und Angriffe. Welcher dieser Bereiche hat sich als am schwierigsten zu übersetzen in reale Verteidigungen erwiesen?

Die Übersetzung von Forschungsergebnissen in Robustheit, Datenschutz und Angriffe in reale Verteidigungen ist tatsächlich sehr machbar. In der Tat sind viele der Forschungsrichtungen in meiner Gruppe direkt von praktischen Sicherheitsproblemen inspiriert, die in bereitgestellten künstlichen Intelligenz-Systemen beobachtet wurden. Die eigentliche Schwierigkeit liegt nicht darin, Verteidigungen aufzubauen, sondern darin, zuverlässige Sicherheitsgarantien in dynamischen, realen Umgebungen bereitzustellen.

In der akademischen Forschung haben wir starke Fortschritte wie zertifizierte Robustheit und Datenschutzgarantien gemacht, aber diese Ergebnisse basieren typischerweise auf Annahmen, die möglicherweise nicht vollständig in komplexen Produktionsumgebungen gelten. Moderne künstliche Intelligenz-Anwendungen evolvieren kontinuierlich durch neue Daten, Feinabstimmung, Abrufpipelines und Werkzeugintegrationen, was neue Schwachstellen über die Zeit einführen kann.

Als Ergebnis kann die künstliche Intelligenz-Sicherheit nicht auf einmalige Schutzmaßnahmen angewiesen sein – sie erfordert kontinuierliches Red-Teaming, Risikenerkennung und adaptive Sicherheitsvorkehrungen, die sich mit dem System weiterentwickeln. Dies ist genau die Philosophie hinter Virtue AI: die Kombination unserer langjährigen Forschung in künstlicher Intelligenz-Sicherheit mit automatisiertem großmaßstäblichem Red-Teaming und Echtzeit-Schutz, um kontinuierlich neu auftretende Risiken zu identifizieren und Verteidigungen zu aktualisieren, um praktische und skalierbare Sicherheit für reale künstliche Intelligenz-Systeme zu ermöglichen.

Was macht die Sicherung autonomer künstlicher Intelligenz-Systeme grundlegend anders als die Sicherung traditioneller Software oder sogar Chatbots?

Agenten sind keine statischen Programme. Sie folgen keinen vorhersehbaren Pfaden und bleiben nicht innerhalb des Perimeters, den Sie bei der Bereitstellung gezogen haben.

Traditionelle Sicherheit geht von festen Ausführungspfaden, stabilen APIs und deterministischem Verhalten aus. Autonome Agenten verletzen all diese Annahmen. Sie denken über das nach, was sie als nächstes tun sollen, wählen Werkzeuge basierend auf dem Kontext und produzieren Effekte über mehrere Systeme in einem einzigen Lauf.

Sie können nicht einfach einen Prompt scannen, ein Modell härten oder einen einzelnen API-Aufruf überwachen und denken, die Arbeit sei getan. Sie müssen das gesamte Agenten-System sichern – seine Argumentation, seine Werkzeugnutzung, seine Umgebung und das, was downstream passiert.

Das ist der Kernpunkt, den Steuerungselemente nicht lösen können. Sie wurden nicht dafür entwickelt.

Wo liegen die bestehenden Sicherheitswerkzeuge unzureichend, wenn Agenten über viele Systeme, Werkzeuge und Datenquellen hinweg agieren können?

Sie lassen Sie blind für die Art und Weise, wie der Agent tatsächlich end-to-end operiert.

Die meisten Werkzeuge wurden für Anwendungen mit klaren Perimetern und stabilem Verhalten entwickelt. Sie können Ihnen sagen, wie ein einzelner API-Aufruf aussah. Sie können Ihnen nicht sagen, wie ein Agent seine Entscheidungen über fünf Werkzeugaufrufe hinweg getroffen hat, um ein Ergebnis zu produzieren, das niemand beabsichtigt hatte.

Die Sichtbarkeitslücke ist das Problem. Wenn Sie den gesamten Entscheidungs- und Aktionsschritt nicht sehen können, können Sie ihn nicht regeln und nicht nachträglich auditen.

Wie verringern Echtzeit-Sicherheitsvorkehrungen das Risiko im Vergleich zu Überwachung oder Protokollierung allein?

Protokollierung sagt Ihnen, was schiefgelaufen ist, nachdem der Schaden bereits angerichtet wurde. Es ist nützlich für Forensik und Compliance, aber es stoppt nichts.

Bei autonomen Agenten kann die Verzögerung zwischen Aktion und Erkennung tatsächlich teuer sein. Ein Agent, der bereits einen schlechten API-Aufruf ausgeführt oder Daten exfiltriert hat, wartet nicht darauf, dass Ihre Protokollpipeline nachholt.

Echtzeit-Sicherheitsvorkehrungen fangen die Aktion vor der Ausführung ab. Wenn ein Agent etwas Unzulässiges versucht, wird es blockiert oder markiert, bevor es ausgeführt wird, nicht danach.

Die Kombination ist auch wichtig. Echtzeit-Prävention plus ein konsistenter Durchsetzungsmechanismus über alle Agenten-Werkzeug-Interaktionen hinweg ist ein anderes Risikoprofil als passive Überwachung einzelner Komponenten.

Virtue AI wurde von tief technischen Forschern gegründet. Wie prägt dies die Produktentscheidungen im Vergleich zu kommerziell getriebenen künstlichen Intelligenz-Startups?

Künstliche Intelligenz-Sicherheit und -Regulierung sind grundlegend tiefe technische Probleme. Die Systeme, die wir schützen – wie große Sprachmodelle, multimodale Modelle und Agenten-Systeme – sind selbst auf fortschrittlicher Forschung aufgebaut. Ohne starke grundlegende künstliche Intelligenz-Expertise ist es fast unmöglich, effektive Sicherheitslösungen für sie zu entwickeln.

In vielen Fällen ist die größte Herausforderung in der künstlichen Intelligenz-Sicherheit, wenn ein fortschrittliches Red-Teaming-Algorithmus Schwachstellen von künstlichen Intelligenz-Agenten in einem Forschungsartikel identifiziert – wie man diese Erkenntnis in eine produktionsreife Verteidigung übersetzt, die realen Systeme zuverlässig schützen kann. Bei Virtue AI besteht unser Kerngeschäft darin, diese Lücke zwischen Forschung und Bereitstellung zu schließen.

Weil Virtue AI von Forschern gegründet wurde, die jahrzehntelang auf künstliche Intelligenz-Robustheit, adverses Lernen und vertrauenswürdige künstliche Intelligenz gearbeitet haben, arbeiten unsere Forschungs- und Ingenieursteams an denselben Problemen gleichzeitig. Unsere Forscher studieren kontinuierlich neue Modellarchitekturen, neue Agenten-Workflows und sich entwickelnde Angriffstechniken, während unsere Ingenieursteams diese Erkenntnisse direkt in Produktionsysteme integrieren.

Wenn wir eine neue Schwachstelle identifizieren – wie ein neues Prompt-Injection-Muster oder eine Agenten-Manipulationstechnik – kann sie schnell in neue Erkennungsmodelle, Sicherheitsvorkehrungen oder Red-Teaming-Strategien übersetzt werden. Dies geschieht kontinuierlich, nicht nur auf einem quartalsweisen Produkt-Roadmap.

Als Ergebnis bleiben unsere Produkte sowohl auf dem neuesten Stand der Technik als auch unternehmensreif, was Organisationen hilft, ihre künstlichen Intelligenz-Systeme zu sichern, während sie sie aufbauen und bereitstellen. Viele unserer Kunden sagen uns, dass dieser forschungsgetriebene Ansatz es ihnen ermöglicht, schneller voranzukommen und gleichzeitig Sicherheit und Compliance zu wahren.

Im Gegensatz dazu optimieren rein kommerziell getriebene Teams oft das, was Kunden heute verlangen, was zu inkrementalen Funktionen führen kann, aber möglicherweise hinter der sich schnell entwickelnden Bedrohungslandschaft von künstlichen Intelligenz-Systemen zurückbleibt. In der künstlichen Intelligenz-Sicherheit entwickeln sich Bedrohungen genauso schnell wie die Technologie selbst. Ein forschungsorientierter Ansatz ermöglicht es uns, neue Risiken früher zu antizipieren und Verteidigungen aufzubauen, bevor sie zu weit verbreiteten Problemen werden.

Was ist der häufigste Irrtum, den Unternehmen machen, wenn sie erstmals zu Virtue AI kommen?

Einer der häufigsten Irrtümer, den Unternehmen machen, wenn sie erstmals zu Virtue AI kommen, ist, dass künstliche Intelligenz-Sicherheit einfach durch die Anwendung traditioneller Sicherheitswerkzeuge oder grundlegender Inhalts-Filter gelöst werden kann.

In Wirklichkeit führen künstliche Intelligenz-Systeme völlig neue Bedrohungsflächen ein, wie Prompt-Injection, Jailbreaks, halluzinationsgetriebene Missbrauch, Datenlecks durch Abrufsysteme und Agenten-Manipulation durch Werkzeuge oder externe APIs. Diese Risiken entstehen aus dem Verhalten und den Entscheidungsprozessen des Modells selbst, nicht nur aus der umgebenden Infrastruktur.

Deshalb betonen wir künstliche Intelligenz-Sicherheit: die Kombination von automatisiertem Red-Teaming, um Schwachstellen zu entdecken, Echtzeit-Sicherheitsvorkehrungen, um Richtlinien durchzusetzen, und System-Überwachung, um Prompts, Werkzeugaufrufe und Agenten-Aktionen zu überwachen.

Sobald Unternehmen erkennen, wie unterschiedlich künstliche Intelligenz-Risiken von traditionellen Software-Risiken sind, erkennen sie schnell, dass die Sicherung von künstlicher Intelligenz eine grundlegend neue Sicherheitsarchitektur erfordert.

Schließlich, was bedeutet “verantwortungsvolle künstliche Intelligenz-Bereitstellung” für Sie in der Praxis – nicht in der Theorie, sondern innerhalb eines Unternehmens, das heute Produkte ausliefert?

Schneller und sicherer sind keine Gegensätze, obwohl die meisten Unternehmen sie so behandeln. Die Annahme ist, dass ernsthafte Sicherheit Sie verlangsamt – mehr Review-Zyklen, mehr Tore, mehr Reibung, bevor etwas ausgeliefert wird.

In der Praxis sind die Unternehmen, die Agenten mit Vertrauen bereitstellen, diejenigen, die Sicherheit in den Prozess integrieren, anstatt sie am Ende anzuhängen: automatisiertes Red-Teaming vor der Bereitstellung, Echtzeit-Kontrollen, sobald der Agent live ist, und zentrale Sichtbarkeit über den gesamten Agenten-Lebenszyklus hinweg.

Das ist keine Compliance-Übung. Es ist das, was es Ihnen ermöglicht, schnell voranzukommen, weil Sie nicht in der Produktion entdecken, was Sie früher hätten feststellen sollen.

Verantwortungsvolle Bereitstellung bedeutet in konkreten Begriffen, dass Sie wissen, was Ihre Agenten können, Sie sehen, was sie tun, und Sie sie stoppen können, wenn etwas schiefgeht.

Verantwortungsvolle künstliche Intelligenz-Entwicklung ermöglicht kontinuierliche, groß angelegte künstliche Intelligenz-System-Bereitstellung mit Vertrauen, anstatt die künstliche Intelligenz-Innovation zu verlangsamen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Virtue AI besuchen: Virtue AI.