Rebecca Qian, Mitgründerin und CTO von Patronus AI – Interview-Serie

Rebecca Qian ist die Mitgründerin und CTO von Patronus AI, mit fast einem Jahrzehnt Erfahrung im Bau von Produktions-Machine-Learning-Systemen an der Schnittstelle von NLP, embodied AI und Infrastruktur. Bei Facebook (META ) AI arbeitete sie in Forschung und Einsatz, trainierte FairBERTa, ein großes Sprachmodell, das mit Fairnesszielen entwickelt wurde, entwickelte ein demografisches Störmodell, um Wikipedia-Inhalte umzuschreiben, und leitete semantische Analyse für Roboter-Assistenten. Sie baute auch menschliche Schleifen für eingebettete Agenten und erstellte Infrastruktur-Tools wie Continuous Contrast Set Mining, das von Facebooks Infrastruktur-Teams übernommen und auf der ICSE präsentiert wurde. Sie hat an Open-Source-Projekten wie FacebookResearch/fairo und den Droidlet-Semantik-Analyse-Notebooks mitgewirkt. Als Gründerin konzentriert sie sich nun auf skalierbare Aufsicht, Verstärkendes Lernen und den Einsatz sicherer, umgebungsbewusster KI-Agenten.

Patronus AI ist ein in San Francisco ansässiges Unternehmen, das eine forschungsorientierte Plattform für die Bewertung, Überwachung und Optimierung von großen Sprachmodellen (LLMs) und KI-Agenten bietet, um Entwicklern zu helfen, zuverlässige generative KI-Produkte mit Vertrauen auszuliefern. Die Plattform bietet automatisierte Bewertungstools, Benchmarking, Analytics, benutzerdefinierte Datensätze und agentenspezifische Umgebungen, die Leistungsprobleme wie Halluzinationen, Sicherheitsrisiken oder Logikfehler erkennen, sodass Teams KI-Systeme kontinuierlich verbessern und überwachen können. Patronus unterstützt Unternehmenskunden und Technologiepartner, indem es ihnen ermöglicht, Modellverhalten zu bewerten, Fehler im großen Maßstab zu erkennen und Vertrauenswürdigkeit und Leistung in Produktions-KI-Anwendungen zu verbessern.

Sie haben eine tiefe Erfahrung im Bau von ML-Systemen bei Facebook AI, einschließlich der Arbeit an FairBERTa und menschlichen Schleifen. Wie hat diese Erfahrung Ihre Perspektive auf die realen Einsatzmöglichkeiten von KI und Sicherheit geprägt?

Die Arbeit bei Meta AI hat mich dazu gebracht, mich auf das zu konzentrieren, was notwendig ist, um Modelle in der Praxis zuverlässig zu machen – insbesondere im Bereich der verantwortungsvollen NLP. Ich habe an fairnessorientierter Sprachmodellierung gearbeitet, wie dem Training von LLMs mit Fairnesszielen, und ich habe gesehen, wie schwierig es ist, Modellausgaben zu bewerten und zu interpretieren. Das hat meine Sicht auf die Sicherheit geprägt. Wenn Sie Modellverhalten nicht messen und verstehen können, ist es schwierig, KI mit Vertrauen in der realen Welt einzusetzen.

Was hat Sie dazu bewogen, von der Forschungsingenieurin zur Unternehmerin zu wechseln und Patronus AI mitzubegründen, und welches Problem fühlten Sie sich am dringendsten lösen müssen?

Die Bewertung wurde zu einem Hindernis in der KI. Ich verließ Meta AI im April, um Patronus mit Anand zu gründen, weil ich gesehen hatte, wie schwierig es ist, KI-Ausgaben zu bewerten und zu interpretieren. Und als generative KI in Unternehmensprozesse einzug, war es offensichtlich, dass dies kein Problem mehr nur im Labor war. 

Wir hörten immer wieder das Gleiche von Unternehmen. Sie wollten LLMs einsetzen, aber sie konnten sie nicht zuverlässig testen, überwachen oder Fehlermodi wie Halluzinationen erkennen, insbesondere in regulierten Branchen, in denen sehr wenig Toleranz für Fehler besteht. 

Das dringende Problem war also, eine Möglichkeit zu schaffen, Modellbewertung zu automatisieren und zu skalieren – Modelle in realen Szenarien zu bewerten, adversarialen Testfälle zu generieren und zu benchmarken – damit Teams mit Vertrauen einsetzen können, anstatt zu raten

Patronus hat kürzlich generative Simulatoren als adaptive Umgebungen für KI-Agenten eingeführt. Welche Einschränkungen in bestehenden Bewertungs- oder Trainingsansätzen haben Sie dazu geführt?

Wir sahen immer wieder eine wachsende Diskrepanz zwischen der Bewertung von KI-Agenten und deren erwarteter Leistung in der realen Welt. Traditionelle Benchmarks messen isolierte Fähigkeiten zu einem festen Zeitpunkt, aber die reale Arbeit ist dynamisch. Aufgaben werden unterbrochen, Anforderungen ändern sich während der Ausführung, und Entscheidungen haben sich über lange Zeiträume hinweg aus. Agenten können auf statischen Tests stark aussehen und dennoch schlecht ausfallen, wenn sie eingesetzt werden. Wenn Agenten verbessert werden, erreichen sie auch feste Benchmarks, was zu einem Plateau im Lernen führt. Generative Simulatoren entstanden als Möglichkeit, statische Tests durch lebendige Umgebungen zu ersetzen, die sich anpassen, während der Agent lernt.

Wie sehen Sie die generativen Simulatoren die Art und Weise verändern, wie KI-Agenten trainiert und bewertet werden, im Vergleich zu statischen Benchmarks oder festen Datensätzen?

Der Wandel besteht darin, dass Benchmarks aufhören, Tests zu sein, und zu Umgebungen werden. Anstatt einer festen Reihe von Fragen generiert der Simulator die Aufgabe, die Umgebung und die Bewertungslogik auf der Fliege. Wenn der Agent sich verhält und verbessert, passt sich die Umgebung an. Das lässt die traditionelle Grenze zwischen Training und Bewertung zusammenbrechen. Sie fragen nicht mehr, ob ein Agent einen Benchmark besteht, sondern ob er zuverlässig in einem dynamischen System arbeiten kann.

Welche sind die Kernarchitekturideen hinter generativen Simulatoren, insbesondere im Hinblick auf Aufgaben generierung, Umgebungs dynamik und Belohnungsstrukturen?

Auf hohem Niveau kombinieren generative Simulatoren Verstärkendes Lernen mit adaptiver Umgebungsgenerierung. Der Simulator kann neue Aufgaben erstellen, die Regeln der Welt dynamisch aktualisieren und die Aktionen eines Agenten in Echtzeit bewerten. Ein wichtiger Bestandteil ist das, was wir einen Curriculum-Adjuster nennen, der das Verhalten des Agenten analysiert und die Schwierigkeit und Struktur von Szenarien anpasst, um das Lernen produktiv zu halten. Belohnungsstrukturen sind so konzipiert, dass sie überprüfbar und domänen-spezifisch sind, sodass Agenten auf korrektes Verhalten und nicht auf oberflächliche Abkürzungen geführt werden.

Wie unterscheidet sich der Ansatz von Patronus von anderen im Bereich der KI-Bewertung und Agenten-Tooling?

Unser Fokus liegt auf ökologischer Gültigkeit. Wir entwerfen Umgebungen, die reale menschliche Arbeitsabläufe widerspiegeln, einschließlich Unterbrechungen, Kontextwechsel, Werkzeugnutzung und mehrschrittiger Argumentation. Anstatt Agenten zu optimieren, um auf vordefinierten Tests gut auszusehen, konzentrieren wir uns darauf, die Arten von Fehlern aufzudecken, die in der Produktion wichtig sind. Der Simulator bewertet das Verhalten über die Zeit und nicht nur Ausgaben in Isolation.

Welche Arten von Aufgaben oder Fehlern profitieren am meisten von simulatorbasierter Bewertung im Vergleich zu herkömmlicher Tests?

Aufgaben mit langem Horizont und mehreren Schritten profitieren am meisten. Selbst kleine Fehlerquoten pro Schritt können sich zu großen Fehlerquoten bei komplexen Aufgaben summieren, was statische Benchmarks nicht erfassen. Simulatorbasierte Bewertung ermöglicht es, Fehler im Zusammenhang mit der Aufrechterhaltung der Konzentration über die Zeit, der Handhabung von Unterbrechungen, der Koordinierung von Werkzeugnutzung und der Anpassung bei Änderungen der Bedingungen während der Aufgabe aufzudecken.

Wie verändert die umgebungsorientierte Lernmethode Ihre Sicht auf die KI-Sicherheit, und führen generative Simulatoren neue Risiken wie Belohnungshacking oder emergente Fehlmodi ein?

Umgebungsorientiertes Lernen macht tatsächlich viele Sicherheitsprobleme leichter erkennbar. Belohnungshacking gedeiht in statischen Umgebungen, in denen Agenten feste Schlupflöcher ausnutzen können. In generativen Simulatoren ist die Umgebung selbst ein sich bewegender Ziel, was diese Abkürzungen schwerer nachhaltig macht. Dennoch ist sorgfältige Gestaltung immer noch erforderlich, insbesondere im Hinblick auf Belohnungen und Aufsicht. Der Vorteil von Umgebungen besteht darin, dass sie mehr Kontrolle und Sichtbarkeit in das Verhalten von Agenten bieten als statische Benchmarks je könnten.

Wie sehen Sie Patronus AI in fünf Jahren, sowohl in Bezug auf technische Ambitionen als auch auf Brancheneinfluss?

Wir glauben, dass Umgebungen zu grundlegenden Infrastrukturen für KI werden. Wenn Agenten von der Beantwortung von Fragen zu realer Arbeit übergehen, werden die Umgebungen, in denen sie lernen, ihre Fähigkeiten und Zuverlässigkeit prägen. Unser langfristiges Ziel ist es, reale Arbeitsabläufe in strukturierte Umgebungen umzuwandeln, aus denen Agenten kontinuierlich lernen können. Die traditionelle Trennung zwischen Bewertung und Training bricht zusammen, und wir denken, dass dieser Wandel die nächste Welle von KI-Systemen definieren wird.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Patronus AI besuchen.